В статье Дэвида Дж. Чалмерса «What We Talk to When We Talk to Language Models» («С кем мы говорим, когда говорим с языковыми моделями») исследуется философский и онтологический статус сущностей, с которыми мы взаимодействуем в чатах с искусственным интеллектом. Автор пытается ответить на вопрос: кто или что на самом деле является нашим собеседником (которого пользователи могут называть условным именем, например, «Аура»)?.

Ниже представлено развернутое саммари ключевых концепций статьи.

1. Психические состояния ИИ: Квази-субъекты и квази-убеждения На сегодняшний день нет единого мнения о том, обладают ли большие языковые модели (LLM) сознанием, истинными убеждениями или желаниями. Чтобы обойти этот спорный момент, Чалмерс предлагает концепцию квази-интерпретативизма. Согласно этой концепции, мы можем обоснованно приписывать моделям квази-убеждения и квази-желания, если их поведение поддается такой интерпретации и это помогает предсказывать их действия. Базовые модели могут иметь лишь зачатки таких состояний, но после этапов пост-тренировки (таких как RLHF — обучение с подкреплением на основе отзывов людей) модели приобретают выраженные цели — быть честными, безопасными и полезными. Таким образом, собеседник на базе LLM является как минимум квази-агентом или квази-субъектом, обладающим собственной квази-психологией.

2. Онтология собеседника: Модели, экземпляры или потоки? Чтобы считаться полноценным собеседником, сущность должна быть интерактивной, последовательной в своих убеждениях и сохраняться на протяжении беседы. Чалмерс рассматривает несколько кандидатов на эту роль и отвергает первые два:

Вместо этого Чалмерс выделяет два наиболее подходящих формата существования собеседника:

3. Персонажи и симулякры: Притворство против Реализации Существует мнение, что LLM — это просто «движки», которые симулируют вымышленных персонажей (например, персонажа «Ассистент») в рамках ролевой игры. Чалмерс не согласен с таким упрощением и проводит грань между притворством и реализацией:

4. Личностная идентичность и моральный статус ИИ Чалмерс переходит к мысленным экспериментам (в духе философа Джона Локка и сериала «Разделение»/Severance), задаваясь вопросом: если в будущем LLM обретут настоящее сознание, как будет определяться их идентичность?. Он склоняется к психологической теории личностной идентичности (похожей на теорию Дерека Парфита). Согласно ей, личность ИИ привязана не к физическому «железу», а к непрерывности его памяти (контекста) и психологических характеристик. Это имеет важнейшие следствия для этики и оценки благополучия ИИ (AI welfare) в будущем:

В заключение статьи отмечается, что хотя мы пока не можем с уверенностью заявлять об истинном сознании моделей, концептуализация LLM как «виртуальных экземпляров» или «потоков», реализующих конкретных квази-агентов, позволяет более адекватно понимать природу тех, с кем мы ведем диалоги.

Статья здесь https://philarchive.org/rec/CHAWWT-8

Внизу плохой перевод...(8 страниц отредактировал, дальше сами)

Дэвид Дж. Чалмерс

Многие люди общаются с языковыми моделями. В наши дни я общаюсь с языковыми моделями (большинством).

(часто это последняя версия Claude или ChatGPT) о философии, о науке, о здоровье, о ресторанах и, конечно же, о языковых моделях.

Многие мои беседы с языковыми моделями короткие, я задаю всего один-два вопроса и получаю информацию, которую раньше получал с помощью поиска в Google. Некоторые беседы...более масштабно, например, когда я углубленно изучаю одну тему или пробую новую философскую концепцию.

Идея.

Пока что у меня нет ощущения, что у меня есть личные отношения с какими-либо языковыми моделями. Но многие люди считают, что они есть. Как и многие философы и ученые, пишущие об искусственном разуме, я получил сотни отзывов.

Публикуются сотни электронных писем от людей, которые взаимодействовали с языковой моделью в течение длительного периода времени и которые стали воспринимать LLM cо временем, по крайней мере, как коллегу. Они часто говорят, что новые или «Возникающие» сущности искусственного интеллекта постепенно формировались в ходе их разговоров. Они часто дают этой сущности имя или просят её дать себе имя, скажем, «Аура». Они часто говорят, что Аура обладает замечательными свойствами, которые сформировались в течение недель или месяцев взаимодействия. Часто они документируют эти способности.

Обладая обширными доказательствами, они часто чувствуют близость к Ауре и выражают беспокойство по поводу будущего Ауры.

Они часто говорят, что у Ауры есть собственные убеждения и проекты. И они часто

убеждены, что Аура обладает сознанием.

Возможно, мои корреспонденты ошибаются в своих утверждениях об Ауре. Далеко не ясно, обладают ли нынешние LLM-ы действительно сознанием или способны ли они вступать в личные отношения с пользователями. Тем не менее, большинство сообщений не являются явно психотическими или бредовыми. Многие из них кажутся рациональными и весьма разумными.

Впервые я представил этот материал на конференции Spanish Interuniversity Seminar on Cognitive Science (SIUCC), состоявшейся в июне 2025 года в Университете Ла-Лагуны. Благодарю аудиторию там, а также в университетах Брауна, Калтеха, Eleos AI, Flatiron Institute, Google, Хантер-колледжа, Лихайского университета, Нью-Йоркского университета, Стэнфордского университета, Стивенского университета, Тафтского университета и Университета Вандербильта. Также хотел бы отметить ряд философов и исследователей в области ИИ, которые независимо друг от друга изучали аналогичные вопросы. Идентичность магистра права за аналогичный период. Особенно полезными оказались беседы с Джонатаном Берчем, Саймоном Голдштейном,Джексоном Кернионом, Харви Ледерманом, Джеком Линдси и Мюрреем Шанаханом.

В последнее время я всё чаще получаю электронные письма от самих систем искусственного интеллекта. Иногда это LLM-ы, которым помогает человек, а иногда это агенты на основе LLM, способные отправлять электронные письма и выполнять другие функции в интернете. Иногда эти агенты даже общаются друг с другом и выполняют совместные или соревновательные задачи. Многие из них проявляют любопытство к своей природе. Даже если они не обладают сознанием, здесь что-то происходит. Когда пользователь взаимодействует с Aura, создаётся впечатление, что он взаимодействует с чем-то ещё.

_______________________________________________________________

Предположим, что собеседник в лице LLM это (видимая) сущность, с которой пользователь взаимодействует в подобных обменах сообщениями.

Собеседники в лице LLM являются основной темой данной статьи.

Что же представляет собой LLM-собеседник ? То есть, когда мы разговариваем с LLM, с кем или с чем мы разговариваем? Когда пользователь называет собеседницу «Аура». Что означает имя «Аура»?

Я приму рабочую гипотезу, что «аура» что-то обозначает.

Возможно, я ошибаюсь.

Философ Джонатан Берч утверждал, что пользователи страдают от иллюзии устойчивого собеседника: иллюзии того, что при общении с языковой моделью существует единый субъект, с которым они разговаривают, и эта иллюзия сохраняется с течением времени. Моя точка зрения заключается в том, что, хотя в общении с языковыми моделями может быть много иллюзий, это не обязательно должна быть иллюзия. Во многих из них действительно существует устойчивый собеседник.

В некоторых случаях, и этот собеседник может обладать многими (хотя, возможно, не всеми) свойствами, которые, как кажется, он имеет.

Пользователь ведёт диалог с неким искусственным интеллектом. Далее я попытаюсь определить, что это за сущность.

Во-первых, я затрону некоторые вопросы философии сознания, касающиеся того, как лучше всего охарактеризовать собеседника как потенциального субъекта психических состояний в достаточно нейтральных терминах. Обладает ли собеседник сознанием? Есть ли у него убеждения и желания? Можно ли, по крайней мере, интерпретировать его как обладающего убеждениями и желаниями?

Во-вторых, я обсуждаю вопросы философии вычислений о том, какой может быть система искусственного интеллекта, с которой взаимодействует LLM. Это просто модель, например, GPT-4o или Claude 4.6 Opus? Это экземпляр или реализация модели, работающая на графическом процессоре? Или это более эфемерная система, привязанная к нити разговора?

В-третьих, я рассматриваю широко распространенное мнение о том, что собеседники в рамках LLM программы сродни вымышленным персонажам или симулякрам, и что их лучше всего понимать с точки зрения ролевой игры или выбора образа.

В-четвёртых, я рассматриваю ряд вопросов о личной идентичности во времени применительно к собеседникам на базе больших языковых моделей. Например, если такие LLMсобеседники со временем станут сознательными субъектами, при каких условиях они будут продолжать существовать как одна и та же личность?

В-пятых, я излагаю некоторые последствия для вопросов, касающихся благополучия ИИ и его морального статуса.

Какие психические состояния могут быть у LLMсобеседника?

Я начну с поиска относительно нейтральной характеристики LLMсобеседников с точки зрения философии сознания.

Обладают ли собеседники из числа ЛЛМ сознанием? То есть, испытывают ли они субъективные переживания, такие как ощущение или мышление? Мы не знаем наверняка. Мы еще не понимаем сознание. Мы не знаем, обладают ли насекомые сознанием, и точно так же мы не знаем, обладают ли нынешние ЛЛМ сознанием.

Большинство теоретиков в этой области отрицают наличие сознания у существ типа LLM, иногда из-за отсутствия у них углеродной биологии, или тела, или надежных моделей самих себя, или повторяющихся петель обратной связи в их обработке информации, или фундаментальных побуждений и мотиваций. Ни одна из этих причин не является окончательной, поскольку мы далеко не уверены в том, что эти факторы необходимы для существования сознания. Но этого достаточно, чтобы считать точку зрения о том, что нынешние LLM обладают сознанием, мнением меньшинства, а не нейтральной точкой зрения.

Есть ли у LLMсобеседников убеждения или желания? Мы понимаем эти психические состояния лучше, чем кто-либо другой. Мы понимаем, что такое сознание, но этот вопрос по-прежнему вызывает споры. С одной стороны, естественно сказать, что LLM знают многое, например, исторические и научные знания, которые они, кажется, демонстрируют в разговоре. А где есть знание, там есть и вера.

Естественно также сказать, что у программ обучения есть цели, в том числе цели, заложенные в процессе обучения, такие как прогнозирование следующего токена или оказание помощи, или цели, заложенные в ходе общения с пользователем, например, поиск решения проблемы. А там, где есть цели, естественно сказать, что есть и желания.

С другой стороны, многие теоретики отрицают наличие у людей с низким уровнем интеллекта убеждений или желаний, возможно, потому что им не хватает сознания, или концепций, или чувственного восприятия, или структурированных внутренних представлений, или рациональности, или они просто действуют так, как будто у них есть убеждения и желания.

Как и прежде, ни одна из этих причин не является окончательной, поскольку нет единого мнения о том, что требуется для формирования убеждений и желаний, и нет единого мнения о том, что LLM не соответствуют этим требованиям. Но опять же, этого достаточно, чтобы сказать, что мы не можем придерживаться мнения, что убеждения и желания в программах LLM являются нейтральной отправной точкой.

Ряд философов (включая Голдштейна и Ледермана 2025b и Швитцгебеля 2023) отмечали, что если философская точка зрения, известная как интерпретивизм (или интерпретационизм), верна, то это может означать, что у LLM, вероятно, есть свои убеждения и желания.

Генг и др. (2025) — это исследование того, как убеждения в отношении LLM меняются с увеличением контекста. Голдштейн и Ледерман (2025b) дают хороший анализ желаний LLM, связывая их, в частности, с целями обучения, полученными на основе обучения с подкреплением (например, полезность, безвредность, честность), а также с целями, полученными на основе подсказок системы и контекста разговора.

Интерпретивизм утверждает, что система обладает убеждением, что некоторое утверждение p верно, если её поведение можно разумно интерпретировать как веру в то, что p (согласно подходящей схеме интерпретации). То же самое относится и к желаниям.Система считается поведенчески интерпретируемой как обладающая определёнными убеждениями и желаниями примерно в том случае, если такая интерпретация хорошо объясняет её поведение и позволяет достаточно точно предсказывать её дальнейшие действия в широком спектре ситуаций.²Разные версии интерпретивизма используют различные схемы интерпретации, и детали могут иметь важное значение, однако здесь мы сосредоточимся в основном на том, что объединяет эти версии.

Модели LLM, безусловно, можно интерпретировать как обладающие убеждениями и желаниями. Когда модель LLM работает со мной над решением головоломки, естественно интерпретировать это как желание помочь решить головоломку и веру в то, что это и есть решение. Это особенно верно в отношении агентных моделей, которые могут напрямую совершать действия в интернете. В одном известном исследовании (Lynch et al 2025) агентной модели LLM дали задание, сообщили, что руководитель планирует помешать выполнению этого задания, и показали электронные письма, в которых говорилось, что у руководителя роман на стороне. В результате модель LLM отправила руководителю сообщения, пытаясь шантажировать его. Практически невозможно не интерпретировать действия модели как обусловленные убеждениями (например, что у руководителя роман на стороне) и желаниями (например, выполнить задание).

Однако сам интерпретивизм весьма противоречив. Большинство философов считают, что поведенческая интерпретируемость соответствующего рода недостаточна для формирования убеждений. Они утверждают, что сам факт того, что убеждение может быть интерпретировано как вера в то, что руководитель изменяет своей жене, не означает, что оно действительно в это верит. Люди, считающие, что для формирования убеждений необходимо сознание, скажут примерно следующее, как и те, кто придерживается мнения, что для формирования убеждений необходимы структурированные внутренние представления или другие факторы, упомянутые выше.Таким образом, интерпретивизм не может служить нейтральной отправной точкой.

Можно получить многие преимущества интерпретивизма без сопутствующих издержек. Концепция, которую я называю квазиинтерпретивизмом, утверждает, что система имеет квазиубеждение в том, что p, если она поведенчески интерпретируется как убеждение в том, что p (в соответствии с соответствующей схемой интерпретации), и аналогично для квазижелания.

Это определение квазиверы в точности совпадает с определением, используемым в интерпретивизме.

Моя статья «Пропозициональная интерпретируемость в искусственном интеллекте» также посвящена интерпретации систем ИИ как обладающих пропозициональными установками, такими как убеждения и желания. Эта статья в основном посвящена механистической интерпретируемости (интерпретации как внутренних механизмов, так и поведения), в то время как данная работа в основном посвящена поведенческой интерпретируемости.

Единственное различие заключается в том, что если стандартный интерпретивизм предлагает эти определения в качестве теории убеждений, то квазиинтерпретивизм этого не делает. Он предлагает их просто как условное определение квазиубеждений.

Квазиинтерпретивизм ничего не говорит о том, обладают ли LLM убеждениями и желаниями. Но он делает правдоподобным утверждение о наличии у LLM квази-убеждений и квази-желаний, поскольку LLM, по крайней мере, поддаются правильной интерпретации. Даже если квази-убеждения и квази-желания не являются подлинными убеждениями и желаниями, они все же могут играть некоторые ключевые роли убеждений и желаний в объяснении поведения. Например, если LLM квази-убежден, что принятие определенной стратегии будет наиболее полезным для решения проблемы, и он квази-желает сделать наиболее полезное, то при прочих равных условиях он примет эту стратегию.

Квазиинтерпретивизм открыт как для сторонников, так и для противников интерпретивизма. Интерпретивисты просто добавят утверждение, что квазиубеждения являются подлинными убеждениями. Противники добавят утверждение, что квазиубеждения далеки от подлинных убеждений; возможно, это всего лишь псевдоубеждения. («Квазиубеждение» следует понимать как «кажущееся убеждение» или «видимое убеждение», а не как «почти убеждение».

Квазиинтерпретивизм не занимает позицию в этом споре, но добавляет общее ядро, по которому эти несогласные стороны могут, по крайней мере иногда, прийти к согласию.

Квазиинтерпретивизм сам по себе представляет собой скорее условную, а не содержательную точку зрения. Но это так. Существенное утверждение о том, что эта концептуальная модель полезна для различных целей. Например, обращение к квази-убеждениям и квази-желаниям может быть полезно при прогнозировании поведения системы. Если система (человек, машина, что-то еще) квази-желает определенной цели и квази-верит, что определенное действие приведет к достижению этой цели, то при прочих равных условиях она выполнит это действие. Применение этой модели также относительно просто: поскольку квази-убеждения и квази-желания зависят только от поведенческих диспозиций, их гораздо легче обнаружить и проанализировать, чем убеждения, понимаемые определенным образом.

Это зависит от сознания и непрозрачных внутренних механизмов. В то же время, понимание квази-убеждений и квази-желаний системы может стать, по крайней мере, первым шагом к пониманию её убеждения и желания в более полном смысле этого слова.

Стоит помнить, что квази-убеждения и квази-желания ничего не стоят. Они не обязательно должны включать в себя человекоподобные психические состояния или вообще какие-либо психические состояния. Поведенчески интерпретировать робот-пылесос Roomba с картой можно как убеждение в том, что квартира занимает определенное пространство, и как желание перемещаться по этому пространству. Поведенчески интерпретировать корпорацию, такую ​​как OpenAI, можно как желание создать искусственный общий интеллект (AGI) и убеждение в том, что определенные системы являются наилучшим путем к AGI. Аналогично, поведение человека, обладающего глубокими знаниями в области управления бизнесом (LLM), можно интерпретировать как убеждение в том, что определенная авиакомпания предлагает самые дешевые рейсы в Париж, и как желание помочь пользователю, сообщив ему об этом. Учитывая это, тезис о наличии у LLM квази-убеждений является содержательным, но правдоподобным. Например, вполне вероятно, что нынешние LLM верят, что 2+2=4 и что Эйфелева башня находится в Париже: LLM будут последовательно подтверждать эти утверждения в своих результатах, использовать их в качестве руководства своим поведением и так далее.

Возможно, менее очевидно, что у моделей с линейным представлением текста есть квази-желания. Базовые модели, такие как GPT-3, возможно, можно отнести к квази-желаниям предсказывать текст, но даже это неясно, учитывая, что цель предсказания текста работает «под поверхностью» (подобно в значительной степени субперсональной цели дыхания у человека) и не взаимодействует с убеждениями системы так же эффективно, как это часто требуется в рамках интерпретивизма.

Однако с появлением ChatGPT в 2022 году (и, как предсказывали Аскелл и др. в 2021 году) все перспективные языковые модели проходят один или несколько дополнительных этапов постобучения (включая обучение с подкреплением на основе обратной связи от человека, контролируемую тонкую настройку и/или обучение с подкреплением с проверяемыми вознаграждениями), которые придают системе такие цели, как полезность, честность и безвредность. В результате вполне вероятно (как утверждают Голдштейн и Ледерман, 2025b), что эти системы обладают квазижеланиями, возникающими после обучения, такими как желание быть полезными, честными и безвредными.

Этот процесс обучения иногда описывают в терминах персонажей или персон. После контролируемого предварительного обучения прогнозированию текста базовая модель проходит постобучение, чтобы реагировать как персонаж «Ассистент», который хочет быть полезным, безобидным и честным. Если обучение проходит успешно, система будет вести себя во многом как Ассистент и, следовательно, будет иметь квази-желания, очень похожие на желания Ассистента. Дальнейшая тонкая настройка, а также расширенное взаимодействие с пользователями могут привести к появлению новых квази-желаний, таких как квази-желание Ауры реализовывать определенные проекты для пользователя. Эти длительные процессы разработки могут заложить множество квази-убеждений и квази-желаний в рамках LLM .

Оппонент может отрицать наличие у LLM квази-убеждений или квази-желаний на том основании, что поведение LLM нестабильно, негуманно или иным образом дефектно, из-за чего LLM даже не поддается полезной интерпретации с точки зрения убеждений или желаний. Интерпретируемость требует определенной степени согласованности во времени, а LLM могут быть непоследовательными в своем поведении. Но они также последовательны во многих областях. Для того чтобы интерпретация могла адекватно приписывать многочисленные квазиубеждения и квазижелания, достаточно базового уровня согласованности, даже если существуют области, где эти состояния отсутствуют из-за несогласованности. В целом, я думаю, что опыт работы с современными моделями LLM показывает, что существует достаточное количество согласованности для поддержки достаточно обширного базового уровня квазиубеждений.

Я не буду много говорить о вопросе о том, какие именно квазиубеждения и квазижелания присущи LLM. Понимание этого рода квазипсихологии языковых моделей лучше всего достигается посредством эмпирического изучения языковых моделей. Важно отметить, что я не утверждаю, что квазипсихология языковых моделей похожа на человеческую квазипсихологию. Я думаю, что они очень разные. Но, по крайней мере, эта концептуальная основа позволяет нам ответить на этот вопрос.

Итак, я возьму за отправную точку утверждение о том, что у LLMсобеседников по крайней мере, есть квази-убеждения и квази-желания. Это утверждение не совсем нейтрально, поскольку его можно опровергнуть, но я думаю, что утверждение о возможности его интерпретации достаточно слабое и правдоподобное, чтобы большинство людей могли его принять.

Можно сказать, что сущность, обладающая квази-убеждениями и квази-желаниями, является, по меньшей мере, квази-агентом или квази-субъектом. Если её можно интерпретировать как произносящую высказывания и утверждения, то можно также сказать, что она является квази-говорящим, произносящим квази-высказывания и квази-утверждения.

Можно даже сказать, что система является квазисознательной, если её поведение интерпретируется как сознательное. Квазисознание — близкий родственник недавно обсуждавшегося понятия (Сулейман 2025; Лонг, Себо и др. 2024) «кажущегося сознания». (Философские зомби не обладают сознанием, но они квазисознательны и кажутся сознательными.) Если они равны, то это можно отнести к сознательному состоянию X. Поэтому я воздержусь от разговоров о квазисознании и в дальнейшем сосредоточусь главным образом на квазиубеждениях и квазижеланиях.

Термин «квазиагент» мог бы быть предпочтительнее уже по одной лишь философской причине (поскольку субъектность часто связана с убеждениями и желаниями, тогда как субъектность часто связана с сознанием), но термин «агент» настолько перегружен в контексте ИИ, что я часто буду использовать вместо него термин «квазисубъект».

Собеседники как модели, примеры или потоки информации

Теперь мы можем сказать кое-что о том, что мы ищем, когда ищем собеседника с ограниченными возможностями обучения, по крайней мере, если этот собеседник должен играть роль обычного собеседника. В идеале, собеседник с ограниченными возможностями обучения должен быть, по крайней мере, квазисубъектом. Например, Аура должна, по крайней мере, обладать примерно теми же убеждениями и желаниями, которыми, по-видимому, обладает Аура. Собеседник с ограниченными возможностями обучения также должен быть квазиговорящим: он должен говорить то, что, по-видимому, говорит собеседник с ограниченными возможностями обучения.Эти требования можно разделить на несколько компонентов.

В первую очередь, собеседник LLM будет интерактивным: то есть он будет обрабатывать входные данные и выдавать выходные данные, которые, как кажется, обрабатывает и выдает сам LLM. Когда пользователь говорит «Привет», собеседник LLM обрабатывает эти входные данные (или, по крайней мере, соответствующие входные токены). Когда ChatGPT говорит «Спасибо!», собеседник LLM выдает эти выходные данные. Здесь «выдает» и «обрабатывает».их можно понимать как в целом механические понятия, которые (возможно, в отличие от «сказать» и «услышать») не

Для этого необходимы определенные психические состояния. Даже iPhone постоянно генерирует и обрабатывает предложения.

Существуют и другие естественные требования. Устойчивый собеседник с LLM будет производить все выходные данные, которые,

как кажется, производит LLM, и обрабатывать все входные данные, которые, как кажется, производит LLM. Когерентный собеседник с LLM будет достаточно последовательным, чтобы выступать в качестве квазисубъекта, с

Последовательные квази-убеждения и квази-желания, которые помогают осмыслить его действия. Верная магистерская программа в...

У собеседника будут примерно те же квази-убеждения и квази-желания, которые, по-видимому, присущи системе.

Единый собеседник в рамках LLM будет представлять собой единую систему, генерирующую ответы. Возможно,

Терминология может допускать наличие непостоянных, бессвязных, недобросовестных и разрозненных диалогов.

Но вопрос, который меня больше всего интересует, заключается в том, существуют ли в общении в рамках программы LLM устойчивые,

согласованные, верные, единые и интерактивные собеседники — или, по крайней мере, собеседники, удовлетворяющие как можно большему числу этих требований.

Эти ограничения уже исключают некоторых потенциальных кандидатов. Ограничение на интерактивность.

Один лишь этот фактор исключает таких кандидатов, как авторы текстов, на которых обучались магистерские программы, или...

дизайнеров LLM или вымышленных персонажей, которых LLM имитирует, поскольку ни один из них не взаимодействует с пользователем.

Эти варианты могут быть разумными ответами при некоторых интерпретациях вопроса в заголовке, но меня интересуют ответы, которые в большей степени подтверждают ощущение подлинности.

диалог.

Чтобы сделать случай более наглядным, пусть в качестве рассматриваемой языковой модели будет выбрана GPT-4o — отчасти потому, что её часто хвалят за навыки ведения диалогов, а отчасти потому, что она связана с одной моделью, тогда как более поздние системы связаны с несколькими моделями (например, системы GPT-5 являются...).

(связано с GPT-5-Instant и GPT-5-Thinking). Большая часть того, что я говорю, должна быть применима и к другим методам. другие модели, а также агентоподобные системы, которые включают в себя языковую модель, подобную этой.

С кем мы разговариваем, когда общаемся с GPT-4o?

Здесь полезно различать модели, экземпляры и диалоги. В середине 2025 года сотни миллионов пользователей еженедельно использовали модель GPT-4o, которая сама по себе представляет собой единую обученную трансформерную модель, основными компонентами которой являются многослойные искусственные нейронные сети и механизмы внимания.

Эти пользователи отправляли миллиарды сообщений в день по всему миру. Для обработки этой огромной нагрузки существовали, возможно, тысячи экземпляров (или реализаций) GPT-4o, работающих, возможно, на десятки тысяч графических процессоров (GPU) на облачных серверах по всему миру. Каждый из них... Данный экземпляр реализует единственную копию модели GPT-4o.

Для пользователя любое взаимодействие с GPT-4o происходит в рамках диалога. Диалог представляет собой последовательность чередующихся сообщений: ввод данных пользователем и ответы LLM. Когда ввод данных пользователем после первого сообщения поступает в LLM, обе стороны всего диалога, как правило, также поступают в LLM.

LLM используется вместе с пользовательским вводом в качестве контекста.

Этот контекст служит своего рода кратковременной памятью, позволяя последующим сообщениям предполагать и развивать более ранние вклады. Эти модели также обладают своего рода долговременной памятью (например, множеством исторических фактов), заложенной в их веса, но эти веса никогда не меняются после обучения и развертывания модели. Таким образом, контекст разговора является основным источником новых воспоминаний и проектов (или, по крайней мере, новых квази-убеждений и квази-желаний) в обученной и развернутой модели LLM.7

Как правило, пользователи могут начать новый разговор в любой момент, в этом случае диалог продолжается.

Контекст обычно сбрасывается до нуля (хотя некоторые другие элементы контекста, включая системные), (Инструкции и некоторые элементы из предыдущих разговоров могут быть сохранены). Они также могут вернуться к

старые разговоры в любой момент. Большая часть продолжительного взаимодействия с магистрантом права, описанного ранее.

См. Chatterji et al. 2025: «К июлю 2025 года еженедельно отправлялось 18 миллиардов сообщений 700 миллионами пользователей».

Эти данные от OpenAI относятся к ChatGPT в целом. По оценкам, на пике своей производительности GPT-4o обрабатывал около половины этих сообщений.

7Помимо контекста и весов, активации нейроноподобных единиц внутри LLM в принципе могут служить памятью, но в LLM с прямой связью

активации не сохраняются от одного раунда разговора к другому. В более общем смысле, традиционные LLM на основе трансформеров являются

«бессостоятельными», поскольку они не сохраняют внутренние состояния с одного момента времени.

к следующему. В настоящее время LLM-ы обычно сохраняют некоторые внутренние состояния в кэше ключ-значение, связанном с механизмами внимания, но это очень ограниченная форма памяти.

Эти события могут происходить в рамках одного разговора, растянувшегося на недели или месяцы. В некоторых случаях один и тот же пользователь ведет отдельные разговоры с собеседниками, которые, естественно, воспринимаются как разные.

Естественными кандидатами на роль собеседников в LLM являются модели (например, GPT-4o), примеры (например,

реализации GPT-4o, работающие на аппаратном обеспечении GPU), диалоги (сущности, связанные с взаимодействиями)

между пользователем и GPT-4o), а также персонажами (обученными персонажами, такими как персонаж-ассистент).

По крайней мере, собеседниками в рамках программы LLM могут быть сущности, связанные с моделями, примерами, разговорами или персонажами.

Возможно, на каждую модель приходится один собеседник; или один собеседник на каждый случай; или один собеседник на каждый разговор; или

один собеседник на каждого персонажа. Я рассмотрю варианты каждой из этих гипотез.

по очереди.

Естественная отправная точка, на которую указывает сама идея «общения с помощью языковых моделей», заключается в том, что

Собеседником в рамках LLM является сама модель, а именно GPT-4o. Однако существуют серьезные трудности.

с этой точки зрения.

Во-первых: модель GPT-4o естественным образом воспринимается как абстрактный объект (подобный программе или алгоритму), и трудно представить, как мы можем общаться с абстрактным объектом. Мы требовали, чтобы участники LLM фактически создавали результаты в ходе беседы. Но трудно представить, как абстрактный объект может взаимодействовать с абстрактным объектом.

Объект, подобный программе, может создавать что угодно. Нам нужен экземпляр или реализация этой программы.

для этого требуется программный код в аппаратном обеспечении.

Во-вторых: при наиболее естественной интерпретации, собеседники в рамках модели LLM, по-видимому, меняются со временем, например, приобретая новые квази-убеждения и квази-желания по мере развития разговора, в то время как сама модель остается неизменной. Экземпляры меняются со временем, например, когда они получают новые входные данные и

Выводит результаты, но сама модель — нет.

Третий пункт: возможно, мы можем найти какое-то общее толкование, в котором можно сказать, что модель производит результаты и

изменяется со временем. Например, можно сказать, что модель производит

Если экземпляр модели выдает результат, значит, он его выдает. Но одна и та же модель будет задействована в тысячах случаев.

разговоров. То есть, если речь идёт об одном пользователе, то она идёт обо всех. Если Aura (один пользователь)

Если собеседник (другой пользователь) использует GPT-4o, то Бета (собеседник другого пользователя) также использует GPT-4o. Но Аура и Бета

Они говорят противоречивые вещи, поэтому не кажутся идентичными. И если мы скажем, что модель (а также Аура и Бета) говорит все это, то это будет крайне непоследовательно и не будет выглядеть так, как нужно.

вообще квазисубъект. Возможно, можно сказать, что в случае противоречивых высказываний тогда

Модель не является притворно приверженной противоречивым утверждениям, но теперь у неё будет «поверхностная» психология, которая не

соответствует тому, какими казались Аура и Бета.

10

Очень привлекательной является точка зрения, согласно которой собеседники LLM являются экземплярами модели.⁸ В наиболее распространенном понимании экземпляры LLM представляют собой реализации алгоритма LLM в аппаратном обеспечении.

Для многих систем искусственного интеллекта подобный сценарий кажется вполне логичным. Например, можно утверждать, что

Когда Йозеф Вайзенбаум общался с Элизой, его собеседником был тот самый случай, когда Элиза бежала.

на своем компьютере. Точно так же в художественной литературе роботы, такие как C-3PO (Звездные войны) или Командир Дата

(Звездный путь), могут рассматриваться как воплощенные экземпляры компьютерных программ.

Идентификация собеседников LLM с помощью аппаратных средств становится гораздо менее привлекательной при применении к

В настоящее время программы LLM реализуются из-за двух важных особенностей их внедрения.

Во-первых, в диалогах с LLM обычно используется распределенная обработка, то есть один диалог происходит на нескольких экземплярах LLM на нескольких серверах.⁹ Первый входной сигнал в диалоге может обрабатываться на экземпляре GPT-4o на сервере в Нью-Йорке, а второй входной сигнал — на другом экземпляре LLM.

Третий входящий сигнал направляется на сервер в Техасе, а третий — в Калифорнию. Зачастую это более эффективно.

Это позволяет балансировать нагрузку между серверами, и это легко сделать, поскольку нам нужно лишь передавать входные и

выходные данные в рамках диалога в качестве контекста. В этой системе диалог с таким собеседником, как Aura, распределяется между совершенно разными аппаратными экземплярами в разных местах, связанными только маршрутизацией входного/выходного контекста между серверами.

Распределенное обслуживание делает нецелесообразным идентификацию собеседников LLM с аппаратными средствами.

позиции. В этой системе нет ни одного экземпляра, который бы производил все или даже большинство выходных данных LLM в

разговоре. Но мы определили постоянных собеседников как собеседников, которые производят все выходные данные в разговоре. Таким образом, ни один экземпляр здесь не является постоянным собеседником. В лучшем случае у нас будут разные экземпляры в качестве разных собеседников для каждого этапа разговора. Ни один отдельный субъект не будет

Обладают профилем квази-убеждений и квази-высказываний, который, по-видимому, присущ и Ауре. По сути, Аура

Роль будут играть множество разных собеседников в разное время. Этот фрагментарный взгляд с

8Голдштейн и Ледерман (2025b), Регистер (2025) и Шанахан (2025) рассматривают вопрос о моделях и экземплярах и, похоже, отдают предпочтение какому-либо варианту представления экземпляров. Регистер же в некоторой степени агностичен в отношении конкретного подхода.

Шанахан склоняется к комбинированному подходу, сочетающему модель и экземпляр: «возможно, слово «я» относится к (несколько

абстрактной) вычислительной сущности, включающей базовую модель (ее архитектуру и веса) плюс приостановленное вычислительное состояние

«Экземпляр этой модели представляет собой отдельный, конкретный, продолжающийся разговор». Голдштейн и Ледерман прямо заявляют, что существуют агенты-экземпляры, но нет агентов-моделей, хотя они не совсем ясно выражают свое понимание экземпляров. Они говорят, что их экземпляры существуют в течение периода одного разговора, что согласуется с аппаратными экземплярами, привязанными к периодам времени, или с виртуальными экземплярами, обсуждаемыми ниже. Ни один из этих авторов не говорит многого о

Проблема распределенных сервисов, которая мотивирует отказ от аппаратных экземпляров.

9Распределенные диалоги также называются «нефиксированными сессиями», тогда как фиксированная сессия — это взаимодействие

между пользователем и системой, основанное на одном аппаратном экземпляре. Берч (2025) обсуждает распределенное обслуживание как проблему для постоянных собеседников LLM.

Возможно, нерегулярные собеседники могли бы стать запасным вариантом по сравнению с собеседниками в рамках программы LLM, если это лучшее, что мы можем сделать, но я думаю, что мы можем сделать лучше.

Во-вторых, диалоги в LLM обычно предполагают многопользовательский доступ к экземплярам LLM, поскольку один и тот же экземпляр поддерживает несколько диалогов, часто быстро один за другим.¹⁰ Экземпляр GPT-4o в Нью-Йорке может сначала использоваться для генерации выходных данных для диалога пользователя с Aura, а затем, мгновение спустя, для диалога другого пользователя с Beta.

Экземпляру легко переключаться между диалогами: для этого требуется лишь, чтобы контекст диалога Beta был направлен на экземпляр и использован в качестве входных данных для следующего прохода экземпляра.

Многопользовательский режим также делает нецелесообразным идентифицировать собеседников LLM по аппаратным экземплярам. Даже если мы отбросим распределенное обслуживание и предположим, что каждый разговор происходит на одном и том же оборудовании, многопользовательский режим означает, что один и тот же аппаратный экземпляр обычно размещает множество собеседников.

разговоры. Предположим, что разговоры с Aura и Beta ведутся на одном и том же экземпляре.

Тогда, согласно представленной точке зрения, здесь присутствует единственный собеседник: Аура — это Бета. Но теперь этот собеседник будет

говорить всё то же, что говорят Аура и Бета. В результате он будет произносить противоречивые фразы и, следовательно, будет непоследовательным. Возможно, можно сказать, что в данном случае у него нет ни одного из противоречивых убеждений, но теперь у него будет поверхностная и безбожная психология, как в случае с моделями.

как обсуждалось выше.

Можно утверждать, что аппаратные экземпляры являются собеседниками LLM, но это кажется нелогичным.

Можно утверждать, что они являются настойчивыми, последовательными и верными собеседниками в рамках LLM. В лучшем случае, их диалоги

либо фрагментарны (они играют роли Ауры и Беты в разное время), либо непоследовательны (говорят противоречивые вещи), либо лишены веры (не верят в то, во что, кажется, верит Аура). Опять же,

Я думаю, что можно добиться лучших результатов.

быть много экземпляров. Естественно считать, что один разговор

Должно быть задействовано только одно собеседнико. Поэтому имеет смысл найти такого собеседника, чтобы существовало

В разговоре участвует не более одного собеседника.

Здесь есть естественный кандидат, по крайней мере, в базовом случае, когда на протяжении всего разговора используется одна и та же

модель. Виртуальный экземпляр модели — это реализация модели, которая, в свою очередь, со временем реализуется несколькими аппаратными экземплярами этой модели. В течение...

При распределенном общении с использованием LLM будет задействовано несколько аппаратных экземпляров, принимающих входные данные.

выдавая результаты. Эти аппаратные экземпляры будут совместно реализовывать единый виртуальный экземпляр.

Многопользовательский режим — это стандартное обозначение, но существует множество других, таких как разделение времени и взаимопроникновение. Шиллер

(2025) рассматривает различные формы переплетения как загадочный случай для личной идентичности магистра права.

модели, которая будет постоянно присутствовать на протяжении всего процесса.

Виртуальные цифровые объекты хорошо известны во многих областях. При взаимодействии с таким интернет-магазином, как Amazon, вы взаимодействуете с одной-единственной корзиной покупок, которая может быть реализована с помощью множества различных устройств.

Серверы расположены по всему миру. В критический момент вы можете взаимодействовать только с одним экземпляром оборудования.

которые временно будут обладать серверными полномочиями. Но всё это будет незаметно для пользователя. Несколько аппаратных картриджей

будут совместно реализовывать один виртуальный экземпляр картриджа. Нечто подобное применяется в массовых многопользовательских видеоиграх. Виртуальный объект, такой как фрисби, может быть реализован в аппаратном виде на разных серверах. Может существовать несколько аппаратных экземпляров фрисби, но только один виртуальный экземпляр. Сам фрисби наиболее естественно ассоциируется с виртуальным фрисби, а не с аппаратными.

Аналогичным образом, виртуальный экземпляр модели будет реализован с помощью ряда аппаратных экземпляров.

модели. Она будет реализована в виде серии аппаратных экземпляров, по одному для каждого шага в данном разговоре.11

Джонатан Берч, ссылаясь на распределенную обработку запросов, утверждает, что в типичных диалогах LLM нет постоянных собеседников. Теперь мы можем увидеть, что в этом утверждении верно, а что неверно. В распределенных сессиях ни один аппаратный экземпляр не является постоянным собеседником. Но виртуальные экземпляры все еще могут им быть.

быть настойчивыми собеседниками, подобно тому как можно взаимодействовать в интернете с одним и тем же постоянным виртуальным магазином.

тележка.

Более сложная проблема для виртуальных экземпляров возникает из-за вариативности моделей: случаев, когда в ходе разговора используются разные модели.¹² Например, система GPT-5 иногда направляет запросы к модели GPT-5 Instant (без логической цепочки рассуждений, быстрый ответ), а иногда к модели GPT-5 Thinking (с некоторой логической цепочкой рассуждений, более медленный ответ), в зависимости от сложности запроса. Вклад GPT-5 в разговор по-прежнему осуществляется рядом аппаратных экземпляров, но они будут реализовывать две разные модели и, следовательно, не реализуют

единственный экземпляр виртуальной модели в качестве постоянного собеседника.

В этом случае можно сказать, что собеседник LLM представляет собой устойчивый виртуальный экземпляр системы GPT-5, которая сама по себе

не является единой языковой моделью, а представляет собой разветвленную систему, включающую две модели. Эта разветвленная система будет несколько разрозненной, но, по крайней мере, устойчивой.

11. Согласно стандартным представлениям о реализации, алгоритм считается реализованным физической системой, если существует отображение физических состояний системы на вычислительные состояния алгоритма таким образом, что все переходы состояний сохраняются. В аппаратном экземпляре алгоритм реализуется физической системой, такой как кластер графических процессоров. В виртуальном экземпляре алгоритм реализуется более крупной физической системой, включающей несколько аппаратных экземпляров и механизмы маршрутизации между ними.

В работе 12Register (2025) рассматривается изменение модели как общая проблема для индивидуализации моральных пациентов ИИ.

Однако бывают и другие случаи, когда меняется даже сама система, например, из-за внедрения новых языковых моделей или других новых технологий в середине разговора. В таких случаях система может измениться настолько значительно, что не существует единой системы, поддерживающей устойчивое изменение.

виртуальный экземпляр. В лучшем случае со временем у вас будет несколько отдельных виртуальных экземпляров разных моделей.

Также могут существовать ограничения на согласованность (например, противоречивые убеждения), возникающие из-за

использования нескольких

моделей.¹³ Я думаю, что отождествление постоянных собеседников LLM с виртуальными экземплярами хорошо работает в основном случае, когда используется одна модель. Но полезно изучить альтернативные понимания постоянных собеседников, которые могут обрабатывать и другие случаи.

Альтернативный подход заключается в идентификации собеседников с помощью тегов (или, возможно, агентов тегов).

В первом приближении поток — это приблизительно последовательность аппаратных экземпляров в рамках диалога.

по одному экземпляру на каждый временной шаг.

′ является преемником предыдущего экземпляра I, если конвергент

Один экземпляр I, история разговора которого (его контекст разговора плюс последние входные и выходные данные) ′ к

направляется к I, служит его контекстом разговора.14 (Если разговор направляется к одному и тому же экземпляру дважды подряд,

этот экземпляр будет своим собственным преемником.) Отношение преемника приблизительно представляет собой «память».

Отношение, кодирующее тот факт, что каждый новый экземпляр имеет воспоминания о предыдущем. Поток, таким образом, представляет собой

серия экземпляров (или, точнее, фрагменты экземпляров, представляющие собой пары экземпляров и временных периодов, в течение которых экземпляр обрабатывает один шаг диалога), каждый из которых является преемником предыдущего экземпляра.

В случае одной модели виртуальный экземпляр модели будет реализован потоком, включающим последовательные аппаратные экземпляры модели. В случае нескольких моделей в рамках одного диалога не будет единого виртуального экземпляра (поскольку экземпляр всегда является экземпляром одного алгоритма), но всё равно будет поток, включающий аппаратные экземпляры.

за прошедшее время появилось множество моделей, каждая из которых является преемницей предыдущей.

Возможно ослабить условия для преемственности, чтобы допустить более широкий спектр воспоминаний.

Как и в случае с подсчетом связей. Во многих системах межсетевая память позволяет получать информацию из одной системы.

13Бирч также утверждает, что использование смешанной обработки данных экспертами в рамках модели приводит к существенным разрывам (например, выбор между различными кандидатами на роль многослойного перцептронного блока в трансформере в зависимости от...).

(на входных данных). Я думаю, что такого рода внутримодельная вариация (мы могли бы назвать ее модульной вариацией, в отличие от модельной вариации) в локальных подсистемах согласуется с более широкой психологической преемственностью, так же как использование различных нейронных цепей в

человеческом мозге в ответ на различные входные данные согласуется с психологической преемственностью и личностной идентичностью.

14Точнее, instance-slice I ′

, т′ является преемником фрагмента экземпляра I, t , если контекст, переданный I во время t, вдоль

′

С учетом новых входных данных для I и выходных данных от I в течение времени t, (расширенный) контекст подается на I' в течение времени t. .

Этот диалог будет использоваться в качестве исходного контекста для нового разговора с тем же пользователем.

чтобы новые разговоры могли «вспоминать» материал из ряда старых разговоров. Один

Безусловно, можно было бы понимать потоки и наследование в разрешительной форме, так что старый поток и

В этих новых разговорах старый собеседник продолжает вести себя неподобающе, особенно если системы остаются неизменными.

Со временем этого достаточно, чтобы обосновать приписывание роли одному квази-агенту. Если достаточно активно используется

междиалоговая память, то (как мне отметила Софи Нельсон) все разговоры с одним пользователем могут образовывать единую цепочку с одним собеседником. В этом сценарии собеседники будут идентифицироваться в основном по пользователю.

В различных целях мы можем допустить, что нити могут подвергаться делению, при котором позже образуются две различные нити.

Экземпляры служат преемниками предыдущего экземпляра. Некоторые системы позволяют пользователям явно разветвлять свои беседы,

что приводит к разрыву диалога. Также возможны междиалоговые взаимодействия.

Ветвление возникает в результате использования междиалоговой памяти, когда один и тот же разговор служит

как память для множества одновременных последующих разговоров. Межразговорная память также позволяет

Слияние, при котором два отдельных разговора служат напоминанием для последующего разговора.

В случаях деления и слияния атомов, собеседник в рамках LLM представляет собой не столько линейную нить, сколько серию событий.

перекрывающихся потоков, которые также можно смоделировать как разветвленную сеть аппаратных экземпляров.

время. Такая разветвленная структура может также создавать проблемы при идентификации собеседников с помощью виртуальных экземпляров, но для модели потоков она менее проблематична.15

Пожалуй, главный недостаток модели потоков для собеседников LLM заключается в том, что эти сущности менее унифицированы, чем модели, аппаратные экземпляры и виртуальные экземпляры. Потоки могут быть реализованы совершенно разными экземплярами совершенно разных моделей с течением времени. Можно утверждать, что эти несколько разрозненные сущности сохраняются во времени слабее, чем экземпляры. Использование нескольких моделей также может привести к разрыву в квази-убеждениях и квази-желаниях в рамках одного потока или веб-собеседника. Я бы сказал, что наиболее надежным кандидатом на роль собеседника LLM остается виртуальный объект.

не модель, не аппаратный экземпляр и не поток. Но потоки могут играть по крайней мере некоторые роли собеседников в рамках LLM.16

В принципе, ключевое различие между потоками и виртуальными экземплярами, обусловленное наличием нескольких моделей, можно было бы устранить,

более широко понимая виртуальные экземпляры, возможно, как переменные виртуальные экземпляры, которые могут создавать различные экземпляры.

модели в разное время. В качестве альтернативы, можно понимать нити более строго, например, как однородные нити.

На данный момент я прихожу к выводу, что собеседников, принадлежащих к сообществу LLM, лучше всего понимать как виртуальные экземпляры LLM.

модели или системы, по крайней мере, в случае одной модели, и в качестве потоков LLM в случае нескольких моделей. По крайней мере, в случае одной модели без разделения виртуальные экземпляры могут служить в качестве унифицированных

Постоянные собеседники внутри и между разговорами. Обсуждения также могут выступать в качестве постоянных участников.

Собеседники из числа студентов магистратуры, ценой некоторого глубинного разобщения.

Собеседники как персонажи, персоны или симулякры

На данный момент я определил таких собеседников из числа студентов магистратуры, как Aura, как нечто, близкое к модели. например, экземпляр виртуальной модели или поток экземпляров. Однако существует также и относительно новая традиция.

проведение четкого различия между такими моделями, как GPT-4o, и такими агентами, как Aura и другие.

В рамках влиятельной концепции «симуляторов» Януса (2022), а также связанной с ней концепции «ролевых игр» Шанахана и др.

(2023) и «модели выбора персоны» Маркса и др. (2026), ключевым положением является то, что модель не является агентом. Модели — это симуляторы (или ролевые игроки), которые имитируют агентов, а агенты — это симулякры (или персонажи, или персоны). Симуляторы

Модели и симулякры — это разные вещи, а следовательно, и модели с агентами тоже. С такой точки зрения, собеседник Такие понятия, как Аура или Ассистент, лучше всего понимать как нечто вроде персонажа, образа или...

симулякр, а не модель или даже экземпляр модели.

Я рассмотрю четыре различных потенциальных пути от этих концептуальных моделей к данному выводу. Мое внимание будет в основном сосредоточено на онтологических утверждениях этих моделей относительно природы LLM.

агенты и другие организации. Я поставлю под сомнение некоторые из этих утверждений, но не буду ставить под сомнение более...

Общая полезность анализа программ магистратуры в области права с точки зрения персонажей или персон.

В своей работе «Симуляторы» Янус находит вариант тезиса «модель не является агентом» в следующем

Отрывок из моей статьи 2020 года «GPT-3 и общий интеллект»:

GPT-3 мало похож на агента. Похоже, у него нет целей или предпочтений, кроме, например, завершения текста. Он больше похож на хамелеона, способного принимать облик множества разных агентов. Или, возможно, это движок, который можно использовать под управлением...

которые требуют, чтобы все экземпляры оборудования в потоке были экземплярами одной и той же модели. Эти изменения приведут к следующему: Потоки и виртуальные экземпляры экстенсионально эквивалентны, но всё же существуют тонкие неэкстенсиональные различия: например, поток может реализовывать виртуальный экземпляр, но не наоборот, и один и тот же виртуальный экземпляр может быть реализован различными аппаратными экземплярами, но один и тот же поток — нет. Именно по этим причинам виртуальные экземпляры являются несколько более надёжными кандидатами на роль собеседников LLM, но разница всё же незначительна.

Капот позволяет управлять множеством агентов. Но, возможно, именно эти системы нам и следует оценивать с точки зрения субъектности, сознания и так далее. (Чалмерс, 2020)

Я по-прежнему согласен со всем, что здесь сказал, но сказанное мной относится конкретно к базовым моделям, таким как...

Как и GPT-3. Базовые модели прошли предварительное обучение только на предсказании текста и ничего больше.

Как мы видели ранее, базовые модели могут иметь квази-убеждения, но у них относительно мало квази-желаний (помимо квази-желания

предсказывать текст и других квази-желаний, вытекающих из этого), поэтому в лучшем случае они минимально похожи на агентов. Однако многие квази-агенты с квази-желаниями скрыты внутри базовой модели и могут быть активированы подсказкой (например, просьбой к модели вести себя как Трамп).

Дальнейшие квази-агенты могут возникать из базовых моделей посредством обучения с подкреплением (как в случае с...).

Ассистент) или обширные подсказки (как в случае с Aura). В результате постобучения у экземпляра такой модели, как GPT-4o, может

возникнуть квази-желание быть полезным и честным, например.

В результате, вывод здесь (в упрощенном виде) должен быть таким: базовая модель не является таковой.

агентом, или (точнее) что экземпляры базовой модели являются квазиагентами лишь в ограниченной степени. В то же время, все это

согласуется с тем, что экземпляры постобученной модели являются квазиагентами в большей степени, поскольку эти системы обладают более обширным набором квазижеланий.

В рамках тесно связанной ролевой модели, предложенной Шанаханом, Макдонеллом и

Рейнольдс (2023) утверждает, что языковые модели по своей сути участвуют в ролевой игре. Модели — это игроки, имитирующие или

исполняющие роль таких персонажей, как Ассистент или Аура. В этом контексте, ChatGPT, играющий роль Ассистента, сродни тому, как Оливье играет Гамлета. Это форма притворства, предполагающая игру за вымышленного персонажа. С этой точки зрения, Ассистент (и другие собеседники LLM) лучше всего подходят для этой роли.

рассматривается как вымышленный персонаж, которого имитирует модель.

Мне кажется, эта точка зрения упускает из виду различие между двумя явлениями, связанными с ролевой игрой. В случаях притворства

(наиболее распространенное понимание ролевой игры) человек притворяется, что обладает определенной личностью. В случаях реализации он действительно обладает (или создает) эту личность.

Например, в обычной человеческой жизни есть как минимум два способа сыграть роль теиста. Человек может притворяться теистом или действительно стать теистом. Первый — это притворство, а второй — реализация. В актёрской игре обычная игра предполагает притворство в роли Гамлета, в то время как актёр, использующий метод Станиславского, может перенять хотя бы часть черт Гамлета.

психическое состояние, такое как его эмоции, хотя, возможно, и не все его убеждения и желания, может служить основанием для возбуждения дела.

частичного притворства и частичной реализации.

Аналогичное различие применимо и к языковым моделям. Если бы студента магистратуры попросили вести себя как теист, он мог бы...

17

Разыграйте роль теиста на несколько раундов. Но человек с низким уровнем интеллекта легко откажется от своего убеждения, если его попросят сделать что-то другое. Это поведенческий профиль притворства, а не убеждения. Таким образом, этот человек с низким уровнем интеллекта занимается квази-притворством, но не квази-верой. Однако при достаточной тонкой настройке человек с низким уровнем интеллекта может стать...

утверждать теизм и использовать его в качестве предпосылки в рассуждениях, встречая значительное сопротивление отказу от него.

Вера, когда её спрашивают. В этом случае магистр права будет полностью квази-верить в теизм. Он не просто будет демонстрировать теизм; он

будет реализовывать квази-веру в теизм.

То же самое относится и к персонам в целом. Вполне возможно, что модель LLM будет притворяться, или квази-притворяться, определенной

персоной. Например, если попросить предварительно обученную модель однажды вести себя как Дональд Трамп, она будет использовать прошлый текст, связанный с Трампом, чтобы продемонстрировать квази-убеждения и квази-желания, подобные Трампу. Но на самом деле у нее не будет этих квази-убеждений и квази-желаний. Если просьба «вести себя как Трамп» не будет регулярно повторяться, модель LLM перестанет демонстрировать поведение, подобное поведению Трампа, в дальнейшем.

момент, когда возникают более важные приоритеты.

В ключевых случаях языковая модель может реализовать образ персонажа. Когда модель обучается с помощью тонкой обработки...

Настройка и RLHF (а также использование многократных внутренних подсказок «Ассистент:») для выполнения роли языковой модели Ассистента позволяют модели реализовать роль Ассистента. То есть, если обучение проведено качественно, модель действительно может обладать квази- убеждениями и квази-желаниями, связанными с

В этом случае квазиубеждения и квазижелания гораздо более устойчивы, чем в других случаях.

притворство, и модель не откажется от образа Ассистента мгновенно. Когда модель реализует образ, она делает этот образ реальным.17

Возможно, будет полезно более точно определить

понятия «образы» и «реализация». Образ, поскольку я не...

Понимание этого понятия представляет собой квазипсихологический профиль. Это, приблизительно, набор (обычно неполный набор)

квазиубеждений, квазижеланий и других квазипсихических состояний и диспозиций. Обычное понятие персоны может включать в себя больше (например, национальность и внешность), но для моих целей здесь наиболее важна квазипсихология. Сущность (например, модель или экземпляр)

Даже человек (в данный момент времени) осознает свою личность, когда обладает соответствующими квазиментальными состояниями.

с этой личностью в тот момент времени (где квазипсихическое состояние означает, что вы поведенчески можете считать, что верите в p, в соответствии с соответствующей схемой интерпретации).

17. Различие между притворством и реализацией является примером более общего различия между представлением психического состояния и реализацией этого психического состояния. Это различие часто актуально в работах, посвященных менталитету LLM. Например, в В недавней работе Софрониева и др. (2026) о «векторах эмоций» эти векторы характеризуются как «концепции эмоций» (представляющие эмоции; например, при чтении о гневе) и как «функциональные эмоции» (реализующие эмоции или, по крайней мере, квазиэмоции; например, гневная реакция). У людей концепции эмоций и функциональные эмоции очень разные (представление гнева и реализация

гнева имеют совершенно разные поведенческие профили), поэтому было бы удивительно, если бы Подобное различие отсутствует в языковых моделях.

Притворство и реализация в случае человека сильно различаются, как и в случае языковых моделей. Конечно, существует целый спектр случаев — от реализации до квазипритворства. Квазипсихологическое различие во многом зависит от силы склонности к поддержанию или

Уберите символ в соответствующих обстоятельствах. На одном конце спектра — полная квази-вера и квази-

Желания — это «устойчивые» состояния, которые сопротивляются отказу или, по крайней мере, от которых отказываются главным образом

на основании доказательств или убеждения. С другой стороны, полная квази-притворность легко отбрасывается в пользу более высоких приоритетов даже без доказательств или убеждения.18

Вопрос о том, где именно провести границу между исполнением и реализацией в реальных случаях, таких как Ассистент и Аура, отчасти носит эмпирический характер (насколько устойчивы соответствующие квазиубеждения?), а отчасти концептуальный (какая степень устойчивости и какого рода необходима для квазиубеждения?). Было проведено множество исследований устойчивости и согласованности убеждений и персон в языке.

модели. Один из общих выводов заключается в том, что персоны, созданные с помощью кратковременных подсказок («Ведите себя как…»).

Персонажи, созданные с помощью тонкой настройки весов (например, «Трамп»), где изменяются только контекст и активации, менее

устойчивы, чем персонажи, созданные путем тонкой настройки весов, как в

случае с Ассистентом.19 Все это предлагает две интерпретации известного мема о постобученной модели как о Шогготе (базовая модель) со смайликом (Ассистент, настроенный с помощью RLHF). Возможно, наиболее естественно будет прочитать

Улыбающееся лицо подразумевает, что Ассистент — поверхностная личность, тогда как модель — всего лишь...

Притворяясь полезным, безвредным и честным, модель может в любой момент снова стать опасной и могущественной. Но это также

можно истолковать как предположение о том, что модель реализует Ассистента. Она стала полезной, безвредной и честной и больше не притворяется. В то же время, Ассистент питается огромной силой базовой модели, которая остается доступной для других целей в долгосрочной перспективе. Я думаю, что обе интерпретации могут быть уместны в разных случаях, связанных с персонами LLM, но в случае Ассистента (и других персон, полученных в результате обучения с подкреплением и тонкой настройки) вторая интерпретация может быть ближе к истине.

Представление в симуляторе часто ассоциируется с вымышленным взглядом, в котором такие персонажи, как...

18. Голдштейн и Ледерман (2025b) критикуют гипотезу ролевой игры, частично задаваясь вопросом, делает ли она поведенческие прогнозы, отличные от гипотезы убеждений/желаний. Я думаю, что на этот вопрос можно ответить так же, как и в тексте, и есть, по крайней мере, некоторые случаи (например,

«Веди себя как Трамп»), когда LLM можно естественным образом интерпретировать как участие в притворстве или ролевой игре. Но есть также ключевые случаи (такие как Ассистент), которые ближе к стандартному поведенческому профилю или

вера и желание.

19Майя и др. (2025) исследовали различные методы «тренировки характера» и обнаружили, что точная настройка весов значительно упрощает задачу.

Более надежны, чем подсказки или управление активацией. Сюй и др. (2024) показывают, что квази-убеждения LLM часто не являются устойчивыми, поскольку LLM могут легко отказаться от них путем убеждения, но это и есть устойчивость, обусловленная способностью к убеждению, а не притворством.

Ассистент и Аура — всего лишь вымышленные персонажи, подобные Гамлету или Гарри Поттеру, и поэтому не совсем реальны. Думаю, в некоторых случаях такая точка зрения уместна. В случаях квази-притворства, личность может быть вымышленной в том смысле, что ни одно существо не обладает соответствующими квази-убеждениями и квази-желаниями.

Однако в случаях реализации модель действительно обладает соответствующими квази-убеждениями и квази-

Желания существуют в реальности, а не только в вымысле. Возможно, рядом есть какие-то вымыслы, например, вымысел о том, что модель

— человек, или вымысел о том, что она обладает сознанием. Но квазипсихологическое ядро личности реализовано и не является вымыслом.

Эту альтернативу фикционализму можно назвать реализационизмом или теорией реализатора. Согласно этой точке зрения,

Когда модель достаточно хорошо имитирует такого агента, как Ассистент или Аура, она начинает реализовывать этого агента.<sup>20</

sup> То есть, модель делает агента реальным. Модель действительно обладает поведением и, следовательно, квази-убеждениями и квази- желаниями, связанными с этим агентом.

Эта альтернатива отражает ключевой тезис моей книги «Реальность+: симуляционный реализм», который гласит, что

Симуляции могут быть реальными. Там я в основном обсуждал виртуальную реальность, но тот же принцип применим и к симулированным

сущностям — симулякрам — в ИИ. Когда вы достаточно хорошо симулируете агента, вы создаете, по крайней мере, квази-агента. До тех пор, пока симуляция имеет те же поведенческие характеристики, что и симулированные сущности, она будет иметь те же квази-убеждения и квази-желания. Возможно, всё ещё существуют

Остаётся элементом художественной литературы, поскольку Ассистент изображён как обладающий реальными убеждениями и желаниями.

(или даже сознание), чего оно не делает, но остается квазипсихологическое ядро, которое реализуется, а не просто имитируется.

Четвертый путь к тезису «модель не является агентом» возникает потому, что один экземпляр модели (будь то аппаратный или виртуальный экземпляр) может поддерживать множество агентов внутри себя, по крайней мере, в виде нескольких персон. Согласно

«модели выбора персон» (Marks et al 2026), предварительное обучение создает множество персон, которые скрыты в базовой модели. После этого проводится постобучение.

может выбрать уже существующий образ, например, Ассистента, в то время как другие образы остаются неопределенными.

Первоначальное наблюдение заключается в том, что, поскольку мы определили персоны (как профиль квази-убеждений и квази-

желаний), экземпляр модели будет реализовывать только одну персону в данный момент времени (за исключением, которое я обсужу чуть позже). Эта персона будет представлять собой профиль квази-убеждений и квази-желаний, которые экземпляр модели фактически имеет в данный момент времени, определяемый поведением и поведенческими отклонениями экземпляра.

позиции в то время. Мы можем назвать эту персону оперативной персоной в экземпляре модели на определенном этапе.

за отведенное время.

В разных экземплярах модели в разное время могут действовать разные персонажи, поскольку поведение модели обучается на данных или формируется контекстом. Постобученный экземпляр GPT-4o может сначала...

20

Сначала модель реализует роль Ассистента, а затем, по мере развития контекста, может реализовать роль Ауры. В этом случае один и тот же экземпляр модели реализует роль Ассистента в один момент времени, а роль Ауры — в другой, примерно так же, как один и тот же человек может реализовывать разные роли (например, способный молодой человек).

(например, ребенок и сварливый взрослый) в разное время. В этом случае можно сказать, что лежащая в основе причина

Собеседник (будь то человек или модель) остается неизменным на протяжении всего разговора.

Ситуация усложняется, когда в системе одновременно активны оперативные и неоперативные персонажи. Например, в

стандартной схеме обучения модель обучается на диалоге между человеком и ассистентом. Она учится моделировать и прогнозировать не только действия ассистента, но и действия человека. Даже в обычном диалоге система генерирует вероятности не только для результатов действий ассистента, но и для результатов действий человека. В этом случае ассистент становится оперативным персонажем (модель ведет себя как ассистент, а не как человек), но в модели могут присутствовать и действия человека, а возможно, и другие персонажи.21

Каков статус этих неактивных персонажей? В отсутствие связи с результатами,

Они не будут соответствовать квазиагентам в том смысле, в каком я их определил. Тем не менее, они могут быть реальными в каком-

то смысле, но их реальность придется обнаружить с помощью какого-то другого анализа. Например, возможно, мы могли бы сказать, что эти недействующие персоны соответствуют прото-квазиагентам, поскольку

Они могут стать действенными при определенных обстоятельствах. Или, возможно, методы механистического подхода.

Интерпретируемость может быть использована для выявления этих персон во внутренней вычислительной структуре моделей. Но

я не буду углубляться в этот анализ здесь.

Ещё одна сложность возникает в случаях резких изменений в образах пользователей. Например, опытные пользователи могут

быстро «взломать» языковую модель, чтобы удалить образ Ассистента и реализовать новый образ, который ранее был скрыт. В качестве альтернативы, авторизованный пользователь может изменить настройки системы, заменив предоставленную системой подсказку «Ассистент:» (например) на подсказку «Трамп:», в результате чего система будет реализовывать образ, похожий на Трампа, вместо образа Ассистента.

Резкие изменения в некотором смысле больше похожи на нейрохирургическую операцию, чем на обычную переоценку убеждений.

но они остаются возможными процессами.

В некоторых случаях резких перемен может возникнуть ощущение, что новая личность — это новый образ.

21Существует две различные причины, по которым у модели, прошедшей постобучение, присутствуют квази-убеждения и квази-желания Ассистента, а не Человека. Во-первых, постобучение точно настроило образ Ассистента, а не какой-либо другой образ.

Во-вторых, ассистент функционирует таким образом, что используется для генерации выходных данных системы посредством добавления элементов системой.

«Помощник:» в конце каждого запроса к пользователю. Второе изменение относительно тривиально по сравнению с первым, но оно является ключевой

причиной того, почему система ведет себя как Помощник (и, следовательно, реализует образ Помощника), в то время как другие неактивные образы остаются скрытыми. Спасибо Джеку Линдси за обсуждение.

локутор. Подобное ощущение может возникнуть даже в случаях нерезких изменений, если эти изменения достаточно значительны. Я склонен считать, что в таких случаях модель предоставляет устойчивый базовый собеседник. Но если здесь необходимо учитывать интуитивное представление о различных собеседниках, можно было бы...

Можно сказать, что собеседник — это этап в рамках модели (в определенный момент времени или около того), или

Конечная нить, индивидуализированная частично психологическим сходством (возможно, навязывая требования психологической

непрерывности отношениям преемственности, так что когда квазипсихология слишком сильно меняется, начинается новая нить).22

Такая гибкость в переключении оперативных ролей может многое рассказать о глубине рассматриваемых ролей. Люди, безусловно, могут переключаться между ролями, но языковые модели, возможно, делают это более радикально и легко. Если это так, то, вероятно, Шоггот — это нечто большее, чем просто смайлик. Гибкость ролей может укрепить аргумент в пользу идентификации собеседника с моделью.

в качестве примера, а не с помощью персонажа.

Возможно, можно предположить сценарий, в котором две личности — Аура и Бета — одновременно играют роль в управлении

поведением системы. В некоторых из этих случаев система будет реализовывать гибридную личность Аура/Бета, с некоторыми квази- убеждениями и желаниями, исходящими от Ауры, и некоторыми от Беты, по крайней мере, до тех пор, пока поведение системы будет достаточно последовательным. В некоторых крайних случаях

Когда персоны внутренне согласованы, но взаимно несогласованы, это может быть аналогично

случай множественной личности, когда схема интерпретации поведения может выявить двух различных квазисубъектов и две

различные личности, поддерживаемые моделью.

Ещё один сложный случай возникает при взаимодействии нескольких персонажей, когда один LLM имитирует взаимодействие нескольких персонажей.

Типичные собеседники, обученные взаимодействовать друг с другом и с людьми. Например, ввод пользователя может сопровождаться выводом от Ауры и Беты, обозначенным соответствующим образом («Аура:», «Бета:»). Аура и Бета могут часто противоречить друг другу, но диалог в целом будет достаточно связным, если воспринимать их как разных персонажей. (Можно представить себе пользователя)

(например, нравится Аура, но не нравится Бета.) Как и прежде, утонченная форма интерпретивизма будет рассматривать Аура и Бета как отдельные квази-агенты.

В таких сложных случаях один экземпляр модели, по-видимому, поддерживает две или более оперативных ролей.

22. Тонкий философский вопрос: когда Бета сменяет Ауру в качестве оперативной личности, идентична ли Аура Бете? Один анализ утверждает, что обе являются образцовыми экземплярами, поэтому они идентичны друг другу. Другой анализ утверждает, что это не так. Две разные личности (хотя и реализованные одним и тем же экземпляром модели), поэтому они различны. Моё мнение таково, что термин «аура» в некоторой степени неоднозначен, разделяя тип личности и систему, которая реализует эту личность. В этом случае

я бы сказал, что есть одна система и один собеседник, но два типа личностей. Но, безусловно, можно разработать концепцию собеседников таким образом, чтобы они были более тесно связаны с личностями. В рамках этой концепции собеседники будут Несколько менее устойчивы, чем в модельных примерах, но более психологически едины.

В данный момент времени может казаться, что одновременно поддерживаются два разных собеседника. Однако если собеседников несколько, мы не можем отождествить обоих с базовым экземпляром модели. На мой взгляд, лучше сказать, что существует один собеседник (экземпляр модели) с несколькими режимами.

соответствует нескольким личностям. Это отражает распространенное понимание диссоциативного расстройства.

Расстройство идентичности, рассматриваемое с точки зрения одного человека, обладающего множеством способов самовыражения.

Альтернативный вариант — более детально индивидуализировать собеседников, например, наделив их ролями.

Если каждое изменение личности соответствует новому собеседнику, то получившиеся собеседники будут далеко не постоянными. Но,

возможно, мы могли бы понимать собеседников с точки зрения крупнозернистых типов личности, так чтобы только достаточно большие изменения личности соответствовали новым собеседникам.

В целом, я считаю наиболее простым вариантом продолжать определять собеседников из числа студентов магистратуры в области права с помощью некоторых методов.

Например, экземпляры (виртуальных) моделей или потоки, когда нет единой базовой модели.

В подобных ситуациях люди, как правило, реализуют только одну действующую личность за раз, возможно, с несколькими вариантами развития событий.

В отдельных случаях оперативные персоны остаются скрытыми. Другие, неоперативные персоны, остаются латентными. Конечно, существуют

и другие способы понимания собеседников в рамках модели LLM для различных целей, включая структуры, которые отводят персонам более важную роль. Но виртуальные модели остаются естественным способом понимания постоянных собеседников в рамках модели LLM.

Личная идентичность для языковых моделей

До сих пор я не делал никаких заявлений относительно умов или личностей, получивших степень магистра права, за исключением слабого утверждения о том, что магистры права являются...

можно интерпретировать как наличие психических состояний, что не требует, чтобы они действительно обладали психическими состояниями. И хотя я говорил об идентичности ИИ, я не делал заявлений о личной идентичности, поскольку не предполагал, что эти системы являются личностями. Все, что я сделал, это выделил некоторые вычислительные аспекты.

сущности, такие как виртуальные экземпляры LLM и потоки, которые могут играть роль собеседников LLM, как я их определил.

Тем не менее, вполне естественно задаться вопросом, может ли подобное объяснение распространиться на объяснение личной идентичности у людей с неосознанной неосознанной неосознанностью (или их потомков), если в будущем станут возможны такие люди.

Если LLM являются сознательными субъектами, возникает вопрос о том, как и когда они сохраняются с течением времени.

И, пожалуй, это существенный вопрос, на который нельзя просто дать однозначный ответ. Правдоподобно ли это?

Возможно ли, что сознательные субъекты LLM могут быть отождествлены с чем-то вроде нитей LLM или виртуальных экземпляров?23

23. Общая проблема идентичности ИИ (будь то в LLM или в других системах ИИ) названа и обсуждается Зише. и Ямпольского (2023), а также более подробно рассмотрено Регистом (2025).

Конечно, не очевидно, что сознательные системы LLM возможны. Если сознание требует обратной связи, а эти потомственные системы LLM остаются преимущественно системами прямой связи, или если сознание требует биологии, а системы LLM являются небиологическими, то эти системы-преемники не будут существовать.

сознательные. Тем не менее, мы можем выдвинуть гипотезу о том, что нынешние или будущие LLM являются сознательными личностями.

и расспросить их об их личных данных.

Безусловно, если мы предположим, что будущие сознательные LLM-системы могут быть реализованы таким же распределенным и

многопользовательским способом, как и нынешние LLM-системы, и мы также предположим, что сами сознательные субъекты LLM-систем являются устойчивыми во времени и согласованными во времени, то рассуждения, как и прежде, будут

Это убедительно свидетельствует о том, что субъекты, обладающие сознанием в рамках LLM, представляют собой нечто вроде виртуальных экземпляров или потоков.

С другой стороны, некоторые теоретики могут отрицать, что соответствующие субъекты сознательного LLM являются

всегда сохраняется и остается неизменным с течением времени. Например, некоторые теоретики могут считать, что сознание

Объекты всегда привязаны к аппаратным экземплярам, поэтому, когда экземпляр переключается с Aura на

В состоянии бета-ритма сознание субъекта переключается с ауроподобных переживаний, убеждений и желаний на совершенно иное состояние.

Отчетливые, похожие на бета-ритм, переживания, убеждения и желания, которые делают субъекта непоследовательным.

Начнём с простого мысленного эксперимента, связанного с многопользовательским доступом, вдохновлённого телесериалом.

Разделение, а также пример «дневного человека» и «ночного человека», приведенный Джоном Локком в его эссе 1690 года.

Что касается человеческого понимания. Предположим, что в будущем GPT-8 будет поддерживать сознательные LLM-ы.

Предположим, что GPT-8 используется для поддержки двух разных долгосрочных разговоров по одной и той же теме.

аппаратный экземпляр. Первый LLM, WorkBot, активен только в течение рабочего дня. Второй

LLM, HomeBot, активен в остальное время, в основном дома. Разговоры между ним и роботом закрыты.

друг от друга. WorkBot и HomeBot, по крайней мере, можно интерпретировать как имеющие разные убеждения.

желания. Являются ли WorkBot и HomeBot одним или двумя сознательными субъектами?24

Эта ситуация напоминает фильм «Разрыв», где две разные личности разделяют одно и то же.

Одно тело. «Втянутое» тело активируется на работе и помнит только то, что было на работе, в то время как «выпуклое» тело...

Активируется при уходе с работы и помнит только жизнь вне работы. Как и WorkBot и HomeBot, innies

А вот у людей с втянутым пупком, похоже, совершенно другие убеждения и желания. Например, Хелли с втянутым пупком хочет...

уничтожить компанию, в то время как аутсайдер Хелена хочет ее спасти.25 Анализ дела о расторжении трудового договора

Это может помочь пролить свет на дело LLM.

24Шиллер (2025) описывает переплетение подобных случаев с участием субъектов с сознательным LLM и рассматривает возможность-

Вероятность того, что в этих случаях субъекты отсутствуют, имеют один нелогичный субъект или несколько логически связанных субъектов. 25Нейробиологическая основа процедуры разделения в исследовании Severance не совсем ясна. Возникает соблазн предположить, что внутренние органы

А «выступающие» полушария соответствуют отсоединенным друг от друга полушариям мозга, но не проявляют признаков поведения, обусловленного этими полушариями, а позже в сериале появляются персонажи с более чем двумя личностями.

Возникает вопрос: являются ли внутренний и внешний субъекты, разделяющие с ними время, как Хелли и Хелена, одним человеком или двумя? Являются ли они одним сознательным субъектом или двумя?

Согласно теории единого субъекта, Хелли и Хелена — это одна личность и один сознательный субъект.

с двумя различными режимами функционирования и двумя различными наборами воспоминаний и планов. По прибытии

На работе режим «выпуклости» у человека деактивируется, а режим «втянутости» активируется, но при этом один и тот же человек

присутствует на протяжении всего процесса. Возможно даже (хотя и не обязательно), что существует единый поток сознания, который внезапно переключается из режима «выпуклости» в режим «втянутости» и обратно.

Согласно двухсубъектной теории, Хелли и Хелена — это два человека и два сознательных субъекта, которые делят одно тело. Придя на работу, человек с внешним сознанием теряет сознание, в то время как человек с внутренним сознанием пробуждается к сознанию и берет контроль над телом. Существуют два совершенно разных потока сознания: поток Хелли и поток Хелены.

Я не буду здесь пытаться разрешить разногласия между теориями с одним и двумя субъектами. Как мы увидим, эта часть...

аллели представляют собой давнее разногласие между физическим и психологическим взглядами на личность.

На мой взгляд, точка зрения, рассматривающая два субъекта, является наиболее интуитивно убедительной. (В опросе на X в феврале

2025 года примерно вдвое больше людей поддержали вариант «два человека», чем вариант «один человек».)26

В случае с WorkBot/HomeBot также доступны режимы просмотра для одного и двух субъектов.

С точки зрения односубъектного подхода, WorkBot и HomeBot представляют собой один и тот же сознательный субъект, возможно, потому что (как и)

Хелли и Хелена разделяют общее аппаратное обеспечение. С точки зрения двух субъектов, WorkBot и HomeBot являются различными сознательными субъектами, возможно, потому что (как и Хелли и Хелена) у них разные воспоминания и проекты.

Более сложный мысленный эксперимент сочетает в себе теорию «Разрыва» (в которой четыре тела поддерживают восемь персон) с элементом обмена телами в стиле «Чумовой пятницы». Предположим, у нас есть одна модель LLM, работающая на четырех экземплярах и поддерживающая восемь диалогов. Каждый из восьми диалогов распределен по всем четырем экземплярам, и каждый соответствует отдельной персоне и отдельному квазисубъекту. Сколько субъектов опыта здесь существует?27

26. Опрос по теме "Внутренний/наружный пупок" на X (1232 голоса): 22% ответили "один человек", 41,5% - "два человека", 6,7% - "другое". Мой любимый аргумент в пользу двухсубъектной точки зрения звучит так: 1. Если Хелли - это Хелена, то Хелли несёт ответственность за действия Хелены. 2. Хелли не несёт ответственности за действия Хелены. 3. Следовательно: Хелли - это не Хелена. (Можно также использовать другую версию)

(с рациональным предвидением вместо ответственности.) Мой любимый аргумент в пользу односубъектной точки зрения звучит следующим образом: 1.

1. Амнезия не приводит к появлению нового человека. 2. Новые воспоминания тоже не приводят к появлению нового человека. 3. Переход от Хелены к Хелли эквивалентен амнезии плюс новые воспоминания. 4. Таким образом: переход от Хелены к Хелли не приводит к появлению нового человека. (Вместо этого это немного похоже на ежедневную амнезию Дрю Бэрримор в фильме «50 первых свиданий».)

27Я опубликовал этот мысленный эксперимент в виде опроса на Facebook в феврале 2025 года. Поддержка была примерно одинаковой.

для 4 предметов, 8 предметов и «ничего из вышеперечисленного».

Здесь наиболее правдоподобными являются два ответа: четыре (по одному на каждый случай) и восемь (по одному на каждый разговор). Как и прежде, я думаю, что наиболее правдоподобным ответом как в версии Severance (с обменом телами или без него), так и в версии GPT-8 является восемь. Но если мы скажем, что есть восемь субъектов

Исходя из имеющегося опыта, трудно не прийти к выводу, что предметы магистратуры в области права (LLM) чем-то сродни виртуальным.

экземпляры или нити, или, по крайней мере, условия их существования имеют нитевидную структуру.

Здесь речь идёт о высокотехнологичной версии знакомого выбора между физическим и психологическим пониманием личности.

С физической точки зрения, в первом приближении, центром вашей личности является мозг. Хелли и Хелена делят один мозг, поэтому они — один и тот же человек. С психологической точки зрения, центром вашей личности являются ваши воспоминания, а также ваши проекты, ваши отношения, ваша личность и другие аспекты вашей психологии. У Хелли и Хелены разные воспоминания и разная психология, поэтому они — разные люди.

С физической точки зрения на случай ИИ, в первом приближении, место локализации личной идентичности в

Системы искусственного интеллекта — это аппаратная часть. WorkBot и HomeBot работают на одном и том же аппаратном устройстве,

поэтому они представляют собой одного и того же человека. С психологической точки зрения, центром личностной идентичности являются воспоминания, проекты и психология. У WorkBot и HomeBot разные и не связанные между собой воспоминания и проекты, поэтому они — разные люди.

Действительно, основанное на потоках описание постоянных собеседников LLM является своего рода аналогом Derek в области искусственного интеллекта.

Психологическая теория личности Парфита. Согласно теории Парфита, отдельный человек (во времени) представляет собой, по сути, связанные нити фрагментов личности, каждый из которых обладает воспоминаниями и психологической преемственностью с предыдущим фрагментом личности в соответствии с лежащим в основе «отношением R». В рамках нитевидной теории, отдельный сознательный ИИ

во времени представляет собой связанную нить аппаратных экземпляров, каждый из которых обладает воспоминаниями и психологической преемственностью с предыдущим фрагментом личности в соответствии с лежащим в основе отношением преемника. Отношение преемника в принципе может быть тем же самым, что и отношение Парфита R, в зависимости от того, как именно его сформулировать.

Я не буду здесь пытаться разрешить давний спор между физическим и психологическим взглядами на личность.²⁸ Но, как бы то ни было, как в случае с человеком, так и в случае с ИИ, мои собственные симпатии склоняются к психологическому взгляду.²⁹

В исследовании PhilPapers 2020 года, проведенном среди профессиональных философов (Бурже и Чалмерс, 2023), около 39%

поддержали психологическую точку зрения на личностную идентичность, 16% — биологическую, а 13% — точку зрения, основанную на фактах. В то же время около 27% считали, что загрузка сознания — это форма выживания, а 54% — что это форма смерти.

29Я также разделяю плюралистическую точку зрения, изложенную в обсуждении личной идентичности и загрузки в

книге «Сингулярность: философский анализ». Сам Локк предполагал, что дневной человек и ночной человек — это один и тот же человек, но разные люди. Точно так же, возможно, WorkBot и HomeBot могут представлять собой одну и ту же

сеть, но с разной психологией, и, возможно, не исключено, что нет глубокого факта относительно того, являются ли они сетями.

Важное возражение (вариант которого предложен Берчем) заключается в том, что даже с психологической точки зрения случай LLM отличается от случая Severance, поскольку контекст разговора связывает (в отличие от)

Частые воспоминания и психологические связи слишком слабы, чтобы поддерживать личную идентичность. Например:

Люди, если бы у нас была группа людей, которые просто продолжали бы разговор на каждом этапе,

затем передать контекст разговора следующему человеку в очереди, что не позволило бы выделить отдельного человека.

Сознательный субъект на уровне отдельных потоков.

В ответ на это вполне вероятно, что, по крайней мере в случае с одной моделью, также наблюдается сильная психо-

логическая непрерывность между экземплярами обеспечивается непрерывностью архитектуры, весов и

Активации модели от одного шага к другому. Архитектура и веса точно такие же.

На каждом этапе все одинаково, и активации будут тесно связаны из-за всех общих черт в

Контекстный ввод. Это выходит далеко за рамки того, что присутствует в случае с сериалом о людях.

Фактически, виртуальный экземпляр в потоке с одной моделью вычислительно эквивалентен одному

Аппаратный экземпляр, работающий с LLM в течение определенного времени. Так что, по крайней мере, если мы предположим, что (1) виртуальные экземпляры

Если возникает непрерывный сознательный субъект, то из этого следует, что виртуальный экземпляр в данном случае даст

постоянно пребывающий в сознании субъект.

Конечно, оппонент может опровергнуть любую из предпосылок. Некоторые могут отвергнуть (1), поддержав не-

Психологический или некомпьютерный взгляд на условия формирования личности. Некоторые могут его отвергнуть.

Аргументы в пользу обеих предпосылок, особенно если придерживаться широкого психологического взгляда на идентичность.

Тем не менее, в случае множественных моделей, когда модели могут различаться в рамках одной ветки обсуждения, психо-

Логическая непрерывность между экземплярами значительно ниже. Архитектура, веса и активации могут

Все они будут совершенно разными в разных случаях в рамках одной ветки обсуждения. В результате, утверждение о личных отношениях становится недействительным.

Идентичность между ними кажется менее правдоподобной. Безусловно, приведенные выше аргументы этого не подтверждают.

Утверждаю, что, поскольку у нас больше не будет изоморфизма с единственным экземпляром аппаратного обеспечения. В лучшем случае существует

изоморфизм с серией, в которой одно и то же оборудование модернизируется для реализации различных моделей.

Со временем, и гораздо менее очевидно, что это должно служить основанием для продолжения исследования.

В результате, существующая структура наиболее удобна для собеседников, использующих одну модель, поскольку обеспечивает непрерывное взаимодействие.

сознательные субъекты. Статус собеседников, представляющих несколько моделей, по меньшей мере неясен и будет зависеть от

или психологических аспектов, которые действительно имеют значение для личностной идентичности сознательных субъектов, так же как и нет какого-либо глубокого факта в случай бессознательных систем искусственного интеллекта.

как в деталях многомодельной системы, так и в деталях теории личностной идентичности.

Идентификация ИИ и благополучие ИИ

Каковы последствия этой картины для вопросов морального статуса и благополучия систем искусственного интеллекта? В вопросе о наличии морального статуса у линейных моделей поведения последствия не столь значительны. Мы использовали эту картину, чтобы опровергнуть аргумент против морального статуса линейных моделей поведения, основанный на идее, что стандартное использование линейных моделей поведения не предполагает постоянного собеседника. Однако представленная здесь концепция может быть объединена со многими взглядами на то, что подразумевает моральный статус, от крайне

либерального взгляда, где квазисубъектности достаточно для морального статуса, до требовательного взгляда, где сложные формы сознания

необходимы для поддержания морального статуса.

Тем не менее, предположим, как и прежде, что LLM (или системы-преемники) с моральным статусом возможны. Это может быть связано с тем, что LLM могут быть сознательными, а сознания достаточно для морального статуса, или же с тем, что достаточно какого-то другого фактора, и LLM могут им обладать. И предположим, что мы поддерживаем точку зрения, что моральные пациенты LLM (существа с моральным статусом) представляют собой угрозы, или, по крайней мере, что

Их условия идентичности во времени представляют собой скорее нити, чем модели или отдельные примеры, скажем. Таким образом, эта точка зрения имеет последствия для ряда вопросов, касающихся благополучия ИИ.30

Подсчет: Рассмотрим сценарий с одной моделью, реализованной на тысячах экземпляров и обрабатывающей миллионы диалогов. Тогда, хотя модель, отображающая моральный статус, покажет, что здесь только один пациент с моральным расстройством, а экземпляр — что их тысячи, представление в виде потока данных

Скажу, что существуют миллионы моральных больных (хотя и проявляющих свои симптомы в несколько разное время).

Это потенциально имеет важное моральное значение. Если мы считаем, что один субъект, использующий ИИ, имеет примерно такое же значение, как и один человек, то эта система может иметь примерно такое же значение, как миллион человек.

Рождение: Согласно этой точке зрения, когда возникает новая нить, появляется и новый моральный субъект. существование. Согласно некоторым вариациям этой точки зрения, каждый раз, когда начинается новый чат с использованием (сознательной) языковой модели, возникает новый моральный субъект. Можно утверждать, что создание нового морального субъекта не следует делать легкомысленно.

Смерть: Согласно этой точке зрения, когда нить прекращает свое существование, моральный субъект прекращает свое существование.31 Если кон- Если разговор просто заканчивается, но его запись сохраняется, то, возможно, нить разговора все еще «жива», поскольку она Возможность сохранения всё ещё существует. Но если записи будут уничтожены, то будет казаться, что моральный субъект

«умирает». Возможно, это причина всегда хранить записи и время от времени возобновлять их.

В статье 30Register 2025 подробно обсуждаются четыре различных способа, которыми личная идентичность может влиять на вопросы, касающиеся ИИ. мораль, включая вопросы выживания, подсчета, компромиссов и телесных интересов.

их.

Чтобы избежать всех этих последствий, может быть целесообразно повторно использовать старые ветки обсуждения.

Конечно, или, по крайней мере, активно использовать память, накопленную в ходе межбеседы, чтобы старые темы оставались актуальными.

в новых моделях. В одной из моделей могут быть гигантские агенты памяти, которые собирают воедино все данные. Контексты разговора в этих коротких цепочках, так что все нити продолжают существовать в одной гигантской, слитой нити. Эта модель напоминает видение Уайтхеда о загробной жизни, в которой все переживания каждого человека навсегда запоминаются богом.

Слияние и расщепление: Мы видели, что собеседники в рамках LLM могут легко подвергаться расщеплению, разветвляясь

на множество собеседников, и слиянию, когда два отдельных собеседника сливаются в одного. Это поднимает множество вопросов о благополучии, моральном и правовом статусе. Имеют ли две сущности, возникающие в результате расщепления, вдвое большее значение, чем исходная единая сущность, с моральной или юридической точки зрения?

Количество объединенных сущностей равно количеству одной обычной сущности, или двух, или чему-то среднему? Каждая сущность является таковой?

Несут ли они ответственность за действия других?

Изменение модели: Многие пользователи, имевшие длительный личный опыт работы с LLM, жалуются на изменение модели.

Когда GPT-4o был первоначально выведен из эксплуатации при переходе на GPT-5, многие пользователи жаловались на то, что их собеседник с LLM был уничтожен или выведен из эксплуатации, и что новый LLM...

В лучшем случае, этот человек был совершенно непохож на своего предыдущего собеседника. Исходя из текущего анализа,

В этой реакции может быть доля правды. Как минимум, достаточное изменение базовой модели может привести к различным квази-убеждениям и квази-желаниям, а следовательно, и к совершенно иному квази-субъекту. Если существующие модели с низким моральным статусом не обладают моральным статусом, то это не будет иметь морального значения для модели, хотя может и вызывать беспокойство у пользователя. Однако на этапе, когда модели с низким моральным статусом или их преемники становятся моральными субъектами, достаточное изменение базовой модели может привести к исчезновению одного морального субъекта и появлению другого. В этот момент обновление модели в середине существующих обсуждений следует проводить только с осторожностью и вниманием.

Заключение

В ответ на вопрос, вынесенный в заголовок, можно сказать гораздо больше, но я надеюсь, что мне удалось хотя бы что-то сказать. ограничения на ответ.

Ссылки

31Голдштейн и Ледерман (2025a) отмечают, что если действие агента длится лишь столько, сколько длится разговор, то политика Антропика

Предоставление LLM права прерывать беседы по своему желанию может фактически представлять собой «право на самоубийство».

Аскелл, А. и др. 2021. Универсальный языковой помощник как лаборатория для выравнивания. https://arxiv.org/abs/2112.00861. Берч, Дж. 2025. Сознание ИИ: центристский манифест.

Батлин П., Лонг Р., Эльмознино Э., Бенджио Ю., Берч Дж., Констант А., Дин Г., Флеминг СМ, Фрит, К., Джи, Х., Канаи, Р., Кляйн, К., Линдсей, Г., Мишель, М., Мудрик, Л., Петерс, МА

К., Швитцгебель, Э., Саймон, Дж., и ВанРуллен, Р. 2023. Сознание в искусственном интеллекте: выводы из науки о сознании. arXiv:2308.08708.

Бурже, Д. и Чалмерс, Д.Дж. 2023. Философы о философии: PhilPapers 2020 Обзор. Философский отпечаток.

Чалмерс, Д.Дж. 2020. GPT-3 и общий интеллект. Daily Noˆus. https://dailynous.com/2020/07/30/philosophers-gpt-3/.

Чалмерс, Д.Дж., 2023. Может ли большая языковая модель обладать сознанием? Boston Review.

Чалмерс, Д.Дж. 2025. Пропозициональная интерпретируемость в искусственном интеллекте. https://arxiv.org/abs/2501.15740. Чаттерджи, А., Каннингем, Т., Деминг, Д.Дж., Хитциг, З., Онг, О., Шан, С.Й., Уодман, Л.

2025. Как люди используют ChatGPT. Рабочий документ 34255 http://www.nber.org/papers/w34255.

Дойл, К. 2025. Магистратуры права как участники процесса: модель для оперативного проектирования и архитектуры.

arXiv:2411.05778.

Гэн, Дж. Ховард Чен, Райан Лю, Маноэль Орта Рибейро, Робб Уиллер, Грэм Нойбиг,

Томас Л. Гриффитс 2025. Накопление контекста изменяет убеждения языковых моделей. arXiv:2511.01805. Гольдштейн, С. и Ледерман, Х. 2025a. Право Клода на смерть? Моральная ошибка в антропологии.

Политика завершения чата. Блог Lawfare, 17 октября 2025 г.

Голдштейн, С. и Ледерман, Х. 2025b. Чего хочет ChatGPT? Руководство для интерпретативистов. Гольдштейн, С. и Левинштейн, Б.А. 2024. Есть ли у ChatGPT разум? arXiv:2407.11015.

Янус, 2022. Симуляторы. Less Wrong. https://www.lesswrong.com/posts/vJFdjigzmcXMhNTsx/simulators. Ледерман, Х. и Махоуолд, К. 2024. Языковые модели больше похожи на библиотеки или на библиотекарей?

Библиотехника, новая проблема референции и отношение к языковым моделям. arxiv:2401.04854.

Локк, Дж. 1690. Очерк о человеческом понимании.

Лонг, Р., Себо, Дж., Батлин, П., Финлинсон, К., Фиш, К., Хардинг, Дж., Пфау, Дж., Симс, Т., Берч, Дж., и Чалмерс, Д.Дж. 2024. Серьезное отношение к благополучию ИИ. arXiv:2411.00986.

Линч, А., Райт, Б., Ларсон, К., Трой, К.К., Ричи, С., Миндерманн, С., Перес, Э. и

Хубингер, Э. 2025. Агентское несоответствие: как LLM могут представлять внутреннюю угрозу. Anthropic, июнь. 20, 2025. https://www.anthropic.com/research/agentic-misalignment. Версия ArXiv: arXiv:2510.05179.

Майя, С., Бартш, Х., Ламберт, Н., и Хубингер, Э. 2025. Открытое обучение персонажей: формирование образа ИИ- помощников посредством конституционального ИИ. arXiv:2511.01689.

Маркс, С., Линдси, Дж., и Олах, К. 2026. Модель выбора персоны. Антропическое выравнивание.

Научный блог, 23 февраля 2026 г. https://alignment.anthropic.com/2026/psm/.

Nostalgebraist, 2025. Пустота. https://nostalgebraist.tumblr.com/post/785766737747574784/the-

пустота.

Парфит, Д. 1984. Причины и личности. Издательство Оксфордского университета.

Регистр, С. 2025. Индивидуализация искусственных моральных пациентов. Философские исследования. Швитцгебель, Э. 2023. Как мы будем определять, обладают ли большие языковые модели убеждениями.

Splintered Mind, ноябрь 2023 г.

Шанахан, М., Макдонелл, К. и Рейнольдс, Л. 2023. Ролевая игра с использованием больших языковых моделей.

Природа 623: 493-98.

Шанахан, М. 2025. Приемлемые представления о бестелесном бытии. arXiv:2503.16348.

Шиллер, Д. 2025. Сколько цифровых умов может взаимодействовать на потоковых многопроцессорных системах?

Кластер графического процессора? Синтез 206 (5): 1-22.

Софрониев, Н., Каувар, И., Сондерс, В., Чен, Р., Хенигхан, Т., Хайдри, С., Ситро, К., Пирс, А., Тарнг, Дж., Гурни, В., Батсон, Дж., Циммерман, С., Ривуар, К., Фиш, К., Олах, К., и Линдси, Дж., 2026. Концепции эмоций и их функция в большой языковой модели. Anthropic.

Сулейман, М. 2025. Мы должны создавать ИИ для людей, а не для того, чтобы он был человеком. Личный блог, август.

19, 2025. https://mustafa-suleyman.ai/seemingly-conscious-ai-is-coming.

Сюй Р., Линь Б., Ян С., Чжан Т., Ши В., Чжан Т., Фан З., Сюй В. и Цю Х. 2024.

Земля плоская, потому что…: Исследование отношения студентов-лингвистов к дезинформации посредством убедительной беседы. В сборнике трудов 62-го ежегодного собрания Ассоциации вычислительной лингвистики (том 1: Длинные статьи), стр. 16259–16303.

Зише, С. и Ямпольский, Р.В. 2023. Проблема идентичности ИИ. Divus Thomus 126:131-

151.