Проблема ИИ не в том, что он «галлюцинирует»: мы, как правило, сразу понимаем, когда человек говорит не о реальности, а о своих галлюцинациях. На самом деле ИИ не «галлюцинирует», а «конфабулирует».

В психологии и психиатрии конфабуляция — это не просто вымысел, а заполнение пробелов в памяти вымышленными событиями. Человек уверен, что передал документы коллеге, хотя лишь собирался это сделать; знакомый вспоминает: «Помнишь, ты мне говорил об этом?», хотя такого разговора не было; родители рассказывают о детстве ребёнка то, чего на самом деле не происходило.

Человек берёт реальные фрагменты прошлого опыта и ошибочно объединяет их, чтобы заполнить пробелы в памяти или логике, искренне веря в получившийся результат. Проще говоря, человек твёрдо помнит то, чего с ним никогда не происходило.

Феномен «врет как свидетель» изучен досконально в юридической психологии. Свидетель чаще всего не пытается манипулировать следствием ради выгоды. Его мозг просто выполняет свою базовую эволюционную задачу — склеивает разрозненные эмпирические кадры в понятную, логичную и непрерывную историю. Свидетель не врет. В его субъективной реальности он действительно это помнит. Он готов пройти полиграф (детектор лжи), и прибор покажет, что человек говорит правду, потому что для его психики этот вымысел стал фактом.

Разница между воспоминанием о том, чего не было, и галлюцинацией — в модели мира, которую человек держит в голове. Если у него вдруг возникает какой-то образ, он тут же оценивает его: «Нет, такого быть не может — просто привиделось». А вот «ложное воспоминание» ничему не противоречит, согласуется с другими данными и кажется абсолютно реальным.

Конфабуляция опасна тем, что, в отличие от галлюцинации, она выглядит системно и профессионально. Более того, в отличие от сознательного вранья, конфабулятор свято верит в то, что говорит, и именно поэтому он так убедителен.

Дон Кихот (Мигель де Сервантес) — классический, монументальный пример. Его мозг, перегруженный «рецептами» из рыцарских романов, постоянно конфабулирует реальность. Ветряные мельницы искренне видятся ему великанами. Когда ему доказывают обратное, его мозг мгновенно достраивает конфабуляцию: «Это злой волшебник Фрестон превратил великанов в мельницы, чтобы лишить меня славы победы». Он не врет, он так видит.

Хлестаков («Ревизор», Николай Гоголь) — уникальный случай «ситуативной конфабуляции». Хлестаков изначально не планировал никого обманывать. Но под влиянием страха, алкоголя и, главное, ожиданий чиновников(которые сами создали этот контекст), его мозг начинает фонтанировать. Он искренне вживается в роль: «С министрами на дружеской ноге», «35 тысяч одних курьеров». Он не столько обманывает городничего, сколько проговаривает вслух свои представления о красивой жизни, стирая грань между фантазией и памятью.

В «Острове проклятых» (Shutter Island, реж. Мартин Скорсезе) — маршал Эдвард Дэниелс расследует исчезновение пациентки из клиники. Весь его статус, его расследование, его напарник — это грандиозная конфабуляция, созданная его собственным разумом, чтобы защитить психику от страшной правды о личной трагедии. Герой оперирует фактами, уликами и логикой, но весь этот каркас построен на ложном фундаменте.

В бизнесе конфабуляция происходит тогда, когда лидеры или эксперты настолько верят в свою «модель успеха», что начинают подтягивать под нее несуществующие факты, игнорируя реальность.

Кейс Элизабет Холмс и компании Theranos — самый громкий стартап-скандал XXI века. Холмс обещала революцию: сотни анализов крови по одной капле. Самое интересное, что на ранних этапах (и даже в середине) она, скорее всего, искренне верила, что технология вот-вот заработает.

Энергетический гигант Enron перед своим крахом нанимал лучших консультантов (в том числе из McKinsey), которые строили сложнейшие, инновационные финансовые модели. Enron считался «самой инновационной компанией США». Менеджмент искренне верил в рецепт: «Если наши графики идеальны, а формулы показывают прибыль, значит, мы гении». Они конфабулировали прибыли, закладывая в отчеты будущие, еще не заработанные (и невозможные) доходы от проектов. Когда реальность пришла требовать деньги, оказалось, что за красивой «книгой рецептов» была пустота.

В общем, такой «эксперт» берёт работающий рецепт из ритейла, ошибочно соединяет его с опытом тяжёлой промышленности, заполняет пробелы умными словами и преподносит результат топ-менеджменту. Менеджмент, который сам нередко мыслит «по месту» — категориями краткосрочной экономии, — легко покупается на эту уверенность.

Но если в случае эксперта мы сказали бы о его некомпетентности, то ИИ  просто так изначально устроен: у него нет модели мира! У него есть гигантское облако текстовых ассоциаций (эмпирических рецептов). Когда вы даете ему задачу, в которой нарушена привычная логика, он не может сказать: «Подождите, это противоречит законам термодинамики». Вместо этого он начинает подбирать слова, которые статистически лучше всего подходят друг к другу, чтобы выдать гладкий, уверенный ответ.

Судебный кейс «Mata v. Avianca» (2023 год) — первый официальный юридический прецедент конфабуляции ИИ. Адвокат Стивен Шварц использовал ChatGPT для подготовки судебного соглашения. ИИ сгенерировал блестящий юридический документ, в котором привел шесть несуществующих судебных прецедентов с вымышленными номерами дел, именами судей и цитатами. Адвокат (типичный «рецептурщик») даже не подумал проверить их, потому что текст выглядел абсолютно профессионально и системно.

Конфабуляция — это попытка создать видимость понимания, когда на самом деле ты лишь «что-то подобное слышал».

«Понимающий» человек проверяет представленную картину на прочность, опираясь на внутреннюю картину мира. Он ищет не «похожие слова или кейсы», а проверяет логику и причинно-следственные связи, мысленно выстраивая модель происходящего. Критерий «правильности» для непонимающего — чтобы «звучало разумно».

И тут смежный вопрос: способен ли топ-менеджмент в массе своей отличить глубокое понимание от качественной конфабуляции, или «красивый и уверенный рецепт» всегда будет иметь фору из-за психологического комфорта, который он даёт? Встречали ли вы такие «уверенные конфабуляции» в реальных проектах?