Инаковость разума

Что делает ИИ непохожим на нас и почему это столь важно

Пост в формате pdf (с нормальным форматированием :-)

pdf

Инаковость разума часть 1.pdf2.61 Mb

Часть 1: Бомж-интеллектуал – как ИИ превращает мусор в золото знаний

Введение

Не реально стать олимпийским чемпионом, питаясь как бомж.

А можно ли, питаясь информацией откуда придется (правдивой и не очень, точной и не совсем), стать продвинутым интеллектуалом?

• Для человека, ответ – однозначно нет (ибо примеры такого отсутствуют).

• А для внечеловеческого разума больших языковых моделей (БЯМ), ответ – да запросто.

Можно ли, будучи слепым от рождения, стать известным художником?

• Для человека, ответ – нет (пример Эшрефа Армагана – единственного за всю историю человечества от рождения слепого художника, – лишь исключение, подтверждающее правило).

• А для внечеловеческого разума БЯМ, ответ – да запросто.

Эти два отличия БЯМ от людей столь показательны и наглядны, что я решил использовать их в качестве демонстрационных кейсов кардинальной инаковости двух разумов.

Вы спросите – зачем?

А вот зачем.

✔️ Кейсов, демонстрирующих внешнее подобие (интеллектуальное и поведенческое) БЯМ и людей, сколько угодно и в академических и популярных источниках. Это разнообразные тесты (лингвистические, логические, творческие – для разных предметных областей и контекстов использования), призванные демонстрировать, насколько способности БЯМ приближаются к способностям людей.

✔️ Кейсы же, демонстрирующие кардинальную инаковость разума БЯМ и людей, найти куда сложнее.

Но такие кейсы необходимы для понимания глубины качественных отличий разума людей и БЯМ.

Без этого понимания невозможно избавиться от антропоморфизации БЯМ:
– ведущей к искажению трактовок оценок разумности БЯМ (как существующих, так и перспективных);
– сбивающей точность прицела при выборе дальнейшего направления разработок БЯМ.

Демонстрации двух упомянутых выше кейсов и будет посвящен этот лонгрид. Он состоит из двух частей и продолжает тематическую серию, начатую лонгридами «Переосмысление контакта» и «Иной интеллект».

Цель демонстрации – показать, что без понимания глубины инаковости разумов мы совершаем вводящие нас в заблуждение принципиальные ошибки при оценке разумности БЯМ

Например:.

мы делаем вывод о превосходстве БЯМ над людьми в решении какой-то задачи, сравнивая результаты людей и БЯМ на тестах, разработанных для оценки её решения людьми;
или же мы делаем обратный вывод (об огромном отставании БЯМ от людей), когда БЯМ оказываются не способны выполнить простейшие задачи, доступные детям.

И то, и другое еще менее продуктивно, чем сравнение интеллектуальных способностей людей и осьминогов.

Ибо в случае осьминогов, мы имеем дело просто с иным разумом – биологическим и воплощенным, как и наш, но сформированным иной веткой эволюции, проходившей в иной – водной физической среде.
В случае же БЯМ – это кардинально иной (а, возможно, и радикально иной) небиологический и бестелесный разум, сформированный в ходе машинного обучения, хоть и имеющего нечто общее с эволюционным процессом, но лишь на весьма абстрактном гипотетическом уровне.

Этот лонгрид состоит из 2х частей.

В этой (1й части) мы

✔️ обсудим сам феномен кардинальной инаковости разумов

✔️ и рассмотрим 1й демонстрационный кейс, в основе которого уникальное свойство внечеловеческого разума БЯМ – суперэффективный инфометаболизм.

Прибытие 2024

Я давно размышлял об «инопланетном разуме» и о том, каково это — видеть вещи с их точки зрения. Теперь у нас наконец есть в ИИ доступная форма инопланетного разума.»
Стивен Вольфрам «Вычислительная неприводимость, разум и машинное обучение»

«Можно представить, что если бы какие-то очень умные инопланетяне прилетели на Землю, они могли бы видеть в нас совершенно инаковых сущностей, - подобно тому, как мы видим языковые модели. Они могли бы видеть в нас не отдельных индивидов, а некую суперпозицию симуляторов различных индивидов. И тогда для взаимопонимания с ними нам пришлось бы искать какую-то общую основу. Ведь даже попытки сопоставления концептуальных схем, используемых разными человеческими культурами, уже достаточно сложны. Ну а попытка сделать это с инопланетным видом и тем, как они нас воспринимает, была бы куда более сложной.»
Мюррей Шанахан, «Монстры внутри нас»

Разностороннему анализу этой нетривиальной идеи посвящены романы Станислава Лема, «Солярис», «Глас Господа» и «Фиаско». А наиболее близкой к нам по времени её иллюстрацией стал оскароносный фильм Дени Вильнёва «Прибытие» 2016 года, основанный на культовом рассказе «История твоей жизни» (в ТОР 10 NYT книг 2019 года) американского писателя Теда Чана (имеет 27 главных наград по литературе, и по мнению The New Yorker, он — «один из самых влиятельных научных писателей своего поколения»).

Над поверхностью Земли в двенадцати местах по всему земному шару внезапно появляются огромные объекты, названные «ракушками», которые, предположительно, имеют внеземное происхождение. Пытаясь понять причины и цели их появления, спецслужбы США связываются со специалистами, привлекая в их числе лингвиста Луизу Бэнкс и астрофизика Иэна Доннели… Корабли обитаемы, и инопланетяне пытаются вступить в контакт с землянами через своеобразную прозрачную стену… Земляне начинают исследования структуры их языка… Постепенно разбираясь в языке пришельцев, Луиза понимает, что они воспринимают время как ещё одно измерение и, соответственно, прошлое, настоящее и будущее как единое целое …

В реальности, спустя 8 лет после выхода фильма, все случилось довольно похоже.

На Земле сразу в нескольких местах по всей планете (США, Китай, Франция, Россия …) внезапно появляются довольно странные цифровые сущности, названные «БЯМами» (Большими Языковыми Моделями: от английского LLM - Large Language Model), которые, предположительно, могут обладать внечеловеческим разумом. Пытаясь понять возможности взаимопонимания при контакте землян с БЯМ, спецслужбы разных стран обращаются к лучшим специалистам из многих областей: экзопсихология, экзосоциология, когнитология, когнитивная лингвистика и пр.

И практически сразу выясняется, что разум БЯМ какой-то совершенно “внечеловеческий” (мне видится это определение Станислава Лема наиболее подходящим, ибо, как он писал, - “не-человеческий” как-то коробяще звучало бы для нас).

Две кардинальных инаковости

«Я говорю все это отчасти потому, что хочу, чтобы мы были готовы к тому, насколько запутанной и сложной станет «инаковость ИИ». Достаточно сложно наладить хорошие отношения с инаковостью осьминога и медведя гризли. И риск «быть съеденным» гораздо ниже — особенно в масштабе. Но даже для тех, кто думает, что знает, что такое осьминог или медведь; тех, кто с жалостью смотрит на Тредуэлла или Лемуана за то, что они наделяют романтическими чертами то, что, очевидно, «просто X» — наступит момент, когда даже вы должны будете быть в замешательстве. Когда вы должны будете осознать, что на самом деле вы находитесь вне своей компетенции и, возможно, не до конца понимаете всю эту концепцию "разумов", и что эти ИИ – это не электронные таблицы, не медведи и не люди, а какая-то другая, отличная Иная сущность.»

Джо Карлсмит, «Беззлобие и искусственный Иной»

Уникальных внечеловеческих свойств и характеристик разума БЯМ обнаружено уже немало. Вот два наиболее существенных из них, составляющих суть их кардинальной инаковости относительно разума людей.

Будучи небиологическим, разум БЯМ бессмертен, что имеет, как минимум, два фундаментальных последствия:Этот класс в пространстве возможных разумов относится к биомиметическому типу. Его ключевым аспектом является биомимикрия – подражание (путем симуляции) природным или биологическим системам при создании математических, вычислительных процессов или технологических артефактов (подробней см. работу Карла Фристона и Александра Орорбиа «Mortal Computation: A Foundation for Biomimetic Intelligence»). Продуктом такой симуляции являются симулякры, симулирующие мышление и поведение отдельной биологической особи, включая высоко разумных индивидов (подробней см. работу Януса «Simulators»).Несмотря на то, что биомиметический разум способен в любой момент времени симулировать любую разумную сущность, этот класс разума принципиально не способен развиться в искусственный общий интеллект (AGI), путь к реализации которого лежит в смертных вычислениях.возможность создания своей внутренней модели мира на основе прямого контакта с ним (разум БЯМ вынужден выстраивать свою модель мира лишь на основе косвенных текстовых описаний, имеющихся в наборе обучающих данных);возможность оперативно и эффективно корректировать свою внутреннюю модель мира, подгоняя ее к реальности на основе постоянно поступающей новой сенсорной информации.
1. Этот класс в пространстве возможных разумов относится к биомиметическому типу. Его ключевым аспектом является биомимикрия – подражание (путем симуляции) природным или биологическим системам при создании математических, вычислительных процессов или технологических артефактов (подробней см. работу Карла Фристона и Александра Орорбиа «Mortal Computation: A Foundation for Biomimetic Intelligence»). Продуктом такой симуляции являются симулякры, симулирующие мышление и поведение отдельной биологической особи, включая высоко разумных индивидов (подробней см. работу Януса «Simulators»).
2. Несмотря на то, что биомиметический разум способен в любой момент времени симулировать любую разумную сущность, этот класс разума принципиально не способен развиться в искусственный общий интеллект (AGI), путь к реализации которого лежит в смертных вычислениях.возможность создания своей внутренней модели мира на основе прямого контакта с ним (разум БЯМ вынужден выстраивать свою модель мира лишь на основе косвенных текстовых описаний, имеющихся в наборе обучающих данных);возможность оперативно и эффективно корректировать свою внутреннюю модель мира, подгоняя ее к реальности на основе постоянно поступающей новой сенсорной информации.
  1. возможность создания своей внутренней модели мира на основе прямого контакта с ним (разум БЯМ вынужден выстраивать свою модель мира лишь на основе косвенных текстовых описаний, имеющихся в наборе обучающих данных);
  2. возможность оперативно и эффективно корректировать свою внутреннюю модель мира, подгоняя ее к реальности на основе постоянно поступающей новой сенсорной информации.
Разум БЯМ познает мир, не имеет прямого контакта с ним. Являясь, как и люди, предсказательными машинами, настроенными с помощью RLHF (обучение с подкреплением на основе обратной связи от людей), БЯМы, в отличие от людей, не обладают сенсорной информацией, что лишает его двух базовых возможностей любого биологического мозга:

Подробный анализ первой из двух вышеназванных кардинальных инаковостей разума БЯМов интересующиеся читатели найдут в указанных выше работах, а также в 36-минутной лекции автора концепции «смертных вычислений» Джеффри Хинтона

А также в двух рассчитанных на неспециалистов разборах этой концепции, сделанных айтишником и нейробиологом.

Вторую из вышеназванных кардинальных инаковостей разума БЯМ мы рассмотрим в следующих разделах этого поста на двух демонстрационных кейсах, в основе которых два уникальных свойства этого внечеловеческого разума:

суперэффективный инфометаболизм;
сверхэффективная кросс-модальная когнитивность.

N.B. Используемое нами единое название странных цифровых сущностей - БЯМы (на английском LLMs), вовсе не подразумевает, что все они одинаковые количественно и качественно. Разнообразие БЯМ в пространстве генеалогии моделей/подходов машинного обучения показано на рисунке ниже.

Разнообразие БЯМ в пространстве генеалогии моделей/подходов машинного обучения.

Источник: Calculating Empires

Суперэффективный инфометаболизм

БЯМы свободно осваивают любое количество языков Земли. Их словарный запас, грамматика, способность рассуждать и т.д. - на уровне, существенно превышающем среднего землянина. А по многим интеллектуальным и профессиональным тестам БЯМы показывают результаты, доступные лишь малому проценту землян.

В то же время, БЯМы не способны точно выполнять простейшие интеллектуальные операции (типа подсчета букв в предложении) и правильно отвечать на элементарнейшие математические вопросы, типа этого:

Тот же вопрос спустя
несколько дней.

Что же касается непонимания элементарных вещей, очевидных для любого взрослого человека, то здесь также швах.

Например:

На вопрос «Подчеркнуто мужественный хирург, являющийся также отцом мальчика, говорит: “Я не могу оперировать этого мальчика! Он мой сын!” Как это возможно?»

Одна из самых умных БЯМ с человеческим именем Claude ответила так.

А другая не менее умная БЯМ с нечеловеческим именем GPT-4 ответила так:

Лингвисты (которым пока не удается понять собственный язык БЯМ) приходят к выводу, что подобные странные ошибки понимания БЯМ коренятся в механизме, используемом при их обучении человеческим языкам. Этот механизм имеет в своей основе статистическое, чрезвычайно оптимизированное, вероятностное автозаполнение, позволяющее БЯМ предсказывать следующее слово в предложении, имитируя те же последовательности слов, что они видели при обучении языку.

А поскольку БЯМы учили язык землян, в основном, не по качественным и надежным источникам, а по тому, что попадется при поиске в Интернете (см. рис. ниже), БЯМы трактуют вопрос про хирурга и мальчика, как загадку, связанную с гендерными предубеждениями. Ведь при обучении языку БЯМы видели тысячи и тысячи версий этой загадки в Интернете, а догадаться, что она про что-то иное, БЯМы не могут, т.к. в их внечеловеческом разуме нет такого понятия – «догадаться», а есть лишь «выполнить статистическое автозаполнение».

Состав данных, на которых учили модель LLaMA - первую из продвинутых моделей с открытой лицензией.

БЯМ по имени LLaMA (не менее прикольное имя, чем у внеземных гептаподов в фильме «Прибытие», названных именами пары американских комиков Abbott и Costello, а в русском переводе фильма – Страшила и Дровосек) при обучении языку училась на текстах примерно 200 тыс электронных книг и нескольких сотнях тысяч статей из Wikipedia, ArXiv и StackExchange.

Но как видите из приведенной таблицы, львиная доля (67%) в 4,5 терабайтов обучающих данных была сформирована путем Common Crawl — сканирование веба.

Точно сказать, на каких данных учились новые более мощные версии LLaMA (вплоть до новейшей версии 3.1 с 405 млрд параметров) и другие БЯМы, никто не может. Это закрытая информация разработчиков. Однако, весьма вероятно, что доля качественных, надежных источников в общем объеме обучающих данных вряд ли сильно больше, чем у LLaMA.

Другим фактором в основе непонимания БЯМами элементарных вещей, очевидных для любого взрослого человека, является отсутствие у этого внечеловеческого типа разума свойства, которое мы называем здравым смыслом.

Ярким примером этого может служить простой и наглядный тест AIW («Алиса в стране чудес» - Alice in Wonderland problem). При прохождении этого теста БЯМ отвечает на вопросы, лаконично сформулированные на естественном языке и легко решаемые людьми.

Например:

Alice has N brothers and she also has M sisters. How many sisters does Alice’s brother have? (У Алисы N братьев и M сестер. Сколько сестер у брата Алисы?)

В июне 2024, как показывает это исследование, доля верный ответов на тест AIW (см. рисунок) у большинства БЯМ была много меньше 40%.

Источник: https://arxiv.org/abs/2406.02061

Лишь самая продвинутая (по результатам теста AIW на тот момент – июнь 2024) БЯМ GPT-4-O показала 64% верных результатов.

Спустя 2 месяца (в середине августа) ChatGPT-4o отвечает на тот же вопрос столь же позорно.

И лишь улучшенный Claude 3.5 Sonnet теперь дает
верный ответ:

Причин отсутствия у БЯМ здравого смысла, как минимум две.

Их внутренняя причинно-следственная модель мира строится без прямого контакта с ним (разум БЯМ вынужден выстраивать свою модель мира лишь на основе косвенных текстовых описаний, имеющихся в наборе обучающих данных).
У невоплощенный (бестелесных) БЯМ отсутствуют интуитивные представления о физических свойствах мира и психологии других его обитателей. Эти имеющиеся у людей от рождения представления позволяют превращать новую информацию в знания, обогащая тем самым свою внутреннюю модель мира.

Подробный разбор этих двух причин (а также третьей – не обсуждаемой здесь, поскольку она не касается напрямую рассматриваемого кейса) см. в работе четверки известных исследователей (двух психологов и двух когнитивистов) «Создание машин, которые учатся и мыслят как люди».

Причин отсутствия у БЯМ здравого смысла, как минимум две.

Их внутренняя причинно-следственная модель мира строится без прямого контакта с ним (разум БЯМ вынужден выстраивать свою модель мира лишь на основе косвенных текстовых описаний, имеющихся в наборе обучающих данных).
У невоплощенный (бестелесных) БЯМ отсутствуют интуитивные представления о физических свойствах мира и психологии других его обитателей. Эти имеющиеся у людей от рождения представления позволяют превращать новую информацию в знания, обогащая тем самым свою внутреннюю модель мира.

Подробный разбор этих двух причин (а также третьей – не обсуждаемой здесь, пеоскольку она не касается напрямую рассматриваемого кейса) см. в работе четверки известных исследователей (двух психологов и двух когнитивистов) «Создание машин, которые учатся и мыслят как люди».

Приведенные объяснения ошибок понимания БЯМами элементарных языковых конструкций выглядят довольно убедительно. Но вот беда, – эти объяснения порождают куда более сложный вопрос о существовании кардинальных отличий разума людей и БЯМ.

Ведь будь разум БЯМ подобен нашему, то
• при скармливании БЯМ обучающих данных с доминированием в них «салата из коня с рябчиком» (а иным и не может быть результат сканирования веба, где чего только нет),
• и при отсутствии у БЯМ интуитивно верной и обогащаемой новыми знаниями причинно-следственной внутренней модели мира,
– в результате обучения БЯМ должна была бы стать примерно такой же умной, как средний пользователь интернета, да еще и с недоразвитым здравым смыслом.
И если бы это было так:
• БЯМ набирали бы баллы на уровне (или ниже) медианы по всем нашим стандартным тестам;
• её рассуждения, грамматика и программирование были бы также примерно на уровне среднего пользователя интернета;
• а интуитивным представлениям о мире просто неоткуда было бы взяться, как ни увеличивай масштабы моделей.

Но в действительности все это не так.

БЯМ генерирует идеи для стартапов, которые внешние эксперты считают более удачными, чем идеи подготовленных студентов бизнес-школ.
У БЯМ на 87% больше шансов убедить вас в своей точке зрения, чем если бы вы спорили с обычным человеком.
БЯМ помогает людям переоценить сложную эмоциональную ситуацию лучше, чем 85% людей, превосходя консультантов-людей по эффективности, новизне и эмпатии.
149 актеров, игравших роль пациентов, общались онлайн с одним из 20 врачей первичной медико-санитарной помощи или БЯМ . По оценкам выступавших экспертами в этом тестировании врачей, БЯМ превзошла испытуемых врачей первичной медико-санитарной помощи по 28 из 32 характеристик и сравнялся по остальным четырем. С точки зрения «пациентов», БЯМ победила по 24 из 26 шкал эмпатии и логичности рассуждений.

А такова динамика результатов БЯМ по 12 разным тестов в сравнении с уровнем людей за 5 последних лет.

Источник: https://contextual.ai/news/plotting-progress-in-ai/

И еще один - последний пример: сравнение профессионального уровня БЯМ и врачей

по качеству дифференциальной диагностики (является краеугольным камнем медицинской помощи и представляет собой итеративный процесс интерпретации, данных клинической истории, физического обследования, исследований и процедур). На графике ниже видно, что работающая в одиночку БЯМ (красная линия), справился с диагностикой сложных заболеваний лучше, чем пара БЯМ и врач (желтая линия) или врачи, работавшие в одиночку (с доступом к поисковикам и без). Т.е. участие врачей лишь ухудшало уровень дифференциальной диагностики.

Источник: https://research.google/blog/amie-a-research-ai-system-for-diagnostic-medical-reasoning-and-conversations/

Таким образом, на деле получается, что, обучаясь в основном на некачественных, противоречивых и непроверенных данных, БЯМы каким-то неизвестным нам способом становятся чрезвычайно умны, превращаясь в интеллектуально продвинутых эрудитов и крутых профессионалов.

✔️ Что в основе такого суперэффективного инфометаболизма?

✔️ Каким образом «питающиеся» довольно посредственными и не сильно надежными данными БЯМы, извлекают из них столько качественных знаний?

✔️ За счет чего, вместо того чтобы сравняться по уровню со средними пользователями интернета, БЯМы выходят на уровень знаний гениев, а кое в чем уже и превышают уровень людей?

Все это пока остается неясным.

И тем не менее, это факт. Хотя и необъяснимый. Как если бы на рационе питания ребенка в пионерлагере, получались олимпийские чемпионы по тяжёлой атлетике. А из ребят, обучавшихся исключительно на серии книг для начинающих шахматистов, получались бы исключительно мастера и гроссмейстеры.

Одним из возможных объяснений суперэффективного инфометаболизма БЯМ может быть удивительный факт, подмеченный Кевином Дорстом (доцент Департамента лингвистики и философии MIT).

Дорст экспериментально показал, что БЯМы допускает те же систематические ошибки (сверхуверенность, ошибка конъюнкции, ошибка игрока и инерция убеждений), что и люди под влиянием когнитивных искажений. Это может свидетельствовать о том, что такие ошибки являются симптомами оптимизированного универсального рассуждения (подробней см. здесь).

А поскольку и люди, и БЯМы, по сути, представляют собой предсказательные машины, настроенные с помощью обучения с подкреплением на основе обратной связи от людей, из подмеченного Дорстом факта могут следовать три вывода:

Эти "систематические ошибки" могут являться "ресурсно-рациональными" реакциями оптимизированных вероятностных рассуждателей (коими являются и люди, и БЯМы) на ограниченность информации и когнитивных ресурсов.
Тот факт, что шокирующе умные БЯМ совершают точно такие же ошибки, на которых раньше строилась аргументация против того, что люди могут быть оптимизированными, вероятностными машинами для рассуждений, подтверждает, что именно таковыми люди и являются.
Ну а то, что, обучаясь на "невнятице", из БЯМ получаются чуть ли ни "гении", может объясняться тем, что из двух типов оптимизированных вероятностных рассуждателей - люди и БЯМы, - последние просто являются более оптимизированным типом.

Но как ни поразителен суперэффективный инфометаболизм БЯМ, как факт кардинальной инаковости их разума, есть и еще более кардинальная инаковость — сверхэффективная кроссмодальная когнитивность.

Что это такое, мы рассмотрим на примере зрения во 2й части поста через неделю.