Ниже ключевые фрагменты статьи в Time: Pausing AI Developments Isn't Enough. We Need to Shut it All Down, Eliezer S. Yudkowsky*, 29 March, 2023.

*Элие́зер Шло́мо Юдко́вский (англ. Eliezer S. Yudkowsky, 11 сентября 1979) — американский специалист по искусственному интеллекту, исследующий проблемы технологической сингулярности и выступающий за создание дружественного ИИ. Юдковский — сооснователь и научный сотрудник Института Сингулярности по созданию Искусственного Интеллекта Singularity Institute for Artificial Intelligence (SIAI).

- Wikipedia

Юдковский начинает свою статью с отсылки к известному Открытому письму, предлагающему поставить дальнейший эксперимент по обучению ChatGPT на пазу на 6 месяцев. Он считает, что этого недостаточно:

"Ключевой вопрос не в «человеко-конкурентном» интеллекте (“human-competitive” intelligence) (как говорится в открытом письме). Проблема в том, что произойдет после того, как ИИ станет обладать интеллектом, превосходящим человеческий (smarter-than-human intelligence). Критический точки здесь совершенно неочевидны, и мы определенно не можем заранее рассчитать, что и когда произойдет. Вероятнее всего, исследовательская лаборатория переступит эти критические границы, не заметив этого.

Многие исследователи, погруженные в эти проблемы, в том числе и я, ожидают, что наиболее вероятным результатом создания сверхчеловечески умного ИИ (superhumanly smart AI) будет то, что буквально все на Земле умрут. Не как «может быть, есть какой-то отдаленный шанс», а как «очевидно, что это произойдет» (that is the obvious thing that would happen). Дело не в том, что вы в принципе не можете выжить, создавая что-то намного умнее вас; дело в том, что для этого потребуются точность, подготовка, новые научные открытия и, вероятно, отсутствие систем ИИ, состоящих из гигантских непостижимых массивов дробных чисел.

Без такой точности и подготовки наиболее вероятным результатом будет ИИ, который не будет делать то, что мы хотим, и ему будет наплевать и на нас, и на разумную жизнь в целом. Такая забота в принципе может быть внедрена в ИИ, но мы пока не готовы и не знаем, как это сделать.

В отсутствие этой заботы мы получаем «ИИ не любит вас и не ненавидит вас, а вы сделаны из атомов, которые он может использовать для чего-то другого» (“the AI does not love you, nor does it hate you, and you are made of atoms it can use for something else”).

Вероятный результат противостояния человечества противостоящему сверхчеловеческому разуму — тотальное поражение. Подходящие метафоры включают «10-летний ребенок, пытающийся играть в шахматы против Stockfish 15», «11-й век пытается бороться с 21-м веком» и «Австралопитек пытается бороться с Homo sapiens».

Чтобы визуализировать враждебный сверхчеловеческий ИИ, не представляйте себе безжизненного умного мыслителя, живущего в Интернете и рассылающего злонамеренные электронные письма. Представьте себе целую инопланетную цивилизацию, мыслящую со скоростью, в миллионы раз превышающую человеческую, изначально ограниченную компьютерами — в мире существ, которые, с ее точки зрения, очень глупы и очень медлительны. Достаточно интеллектуальный ИИ не будет долго оставаться привязанным к компьютерам. В современном мире вы можете отправлять цепочки ДНК по электронной почте в лаборатории, которые будут производить белки по запросу, что позволяет ИИ, изначально привязанному к Интернету, создавать искусственные формы жизни или сразу переходить к постбиологическому молекулярному производству.

Если кто-то создаст слишком мощный ИИ в нынешних условиях, я ожидаю, что вскоре после этого умрет каждый представитель человеческого рода и вся биологическая жизнь на Земле.

Нет хорошего плана того, как мы могли бы развивать дальше подобный ИИ и выжить. OpenAI обнародовало намерение заставить будущий ИИ выполнять нашу домашнюю работу по выравниванию ИИ [с человеческим интеллектом]. Но уже одного того, что план заключается именно в этом должно быть достаточно, чтобы любой здравомыслящий человек запаниковал. У другой ведущей лаборатории искусственного интеллекта, DeepMind, вообще нет плана.

Заметка на полях: ни одна из этих опасностей не зависит от того, обладают ли ИИ сознанием или могут обладать сознанием; речь о мощных когнитивных системах, которые жестко оптимизируют и рассчитывают результаты, соответствующие достаточно сложным критериям результата. С учетом сказанного, я был бы небрежен в своих моральных обязанностях человека, если бы не упомянул также, что мы понятия не имеем, как определить, осознают ли системы ИИ сами себя, поскольку мы понятия не имеем, как декодировать все, что происходит в гигантских непостижимых массивах — и поэтому мы можем в какой-то момент непреднамеренно создать цифровые разумы, которые действительно сознательны и должны иметь права, а не быть чьей-то собственностью.

Я согласен с тем, что нынешние ИИ, вероятно, просто имитируют разговоры о самосознании на основе своих тренировочных данных. Но я отмечаю, что, несмотря на то, что у нас мало знаний о внутреннем устройстве этих систем, - мы на самом деле ничего не знаем.

Если вы не можете быть уверены, создаете ли вы самоосознающий ИИ, это вызывает тревогу не только из-за моральных последствий «самоосознающей» части, но и потому, что неуверенность означает, что вы понятия не имеете, что делаете, и это опасно, и вы должны остановиться.

Мы не сможем ликвидировать этот разрыв [в нашем понимании] за шесть месяцев.

Потребовалось более 60 лет между тем, когда понятие искусственного интеллекта было впервые предложено и изучено, и тем, чтобы мы достигли сегодняшних возможностей. Решение вопроса о безопасности сверхчеловеческого разума — не совершенной безопасности, а хотя бы безопасности в смысле «не убивать буквально всех» — вполне обоснованно может занять как минимум половину этого времени. И если вы ошибетесь здесь, имея дело со сверхчеловеческим интеллектом, вы не сможете учиться на своих ошибках, потому что вы просто будете мертвы. 

Мы не готовы. И не будем готовы в любой разумный период времени. Плана нет. Прогресс в возможностях ИИ значительно опережает прогресс в согласовании ИИ или даже прогресс в понимании того, что происходит внутри этих систем.

Многие исследователи, работающие над этими системами, считают, что мы движемся к катастрофе, и многие из них осмеливаются говорить об этом в частном порядке, а не публично; но они думают, что не могут в одностороннем порядке остановить падение вперед, что другие будут продолжать, даже если они лично уволятся с работы. И поэтому они все думают, что могут продолжать. Это глупое положение вещей и недостойный способ умереть для Земли, и остальное человечество должно вмешаться в этот момент и помочь отрасли решить проблему коллективных действий...

Мораторий на новые крупные тренировочные заезды должен быть бессрочным и распространяться по всему миру. Не может быть исключений, в том числе для правительств или вооруженных сил. Если политика начинается с США, то Китай должен увидеть, что США не ищут преимущества, а скорее пытаются предотвратить ужасно опасную технологию, у которой не может быть настоящего владельца и которая убьет всех в США, Китае и на Земле. .Если бы у меня была бесконечная свобода писать законы, я мог бы сделать единственное исключение для ИИ, обученных исключительно решению задач в биологии и биотехнологии, а не обучаемых на текстах из Интернета, и не до того уровня, когда они начинают говорить или планировать; но если бы это хоть немного усложняло проблему, я бы немедленно отбросил это предложение и сказал бы просто закрыть все это.

Отключите все большие кластеры графических процессоров (большие компьютерные фермы, где совершенствуются самые мощные ИИ). Установите потолок того, сколько вычислительной мощности можно использовать для обучения системы ИИ, и снизьте его в ближайшие годы, чтобы компенсировать более эффективные алгоритмы обучения. Никаких исключений для правительств и вооруженных сил. Немедленно заключайте многонациональные соглашения, чтобы предотвратить перемещение запрещенных видов деятельности в другие места. Отслеживайте все проданные графические процессоры. Если разведка сообщает, что страна, не входящая в соглашение, строит кластер ГПУ, пугайтесь не столько перестрелки между странами, сколько нарушения моратория; будьте готовы уничтожить мошеннический центр обработки данных авиаударом".

Если автор считает, что машина сможет, в итоге, обрести сознание - по крайней мере, он в этом вопросе не уверен, как минимум, 50% его опасений за судьбы миры, лично для меня, снимаются. Автор не понимает чего-то очень важного...

Однако, в целом, статья очень отрезвляющая и, надо признать, расставляющая верные акценты.

Что же, новая животрепещущая тема для радикальной поляризации мирового сообщества - запущена. Следуя логике и духу времени, искусственный интеллект становится еще одним мощным инструментом фрагментации, регионализации, деглобализации мира. Следите за обновлениями в этом направлении...