Страхи и риски ИИ
Сегодня в Ютуб-программе «Параклет» премьера. Стартует новый цикл передач – «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ: ОЧЕНЬ СТРАШНЫЕ ДЕЛА». Первый выпуск цикла посвящен теме ИИ-рисков ((супер)оптимистическое, психотерапевтическое описание см. здесь).
Смотревших популярнейший нетфликсовский сериал с похожим названием сразу предупрежу. В отличие от научно-фантастического хоррора, наше шоу не о сверхъестественных угрозах из параллельного измерения. Речь о вполне естественных – человеческих угрозах для всех и каждого: индивидов, общества и самой нашей сущности. И эти угрозы не из параллельного мира. Они порождены нами же и присутствуют на самом деле, здесь и сейчас, в нашем собственном измерении: науке и культуре, работе и отдыхе, образовании и воспитании детей, в повседневных отношениях и самой нашей агентности.
Не буду, однако, спойлерить, пересказывая эту дискуссию, – местами полемичную, но от этого, имхо, не менее интересную. Смотрите и судите сами.
Я же, в дополнение к сказанному в программе, для заинтересованных читателей приведу своего рода «манифест», уточняющий моё личное отношение к задаче реалистичной оценки ИИ-рисков и тому, как, на мой взгляд, её следовало бы решать.
Эпиграфом к этому «манифесту» подошли бы слова Спасителя, будь они сказаны желанным для одних и пугающим других AGI:
«Дочери Иерусалимские! не плачьте обо Мне, но плачьте о себе и о детях ваших»
(Евангелие от Луки 23:28, Синодальный перевод)
Моё отношение к задаче реалистичной оценки ИИ-рисков таково
Мы вступили в эпоху, когда искусственный интеллект нужно оценивать уже не только по тому, что он умеет, но и по тому, что он делает с человеком, обществом и культурой.
До сих пор главный общественный язык разговора об ИИ был языком восхищения способностями. Новая модель пишет лучше. Новая модель рассуждает дольше. Новая модель решает более трудные задачи. Новая модель ближе к уровню эксперта. Все это измеряется, сравнивается, публикуется, превращается в графики и бенчмарки.
Но у этой картины есть опасный изъян.
Почти никто не пытается столь же систематически измерять другое:
как с каждым новым скачком способностей растут сами риски.
как с каждым новым скачком способностей растут сами риски.
Между тем именно это сегодня становится главным вопросом.
Большинство ключевых рисков ИИ – это уже не отдаленные гипотезы.
За исключением одной категории – рисков ИИ, обретшего собственную самость, – остальные основные блоки рисков уже присутствуют в нашей реальности и уже усиливаются по мере роста способностей новых поколений моделей.
За исключением одной категории – рисков ИИ, обретшего собственную самость, – остальные основные блоки рисков уже присутствуют в нашей реальности и уже усиливаются по мере роста способностей новых поколений моделей.
Уже растут:
1. социальные риски: перераспределение ценности интеллектуального труда, новое имущественное и когнитивное неравенство, постепенное вытеснение человека из тех сфер, где он еще вчера казался незаменимым;
2. культурные риски: деградация памяти, чтения, письма, аргументации, привычки к усилию; замена внутренней работы готовой машинной полуфабрикацией мысли, речи, отношений и смыслов;
3. антропологические риски: эрозия агентности, ослабление воли, передача машинным системам не только решения задач, но и права подсказывать желания, цели, формулировки, оценки и линии поведения;
4. инструментальные риски: ИИ как усилитель манипуляций, пропаганды, координации насилия, мошенничества, кибератак, психологических операций, политического и военного давления;
5. риски ИИ без самости: опасности, возникающие не потому, что система чего-то “хочет”, а потому, что она все эффективнее исполняет плохо поставленные, плохо понятые или опасно декомпозированные цели.
И только шестой блок – риски ИИ с самостью – по-прежнему остается в значительной степени открытым вопросом. Но именно потому его нельзя выносить за скобки. Его нужно держать в поле зрения как особый горизонт возможной угрозы (о чем будет написано отдельно в ближайшие дни).
Мой подход к решению задачи реалистичной оценки ИИ-рисков
Мой подход исходит из простой мысли:
– в эпоху лавинообразного роста возможностей ИИ недостаточно следить за ростом возможностей. Нужно следить за ростом опасности.
– в эпоху лавинообразного роста возможностей ИИ недостаточно следить за ростом возможностей. Нужно следить за ростом опасности.
Недостаточно знать, что модель стала лучше писать, кодить, убеждать, анализировать, планировать, искать, обучать и координировать.
Нужно спрашивать:
- какие существующие риски из-за этого усилились;
- какие подкатегории риска приблизились к критическим порогам;
- где проходит красная линия, за которой риск перестает быть локальным и становится системным;
- какие изменения после нового релиза кажутся “удобством”, а на деле являются ранней стадией глубокой деформации.
Поэтому задача – не только размышлять о будущих прорывах и катастрофах, а строить карту уже идущей эскалации рисков.
Такой подход далек и от дешевой паники, и от расслабляющего самоуспокоения.
Он исходит из того, что в ситуации радикальной неопределенности обществу нужен не оптимистический наркотик и не апокалиптический культ, а режим интеллектуальной предосторожности.
Мы не знаем, где именно остановится нынешняя волна ИИ. Она может упереться в ограничения. Может резко замедлиться. Может оказаться менее универсальной, чем кажется сегодня. Но может случиться и другое: прежде чем упереться в пределы, ИИ приблизится к уровню лучших профессионалов в большинстве интеллектуальных сфер и начнет глубоко перестраивать условия человеческой жизни.
В такой ситуации бессмысленно спорить о точной вероятности.
Нужно действовать так, как велит асимметрия ущерба:
– если цена ошибки колоссальна, анализ угроз нельзя откладывать до полной уверенности.
Нужно действовать так, как велит асимметрия ущерба:
– если цена ошибки колоссальна, анализ угроз нельзя откладывать до полной уверенности.
Необходимо создать для эпохи ИИ новую общественную оптику.
Оптику, в которой ИИ рассматривается не только как источник новых услуг и новых удобств, но и как источник новых зависимостей, новых неравенств, новых форм утраты человеческого контроля.
Оптику, в которой ИИ рассматривается не только как источник новых услуг и новых удобств, но и как источник новых зависимостей, новых неравенств, новых форм утраты человеческого контроля.
Наша задача – научиться заранее распознавать:
- какие риски уже растут;
- как измерять их текущий уровень;
- где проходят красные линии;
- как меняется карта угроз после каждого значимого обновления моделей.
Пока индустрия измеряет прогресс ИИ в очках и процентах на бенчмарках, общество должно научиться измерять другое:
насколько опаснее становится мир после каждого нового скачка машинных возможностей.
насколько опаснее становится мир после каждого нового скачка машинных возможностей.
Вопрос «Что умеет ИИ?» в 2026+ будет по-прежнему важен.
Но еще более важен будет вопрос «Что с нами происходит по мере того, как ИИ умеет все больше?».
#ИИриски
иириски
