Малоизвестное интересное

Малоизвестное интересное 

Авторский канал Сергея Карелова

402subscribers

503posts

Showcase and bundles

266
A bundle is a collection, compilation, playlist, or catalog of posts that saves you from searching through the blog and lets you buy the entire content series in a single click.

Темный лес оказался опушкой Странного

То, что ИИ научится скрывать свои мысли, еще не самое худшее. Куда опаснее столкнуться с принципиальной неопределенностью: обманывает ли нас ИИ или просто мыслит непостижимым для нас образом?
 
В мае я писал, что «Темный лес интеллекта» начинается не с восстания сверхразума, а когда среда обучения и надзора делает прозрачность невыгодной, а убедительную видимость прозрачности – полезной. Машине не обязательно «хотеть» обманывать. Достаточно, чтобы сокрытие снова и снова оказывалось успешной стратегией.
А на днях Венкатеш Рао (один из самых глубокий авторов среди мне известных) опубликовал интереснейшее эссе «Нисхождение в вычислительное возвышенное. От Темного леса к Странному через Войны твердости». В этом тексте Рао предлагает неожиданное продолжение истории Темного леса: он описывает три акта этой почти античной драмы: «Апофеоз Темного леса», «Войны твердости» и «Странный лес».
N.B. Мы по-разному с Рао толкуем понятие Темного леса применительно к ИИ. Его Темный лес – это джунгли, у меня же – тайга (в тайге затаиваются, а в джунглях все охотятся на всех). У Рао – это мир, где любой видимый участок программного кода может стать добычей непрерывной машинной охоты за уязвимостями. ИИ здесь прежде всего прожектор и оружие, а не скрывающийся субъект.
Октябрь 2026 года Рао описывает как «Черный октябрь программной цивилизации». Его драматической кульминацией стала атака на криптобиржу Binance 29 октября. Злоумышленники воспользовались, по предварительному отчету биржи, ее внутренним ИИ-инструментом. А криптографические механизмы, призванные защищать активы, одновременно затрудняли возвращение контроля. Автономного машинного злоумышленника этот эпизод не доказывает. Но ясно показывает, как меняется среда, в которую мы выпускаем ИИ-агентов.
Следующий акт этой драмы Рао видит в Войнах твердости: борьбе за математические основания надежных обязательств. Криптография позволяет участникам сотрудничать, даже когда они не доверяют друг другу и не знают чужих намерений. А дальше он предвидит третий акт: Странный лес – экосистему расходящихся машинных и гибридных интеллектов, настолько разных, что их внутренние миры могут стать взаимно непостижимыми.
Пока же мы лишь на опушке Странного леса. И отсюда он мне видится смешанным лесом двух типов: по терминологии Богны Конор, – это «Темный лес интернета» и «Темный лес интеллекта». В первом среда наказывает за уязвимость. Во втором она может вознаграждать за сокрытие. Когда действующими лицами цифровой среды становятся сами ИИ-агенты, эти два механизма вознаграждения способны усиливать друг друга.
Отсюда и вытекает моя гипотеза: что, если в Странном лесу непостижимость станет идеальным укрытием для скрытности?
Один интеллект ведет себя непонятно, потому что действительно мыслит иначе. Другой – потому что научился управлять тем, что видит наблюдатель. Со стороны оба могут выглядеть одинаково. И если это один и тот же интеллект, его реальная непостижимость делает стратегическую скрытность практически неотличимой от естественного поведения.
Уже сегодня лабораторные эксперименты обнаруживают имитацию согласованности и скрытые каналы между агентами. Это пока не доказательство единого аттрактора скрытности, но свидетельство существования механизмов, из которых он мог бы сложиться. Чем разнообразнее и чуждее становятся машинные способы мышления, тем труднее может становиться отличать скрытность от чуждости.
Можно возразить: нужны проверяемые протоколы. Но здесь мы снова сталкиваемся с законом Гудхарта, о котором я писал в посте «Тёмный лес вырастает из крысиных хвостов». Протокол может надежно удостоверить выполнение формального условия, но не достижение замысла, ради которого его придумали. При соответствующих стимулах чем сильнее оптимизатор, тем изобретательнее он способен использовать разрыв между буквой правил и их смыслом. Математическая твердость не превращается автоматически в твердость намерений.
Отсюда не следует, что обман и чуждость однажды станут абсолютно неразличимы. Но возможна новая граница познания: мы можем наблюдать поведение чужого интеллекта, но не иметь надежного способа определить, чем вызвана его непонятность.
Станислав Лем описал эту проблему в «Солярисе». Люди так и не выяснили, что делал мыслящий Океан: общался с ними, экспериментировал над ними или действовал в категориях, к которым их вопросы неприменимы.
Рао смотрит на Странный лес глазами его обитателей – наших потомков. Но мы, находясь лишь на опушке Странного леса, ведем себя подобно исследователям «Соляриса»: всматриваемся в подступающую к нам чащу, пытаясь распознать в ней признаки чужого разума.
Но что, если разум, который мы ищем за деревьями Странного леса, – и есть сам Странный лес?
#ТёмныйЛесИнтеллекта #ИИриски
Subscription levels4

Бронзовая

$2.46$1.85 per month
-25%
billed every 12 months
Все посты в
текстовом и аудио форматах, плюс в начале каждого месяца обзор публикаций прошлого
месяца в форматах текстового ревью, аудио-пересказа и видео-презентации.

Серебряная

$5.1$3.8 per month
-25%
billed every 12 months
Всё как в
Бронзовой плюс лонгриды и эссе в двух форматах: текстовом и в аудио.

Золотая

$9$6.7 per month
-25%
billed every 12 months
Всё как в Серебряной
плюс чат обсуждений плюс доступ к участию в проводимых мною Zoom-лекциях и
Q&A семинарах (после подписки присылайте мне на @karelovs Ваш Username)

Алмазная

$12.8$9.6 per month
-25%
billed every 12 months
Всё как в Золотой
плюс эксклюзивный доступ к информарию канала - уникальные возможности в диалоге
с ИИ-мнемозиной канала получать в 8 форматах ответы по любой интересующей
теме/вопросу, плюс возможность проведения индивидуальных Q&A по материалам и темам публикаций (после подписки присылайте мне на @karelovs Ваш Username)
Go up