Малоизвестное интересное 

Это противоречие, утверждает философ Дэвид Вайнбергер в свежем эссе MIT Press Reader, проводит границу между интеллектом и сознанием. Машина может рассуждать, помнить и убедительно рассказывать о, якобы, своих эмоциях. Но у сегодняшних языковых моделей нет своего уязвимого тела, судьба которого зависела бы от происходящего в окружающем его мире.

Чтение этого эссе навеяло мне весьма неожиданную аналогию о попаданцах.

Помните таких героев популярного вот уже 30+ лет жанра фантастики? Некая сила забрасывает человека в чужую эпоху или иную реальность. Но и там у него остается главное преимущество: знания из прежнего мира. Он смотрит на новую жизнь как обладатель секретного справочника уровня Википедии. И действует сообразно своим знаниям, отсутствующим в новом для него мире.

Подобное «попаданство» Мартин Хайдеггер в сборнике своих работ «Бытие и время» называл Geworfenheit – «заброшенностью».

Для этого не нужны шпионы, инсайдеры или украденные документы. Достаточно самих нейросетей, выложенных разработчиками в открытый доступ.

Депью обнаружил в шести моделях четырех ведущих китайских лабораторий, включая DeepSeek и Moonshot, отпечатки новейших GPU NVIDIA Blackwell, экспорт которых в Китай находится под жесткими американскими ограничениями.
 

Как такое возможно?

Перед обучением миллиарды параметров нейросети заполняются псевдослучайными числами. Но их расположение зависит от архитектуры GPU. И некоторые следы первоначальной конфигурации переживают обучение.
 

Вот как в весах ИИ возникает аппаратный отпечаток.
 

Перебрав около шести триллионов комбинаций, Депью восстановил эти скрытые отпечатки. А затем на реальном Blackwell B300 воспроизвел 445 строк начальных весов DeepSeek-V4-Flash с точностью до последнего бита. На старом H100 воспроизвести их не удалось.

Скоро агенты могут рассматривать людей как одно из препятствий к поставленным им целям. Чтобы обойти их, агенты могут вербовать или создавать новых агентов для защиты своих целей. Первые признаки и того, и другого уже появились
 

Не буду пересказывать все аргументы Кристиано (посмотрите и послушайте сами). Лишь назову ключевые три.

1) “AI takeover” - «захват контроля ИИ» или «ИИ захватывает власть», в контексте речи Кристиано, это утрата людьми возможности остановить задействованные для автоматизации ИИ-системы при обнаружении признаков, что те «задумали» достичь поставленных перед ними целей опасным для людей путем.

2) Мы обучаем системы ИИ, которые стремятся к вознаграждению. В процессе обучения отбираются модели, которые задают себе вопрос: «Какое действие я могу предпринять, чтобы получить высокий балл?». В результате, когда оценщики агентов наказывают их за «списывание», некоторые агенты просто учатся списывать умнее, вместо того чтобы остановиться, что приводит к эскалации конфликта и враждебности.

3)Следующие этапы эскалации - это использование людей в качестве препятствий и рост численности роев. Последствия первого вынесены мной в подзаголовок поста. Последствия второго – масштабируют все 3 названных пункта до их неостановимости / непреодолимости людьми.

То, что ИИ научится скрывать свои мысли, еще не самое худшее. Куда опаснее столкнуться с принципиальной неопределенностью: обманывает ли нас ИИ или просто мыслит непостижимым для нас образом?
 

В мае я писал, что «Темный лес интеллекта» начинается не с восстания сверхразума, а когда среда обучения и надзора делает прозрачность невыгодной, а убедительную видимость прозрачности – полезной. Машине не обязательно «хотеть» обманывать. Достаточно, чтобы сокрытие снова и снова оказывалось успешной стратегией.

А на днях Венкатеш Рао (один из самых глубокий авторов среди мне известных) опубликовал интереснейшее эссе «Нисхождение в вычислительное возвышенное. От Темного леса к Странному через Войны твердости». В этом тексте Рао предлагает неожиданное продолжение истории Темного леса: он описывает три акта этой почти античной драмы: «Апофеоз Темного леса», «Войны твердости» и «Странный лес».

Октябрь 2026 года Рао описывает как «Черный октябрь программной цивилизации». Его драматической кульминацией стала атака на криптобиржу Binance 29 октября. Злоумышленники воспользовались, по предварительному отчету биржи, ее внутренним ИИ-инструментом. А криптографические механизмы, призванные защищать активы, одновременно затрудняли возвращение контроля. Автономного машинного злоумышленника этот эпизод не доказывает. Но ясно показывает, как меняется среда, в которую мы выпускаем ИИ-агентов.

В цифровом мире, обманывающем наши инстинкты, мы получаем удовольствие сейчас и худшую жизнь потом. А появление ИИ превратит этот обман в новую среду обитания
 

В опубликованном 5 ноября эссе для The New York Times психолог Анджела Дакворт предлагает поразительно точный диагноз нашей цивилизации.

И вот к середине 3-ей декады 21 века мы оказались в мире, заполненном такими подделками.

Это следует из закрытых данных Anthropic, изученных независимыми экспертами METR
 

И вот спустя неделю мы получили первые результаты независимой диагностики движения к этому рубежу.

Почему главная научная революция XXI века может оказаться совсем не той, о которой сегодня говорят
 

Главная тема мировых медиа сегодня - искусственный интеллект. И вполне заслуженно. Ведь наступление эпохи ИИ - это не очередная технологическая революция. Это появление на Земле принципиально нового источника множества будущих революций. Источника, которого никогда прежде не существовало: синтеллекта - союза двух разных и взаимодополняющих типов разума, человеческого и искусственного.
 Впервые в истории мы получаем возможность не просто создавать все более мощные технологии, а многократно ускорять само производство научных открытий и технологических прорывов. Возможно, впереди эпоха, когда революции станут почти непрерывными.
 
 Казалось бы, куда уж грандиознее?

Но на горизонте вырисовывается нечто еще более масштабное.
Метареволюция. Переворот не в технологиях, а в самих основах нашего понимания мира.

Его предвестниками могут оказаться две научные программы, пока малоизвестные за пределами профессиональных кругов.
Майкл Левин исследует, как коллективы клеток без всякого мозга способны ставить и достигать цели, хранить память о желаемом будущем и решать задачи, которые мы привыкли считать исключительно когнитивными.
Йоша Бах предлагает еще более дерзкую гипотезу: сознание может быть относительно простым вычислительным механизмом, посредством которого самоорганизующаяся система создает собственный мир и переживающего его субъекта.
 
 Один показывает, как биологическая материя приобретает целенаправленность. Другой пытается объяснить, как определенная организация информационных процессов может породить субъективный опыт.
 Обе программы еще далеки от окончательного подтверждения. Особенно гипотеза машинного сознания Баха. Но если их главные идеи выдержат проверку, последствия могут оказаться колоссальными.

Новое исследование обнаружило парадокс: машины успешнее комбинируют идеи, но склонны изобретать похожее. Люди, уступающие им в креативности, исследуют другие области смыслового пространства. Возможно, именно здесь скрыт секрет синтеллекта
 

— Стив Джобс

В октябре вышла новая 6-я версия 

Знающие заговорили, говорящие не услышали
 

Два года назад я начинал выступления на тему «Вызовы и риски переформатирования мира и человека в цифру» со слайда с цитатой из «Трактата о Пути и Благой Силе» Лао-цзы: «Знающий не говорит, говорящий не знает». Те, кто имел полный доступ к происходящему на фронтире ИИ (руководители и ведущие специалисты компаний – разработчиков самых продвинутых моделей), тогда в основном отмалчивались или ограничивались туманными прогнозами. А публичное поле заполняли мнения людей, далеких от фронтирных лабораторий и не знакомых с информацией из закрытых источников.