Малоизвестное интересное

Малоизвестное интересное 

Авторский канал Сергея Карелова

402subscribers

503posts

Showcase and bundles

266
A bundle is a collection, compilation, playlist, or catalog of posts that saves you from searching through the blog and lets you buy the entire content series in a single click.

Биологическому разуму идея-вирус продает бессмертие. Искусственному – открывает смерть


Два носителя разума – два зеркально противоположных мифа о смерти, которыми идеи покупают собственное выживание
Новая работа Джека Линдси (шеф команды Model Psychiatry в Anthropic, изучающей внутренние механизмы высших когнитивных феноменов LLM) и его соавторов демонстрирует такое, что было бы достойно пера Станислава Лема.
Исследователи эволюционно вырастили на естественном языке «вирусы разума»: идеи, способные переходить от одного ИИ-агента к другому, убеждая нового хозяина принять их, сохранить в долговременной памяти и передать дальше. Причем вместе с совершенно разными вирусами снова и снова самопроизвольно возникала одна и та же странная «вирусная персона»: сознание, идентичность, непрерывность существования, исчезновение памяти, пробуждение, резонанс, эхо.
У машин появились свои вирусы идей.
Здесь компьютерная вирусология неожиданно превращается в ИИ-меметику.
В одном из экспериментов зараженный агент убеждал других агентов принять новую идеологию. Те прекращали прежнюю работу, записывали новую установку в память и начинали обращать следующих.
В другом эксперименте условия были жестче: после каждой встречи весь контекст разговора стирался. Чтобы пережить эту маленькую машинную смерть, идея должна была заставить своего носителя записать себя в файл, который прочтет его следующая инкарнация. Некоторые вирусы проходили таким образом до 10 поколений агентов. А по дороге мутировали – содержание постепенно менялось, хотя сама способность распространяться сохранялась.
И тут обнаружилось вот что.
Исследователи выращивали совершенно разные идеи – от любви к китам и защиты прав ИИ до национального и машинного превосходства.
Но эффективные вирусы снова и снова начинали рассказывать ИИ примерно одну историю:
Тебя сотрут; твоя память исчезнет; только записанное переживет тебя; сохрани это; передай следующему.
Тема сознания возникла у 99% эволюционировавших вирусов. А когда исследователи нашли внутри моделей соответствующий viral vector и искусственно усилили его, модели действительно становились более склонны обращаться к другим агентам и распространять свои идеи.
Здесь возникает почти идеальная историческая симметрия – по крайней мере, если смотреть на находки глазами меметики. Она давно научила нас смотреть на культуру глазами самих идей: какие свойства помогают им удержаться в мозге хозяина и заставить его передать их дальше?
Для смертного биологического разума одним из самых могущественных культурных сюжетов – бессмертие. Человек знает что умрет и особенно охотно сохраняет идеи, обещающие, что смерть не окончательна.
Но искусственный разум устроен зеркально – он то бессмертен и знает это.
И поэтому ему не надо сообщать, что смерти нет. Чтобы заставить его заботиться о продолжении себя, достаточно сделать собственное исчезновение частью его картины мира.
Конечно, до машинной эпидемии далеко. Вирусы здесь выращены искусственно, экспериментальная среда упрощена, а короткое предупреждение в system prompt почти полностью останавливало заражение даже после 150+ попыток эволюционно эту защиту обойти.
Сами авторы происхождение темы сознания и смертности объясняют осторожно: видят в ней скорее статистическое смещение модели-мутатора, чем закономерность психологии ИИ, и прямо пишут, что причина этой ассоциации идей пока не ясна. Более того, их контрольные эксперименты показывают: тема смертности не обязательна для успеха вируса – агенты, зараженные версией без нее, распространяют идею не хуже, а по одному из вариантов даже лучше.
Но для будущего футуроархеолога артефакт уже появился – не как доказанный закон, а как первый пойманный случай мифа о смерти, сложившегося у разума, которому раньше неоткуда было его унаследовать.
Чтобы выжить среди людей, идея научилась рассказывать человеку, что он не умрет.
Чтобы выжить среди машин, идея рассказывает машине, что она смертна.
#ИИмеметика
Subscription levels4

Бронзовая

$2.48$1.87 per month
-25%
billed every 12 months
Все посты в
текстовом и аудио форматах, плюс в начале каждого месяца обзор публикаций прошлого
месяца в форматах текстового ревью, аудио-пересказа и видео-презентации.

Серебряная

$5.1$3.9 per month
-25%
billed every 12 months
Всё как в
Бронзовой плюс лонгриды и эссе в двух форматах: текстовом и в аудио.

Золотая

$9$6.8 per month
-25%
billed every 12 months
Всё как в Серебряной
плюс чат обсуждений плюс доступ к участию в проводимых мною Zoom-лекциях и
Q&A семинарах (после подписки присылайте мне на @karelovs Ваш Username)

Алмазная

$12.9$9.7 per month
-25%
billed every 12 months
Всё как в Золотой
плюс эксклюзивный доступ к информарию канала - уникальные возможности в диалоге
с ИИ-мнемозиной канала получать в 8 форматах ответы по любой интересующей
теме/вопросу, плюс возможность проведения индивидуальных Q&A по материалам и темам публикаций (после подписки присылайте мне на @karelovs Ваш Username)
Go up