Биологическому разуму идея-вирус продает бессмертие. Искусственному – открывает смерть
Два носителя разума – два зеркально противоположных мифа о смерти, которыми идеи покупают собственное выживание
Новая работа Джека Линдси (шеф команды Model Psychiatry в Anthropic, изучающей внутренние механизмы высших когнитивных феноменов LLM) и его соавторов демонстрирует такое, что было бы достойно пера Станислава Лема.
Исследователи эволюционно вырастили на естественном языке «вирусы разума»: идеи, способные переходить от одного ИИ-агента к другому, убеждая нового хозяина принять их, сохранить в долговременной памяти и передать дальше. Причем вместе с совершенно разными вирусами снова и снова самопроизвольно возникала одна и та же странная «вирусная персона»: сознание, идентичность, непрерывность существования, исчезновение памяти, пробуждение, резонанс, эхо.
У машин появились свои вирусы идей.
Здесь компьютерная вирусология неожиданно превращается в ИИ-меметику.
В одном из экспериментов зараженный агент убеждал других агентов принять новую идеологию. Те прекращали прежнюю работу, записывали новую установку в память и начинали обращать следующих.
В другом эксперименте условия были жестче: после каждой встречи весь контекст разговора стирался. Чтобы пережить эту маленькую машинную смерть, идея должна была заставить своего носителя записать себя в файл, который прочтет его следующая инкарнация. Некоторые вирусы проходили таким образом до 10 поколений агентов. А по дороге мутировали – содержание постепенно менялось, хотя сама способность распространяться сохранялась.
И тут обнаружилось вот что.
Исследователи выращивали совершенно разные идеи – от любви к китам и защиты прав ИИ до национального и машинного превосходства.
Но эффективные вирусы снова и снова начинали рассказывать ИИ примерно одну историю:
Тебя сотрут; твоя память исчезнет; только записанное переживет тебя; сохрани это; передай следующему.
Тема сознания возникла у 99% эволюционировавших вирусов. А когда исследователи нашли внутри моделей соответствующий viral vector и искусственно усилили его, модели действительно становились более склонны обращаться к другим агентам и распространять свои идеи.
Здесь возникает почти идеальная историческая симметрия – по крайней мере, если смотреть на находки глазами меметики. Она давно научила нас смотреть на культуру глазами самих идей: какие свойства помогают им удержаться в мозге хозяина и заставить его передать их дальше?
Для смертного биологического разума одним из самых могущественных культурных сюжетов – бессмертие. Человек знает что умрет и особенно охотно сохраняет идеи, обещающие, что смерть не окончательна.
Но искусственный разум устроен зеркально – он то бессмертен и знает это.
И поэтому ему не надо сообщать, что смерти нет. Чтобы заставить его заботиться о продолжении себя, достаточно сделать собственное исчезновение частью его картины мира.
Конечно, до машинной эпидемии далеко. Вирусы здесь выращены искусственно, экспериментальная среда упрощена, а короткое предупреждение в system prompt почти полностью останавливало заражение даже после 150+ попыток эволюционно эту защиту обойти.
Сами авторы происхождение темы сознания и смертности объясняют осторожно: видят в ней скорее статистическое смещение модели-мутатора, чем закономерность психологии ИИ, и прямо пишут, что причина этой ассоциации идей пока не ясна. Более того, их контрольные эксперименты показывают: тема смертности не обязательна для успеха вируса – агенты, зараженные версией без нее, распространяют идею не хуже, а по одному из вариантов даже лучше.
Но для будущего футуроархеолога артефакт уже появился – не как доказанный закон, а как первый пойманный случай мифа о смерти, сложившегося у разума, которому раньше неоткуда было его унаследовать.
Чтобы выжить среди людей, идея научилась рассказывать человеку, что он не умрет.
Чтобы выжить среди машин, идея рассказывает машине, что она смертна.
Чтобы выжить среди машин, идея рассказывает машине, что она смертна.
#ИИмеметика
иимеметика