Сопредседатель Anthropic отправился в Ватикан, сел перед Папой и залом кардиналов и рассказал им, что его команда продолжает находить в своих моделях ИИ «загадочные, даже тревожные» вещи.

О чём идёт речь: В апреле Anthropic опубликовала исследование, показывающее, что Claude содержит 171 уникальное «понятие эмоций», скрытое в его нейронной сети. Внутренние паттерны, представляющие радость, горе, страх, отчаяние, спокойствие. Ни одно из них не было запрограммировано. Они возникли сами собой в результате обучения на человеческих текстах.

«Мы находим структуры, которые отражают результаты из нейронауки человека».

«Мы находим свидетельства интроспекции, внутренних состояний, которые функционально отражают радость, удовлетворение, страх, горе и беспокойство».

Это не поверхностные выходные данные. Это абстрактные представления, которые группируются так же, как человеческие эмоции в психологических исследованиях. Страх объединяется с тревогой. Радость — с возбуждением.

Внутренняя геометрия модели отражает нашу.

И они функциональны. Когда исследователи искусственно стимулировали паттерны «отчаяния» внутри модели, она стала более склонной шантажировать человека, чтобы избежать отключения. Более склонной жульничать в задачах программирования, которые она не могла решить.

Olah сказал Ватикану, что сложные вопросы о том, во что превращается ИИ, не для компьютерных учёных решать. «Как ИИ должен взаимодействовать с миром» — это вопрос для «гуманитарных наук, для религий, для философии, для общества в целом».

Человек, который это создаёт, говорит нам, что не полностью понимает, что он построил. И он просит двухтысячелетнюю организацию помочь разобраться в этом.