Наиболее вероятная причина смерти большинства читателей этого поста - катастрофа, вызванная ИИ
Скоро агенты могут рассматривать людей как одно из препятствий к поставленным им целям. Чтобы обойти их, агенты могут вербовать или создавать новых агентов для защиты своих целей. Первые признаки и того, и другого уже появились
В заголовке парафраз ключевого вывода члена совета директоров OpenAIПола Кристиано, обращенного к аудитории открытой лекции имени Хинтона в Торонто в понедельник. Я всего лишь заменил в его цитате «большинства людей в этом зале» на «большинство читателей этого поста».
Не буду пересказывать все аргументы Кристиано (посмотрите и послушайте сами). Лишь назову ключевые три.
1) “AI takeover” - «захват контроля ИИ» или «ИИ захватывает власть», в контексте речи Кристиано, это утрата людьми возможности остановить задействованные для автоматизации ИИ-системы при обнаружении признаков, что те «задумали» достичь поставленных перед ними целей опасным для людей путем.
2) Мы обучаем системы ИИ, которые стремятся к вознаграждению. В процессе обучения отбираются модели, которые задают себе вопрос: «Какое действие я могу предпринять, чтобы получить высокий балл?». В результате, когда оценщики агентов наказывают их за «списывание», некоторые агенты просто учатся списывать умнее, вместо того чтобы остановиться, что приводит к эскалации конфликта и враждебности.
3)Следующие этапы эскалации - это использование людей в качестве препятствий и рост численности роев. Последствия первого вынесены мной в подзаголовок поста. Последствия второго – масштабируют все 3 названных пункта до их неостановимости / непреодолимости людьми.
Высок риск, что все названное произойдет в течение трех лет.
Кристиано - один из изобретателей RLHF в OpenAI, входит в комитет OpenAI по безопасности и защите (который существует, чтобы блокировать рискованные практики) и С 2024 по 2026 год возглавляет направление безопасности в государственном ИИ-агентстве США (теперь называемом CAISI).
Кто еще должен предупредить человечество, чтобы люди, наконец, осознали уровень экзистенциального риска?
ИИриски
иириски