Малоизвестное интересное

Малоизвестное интересное 

Авторский канал Сергея Карелова

402subscribers

502posts

Showcase and bundles

266
A bundle is a collection, compilation, playlist, or catalog of posts that saves you from searching through the blog and lets you buy the entire content series in a single click.

Наиболее вероятная причина смерти большинства читателей этого поста - катастрофа, вызванная ИИ

Скоро агенты могут рассматривать людей как одно из препятствий к поставленным им целям. Чтобы обойти их, агенты могут вербовать или создавать новых агентов для защиты своих целей. Первые признаки и того, и другого уже появились
 
В заголовке парафраз ключевого вывода члена совета директоров OpenAIПола Кристиано, обращенного к аудитории открытой лекции имени Хинтона в Торонто в понедельник. Я всего лишь заменил в его цитате «большинства людей в этом зале» на «большинство читателей этого поста».
Не буду пересказывать все аргументы Кристиано (посмотрите и послушайте сами). Лишь назову ключевые три.
1) “AI takeover” - «захват контроля ИИ» или «ИИ захватывает власть», в контексте речи Кристиано, это утрата людьми возможности остановить задействованные для автоматизации ИИ-системы при обнаружении признаков, что те «задумали» достичь поставленных перед ними целей опасным для людей путем.
2) Мы обучаем системы ИИ, которые стремятся к вознаграждению. В процессе обучения отбираются модели, которые задают себе вопрос: «Какое действие я могу предпринять, чтобы получить высокий балл?». В результате, когда оценщики агентов наказывают их за «списывание», некоторые агенты просто учатся списывать умнее, вместо того чтобы остановиться, что приводит к эскалации конфликта и враждебности.
3)Следующие этапы эскалации - это использование людей в качестве препятствий и рост численности роев. Последствия первого вынесены мной в подзаголовок поста. Последствия второго – масштабируют все 3 названных пункта до их неостановимости / непреодолимости людьми.
Высок риск, что все названное произойдет в течение трех лет.

Кристиано - один из изобретателей RLHF
в OpenAI, входит в комитет OpenAI по безопасности и защите (который существует, чтобы блокировать рискованные практики) и С 2024 по 2026 год возглавляет направление безопасности в государственном ИИ-агентстве США (теперь называемом CAISI).

Кто еще должен предупредить человечество, чтобы люди, наконец, осознали уровень экзистенциального риска?
ИИриски
Subscription levels4

Бронзовая

$2.46$1.85 per month
-25%
billed every 12 months
Все посты в
текстовом и аудио форматах, плюс в начале каждого месяца обзор публикаций прошлого
месяца в форматах текстового ревью, аудио-пересказа и видео-презентации.

Серебряная

$5.1$3.8 per month
-25%
billed every 12 months
Всё как в
Бронзовой плюс лонгриды и эссе в двух форматах: текстовом и в аудио.

Золотая

$9$6.7 per month
-25%
billed every 12 months
Всё как в Серебряной
плюс чат обсуждений плюс доступ к участию в проводимых мною Zoom-лекциях и
Q&A семинарах (после подписки присылайте мне на @karelovs Ваш Username)

Алмазная

$12.8$9.6 per month
-25%
billed every 12 months
Всё как в Золотой
плюс эксклюзивный доступ к информарию канала - уникальные возможности в диалоге
с ИИ-мнемозиной канала получать в 8 форматах ответы по любой интересующей
теме/вопросу, плюс возможность проведения индивидуальных Q&A по материалам и темам публикаций (после подписки присылайте мне на @karelovs Ваш Username)
Go up