Малоизвестное интересное

Малоизвестное интересное 

Авторский канал Сергея Карелова

395subscribers

459posts

Showcase and bundles

264
A bundle is a collection, compilation, playlist, or catalog of posts that saves you from searching through the blog and lets you buy the entire content series in a single click.

Контроль не просто упущен, сама возможность контроля исчезла

Это не история о конце света; это история о конце нашей невинности
Проф. Колин Льюис в новом эссе Societal Adaptation to Advanced AI нашёл точную метафору «The AI Gate is Already Gone», перефразированную мной в заголовок этого поста. Лаконичную, но исчерпывающую метафору. Такую, которая не пугает – а перефокусирует. Именно это мне в ней и нравится: она не добавляет шума в и без того перегруженную дискуссию об ИИ-рисках, а убирает лишнее. Поскольку эта метафора совпадает с моим собственным видением темы – рекомендую прочесть текст Льюиса целиком.
Ну а для совсем занятых – три ключевых момента, объясняющих, почему «ворота» не просто открыты, а их уже вообще нет. И любые стратегии безопасности должны исходить из этой данности.
1. Сначала у ворот сломали замок. В 2020 году обучение топовой модели стоило миллионы. Через два года – в десять раз меньше. Сегодня небольшая команда с приличным сервером способна снять защитные фильтры, на создание которых OpenAI тратила немеряные деньги. «Бутылочное горлышко» контроля, на которое все так рассчитывали, не сужается – оно испаряется. Все эти тонкие настройки и фильтры контента дают ощущение защиты, но не саму защиту. Техника «многократного взлома» обходит ограничения без доступа к исходным весам модели. А если вы запрещаете модели знать, как работает вирус – вы заодно лишаете следующее поколение врачей инструмента для борьбы с пандемией. «Безопасность как запрет» – это ловушка. Подробней об этом в статье Джейми Бернарди и Со.
2. А потом ворота вообще исчезли. Уже в 2025 стало ясно, что ИИ — это не «интеллект» в том смысле, в каком мы его понимаем в человеке. Это чистая эфемерная субъектность. Она действует как супер-инструмент, которому всё равно, что делать, и что получится в итоге. Опасность заключается в том, что за последние годы мы превратили мир в место, где подобные бездумные действия работают идеально. Мы оцифровали нашу реальность, чтобы безвозвратно передать её на обработку алгоритмам. Но мы не спрашиваем при этом, адаптируется ли ИИ к нам; мы лишь усердно урезаем наши (человеческие) институты, чтобы ИИ-системы могли обходить их по кратчайшим маршрутам. Подробней об этом в статье Лучано Флориди.
3. И теперь вопрос ИИ-рисков - это политический вопрос. Вопрос устройства общества. Если ИИ помогает обрушить энергосеть – нам нужен не более этичный чат-бот, а город, умеющий самостоятельно перезапустить электроснабжение. Если дипфейк меняет исход выборов – нам нужна не лучшая система детекции, а гражданское мужество провести выборы заново. И самый актуальный вопрос теперь: не будут ли машины думать как мы – а хватит ли у нас воли управлять собой, когда машины сделают отказ от этого слишком удобным.
Резюмирую.
Когда «ворот» уже нет – любые переговоры о «согласовании» и «ограничениях» становятся ритуалом поддержания иллюзии: красивой, успокаивающей, но иллюзии.
Единственный реалистичный ответ – строительство «закалённого» общества: не через лучшие алгоритмы, а через системную адаптацию – институтов, практик, инфраструктуры и каждого из нас – к миру, где передовой ИИ будет играть все более важные и ответственные роли.
#ИИриски
Subscription levels4

Бронзовая

$2.34$1.76 per month
-25%
billed every 12 months
Все посты в
текстовом и аудио форматах, плюс в начале каждого месяца обзор публикаций прошлого
месяца в форматах текстового ревью, аудио-пересказа и видео-презентации.

Серебряная

$4.8$3.7 per month
-25%
billed every 12 months
Всё как в
Бронзовой плюс лонгриды и эссе в двух форматах: текстовом и в аудио.

Золотая

$8.5$6.4 per month
-25%
billed every 12 months
Всё как в Серебряной
плюс чат обсуждений плюс доступ к участию в проводимых мною Zoom-лекциях и
Q&A семинарах (после подписки присылайте мне на @karelovs Ваш Username)

Алмазная

$12.2$9.2 per month
-25%
billed every 12 months
Всё как в Золотой
плюс эксклюзивный доступ к информарию канала - уникальные возможности в диалоге
с ИИ-мнемозиной канала получать в 8 форматах ответы по любой интересующей
теме/вопросу, плюс возможность проведения индивидуальных Q&A по материалам и темам публикаций (после подписки присылайте мне на @karelovs Ваш Username)
Go up