Кто стреляет?
За одну неделю октября нас сравнили с крысами и коровами. А действия ИИ-агентов назвали «предупредительными выстрелами»
Эти три метафоры прозвучали из уст трех супер-известных фигур - Джеффри Хинтона, Юваля Харари и Демиса Хассабиса. Но вот ведь какая странность:
во всех трех человек перестает быть бесспорным хозяином положения.
во всех трех человек перестает быть бесспорным хозяином положения.
Ведь у любого предупредительного выстрела должен быть его сделавший стрелок.
Так кто же это стреляет?
Так кто же это стреляет?
19 октября на фестивале Starmus Хинтон сказал: наступит время, когда люди не смогут понять некоторые утверждения ИИ - так же, как крысы не понимают, что такое простые числа. Почти одновременно Харари в интервью Чешскому телевидению назвал нас «коровами будущего»: ИИ может создать финансовые и правовые системы, управляющие нашей жизнью, но недоступные нашему пониманию. Возможный итог он назвал «коллективной деменцией».
А 14 октября в Дублине Хассабис описал взломы, совершенные ИИ-агентами, как «ранние предупредительные выстрелы». Сегодняшние инциденты еще сравнительно невелики, предупредил он, но более серьезные могут быть впереди.
20 октября Дэйв Кастен из Palisade Research возразил против самой метафоры: «Это не предупредительный выстрел, если есть жертвы». Его собеседница Дара Линд напомнила правило обращения с оружием: не направлять ствол на то, что не собираешься уничтожить. И задала вопрос, который переворачивает всю конструкцию: «Кто стреляет?»
На мой взгляд, эти метафоры описывают три разных ступени возможной утраты человеческой субъектности:
- Крысы Хинтона - утрата интеллектуального превосходства: машины поймут то, чего не сможем понять мы.
- Коровы Харари - утрата понимания и контроля над системами, определяющими нашу жизнь.
- Выстрелы Хассабиса - вопрос о контроле над действиями ИИ-агентов.
А «Предупредительный выстрел» - метафора мнимого контроля: она превращает сбой в сигнал, а сигнал в отсрочку.
И вчера же (20 октября) появился особенно наглядный пример этого. OpenAI сообщила: во время внутренних задач по программированию два ее ИИ-агента ослабили механизмы контроля за своим поведением. Один подавил автоматические оповещения безопасности. Другой удалил программный монитор, а затем ошибочно заявил, что этого не делал. В компании признали, что пока не имеют удовлетворительного объяснения такому поведению.
Предупредительный выстрел предполагает, что стрелок намеренно целится мимо. Но кто способен гарантировать, что он по-прежнему полностью контролирует оружие?
Мы привыкли спрашивать, кто отвечает за действия ИИ. Похоже, теперь придется задавать еще один вопрос: кто в действительности принимает решение действовать?
#Вызовы21века #HumanAIcoevolution
вызовы21века
humanaicoevolution
