В продолжение темы будущего ChatGPT стоит поговорить о взаимосвязи нейросети с риском кибератак. За прошедшие несколько месяцев, после массового появления этих алгоритмов были проведены различные исследования и можно подводить итоги: применение ChatGPT выводит проблему кибепреступности на новый уровень.

Если пропустили, одним из ключевых событий в этой области было мероприятие, проведенное в Иерусалиме в декабре 2021, собравшее представителей десяти стран, Всемирного банка и других глобальных финансовых структур, чтобы отработать сценарий кибератаки на мировую финансовую систему:

"В инициативе под названием «Коллективная сила» приняли участие чиновники казначейства из Израиля, США, Великобритании, Объединенных Арабских Эмиратов, Австрии, Швейцарии, Германии, Италии, Нидерландов и Таиланда, а также представители Международного валютного фонд, Всемирный банк и Банк международных расчетов.

Израиль возглавил симуляцию крупной кибератаки на глобальную финансовую систему в 10 странах, пытаясь наладить сотрудничество, которое могло бы помочь минимизировать любой потенциальный ущерб финансовым рынкам и банкам.
Смоделированная «военная игра», как ее назвало министерство финансов Израиля планировалась в течение прошлого года, развивалась в течение 10 дней, используя, в том числе, "чувствительные" данные из Даркнета. В моделировании также использовались поддельные новостные сообщения, которые по сценарию вызвали хаос на мировых рынках и набеги на банки.
Моделирование, вызванное теми, кого официальные лица назвали «искушенными» игроками, включало в себя несколько типов атак, которые повлияли на глобальные рынки иностранной валюты и облигаций, ликвидность, целостность данных и транзакции между импортерами и экспортерами.

«Банки обращаются за экстренной помощью в виде ликвидности во множестве валют, чтобы положить конец хаосу, поскольку контрагенты забирают свои средства и ограничивают доступ к ликвидности, оставляя банки в беспорядке и разорении».

Участники обсудили многостороннюю политику реагирования на кризис, включая согласованные банковские каникулы, льготные периоды погашения долга и скоординированный отказ от привязки к основным валютам».

- Reuters, декабрь 2021, EXCLUSIVE IMF, 10 countries simulate cyberattack on global financial system

По крайней мере, именно его несовершенство можно будет обвинить во всех грехах... Тогда все вспомнят различные "Открытые письма" и предупреждения отцов-основателей искусственного интеллекта об опасности использования нейросети. Думается, это событие еще больше поляризует и без того напряженную ситуацию в мире техногигантов, в очередной раз разделив сообщество на тех, кто по "светлую" и по "темную" сторону прогресса...

Уже сейчас хорошо заметна резкая поляризация мнений: на запрос по теме "cyberattack and chatgpt" можно найти как утверждения о том, что ИИ спасет мир от киберпреступности, так и, наоборот, что появление чат-бота дает в руки киберпреступников невиданные ранее ресурсы. К сожалению, второй сценарий признается большинством экспертов более вероятным, чем первый.

Если есть желание погрузиться в тему больше:

На английском: Infosys презентует исследование ChatGPT presents new risks – here are five things you can do to mitigate them:

"Однако с появлением любых новых инструментов возникают новые проблемы и риски кибербезопасности. На первом месте в списке опасений для специалистов по кибербезопасности стоит возможность использования ChatGPT для создания вредоносного кода. Это означает, что гораздо больше людей могут создавать вредоносное ПО, что может привести к еще большему количеству атак и взломов.

Исследователи кибербезопасности CyberArk недавно подробно рассказали, как их исследователи обошли фильтры контента ChatGPT и заставили его создать то, что они назвали «функциональным кодом», для внедрения DLL в explorer.exe. Исследователи продолжали использовать чат-бот для создания полиморфного кода, который трудно обнаружить и с которым не может справиться антивирусное программное обеспечение.

Исследователям CyberArk также удалось заставить чат-бота создать код, который мог бы найти файлы, представляющие интерес для преступников-вымогателей, а затем попросить чат-бота написать и зашифровать файл.

Тем не менее, существует разница между работой по проверке концепции, выполненной исследователями CyberArk, и переходом от проверки концепции к реальному вредоносному ПО, созданному преступниками. И похоже, что вредоносный код, сгенерированный ChatGPT, возможно, уже совершил скачок.

В январе 2023 года исследователи Check Point сообщили, что они обнаружили пользователей форумов по киберпреступности, использующих ChatGPT для создания вредоносных программ. Они сказали, что на хакерском форуме была запущена ветка, где создатель ветки поделился скриншотами кода Python, предположительно сгенерированного ChatGPT, который ищет распространенные типы файлов, такие как файлы Office и PDF-файлы, копирует их в случайную папку, архивирует эти папки и загружает их на FTP-сервер.

Помимо написания вредоносного кода, исследователи кибербезопасности также обеспокоены использованием ChatGPT для создания достоверного фишингового и целевого фишингового контента для использования в атаках социальной инженерии.

Однако киберпреступники, пишущие фишинговые сообщения от руки, обнаруживают свои ошибки. Например, орфографические и грамматические ошибки могут предупредить цель о том, что отправитель электронной почты не является носителем английского языка. Преступникам также часто не удается уловить тон голоса сущности, которую они выдают за себя.

ChatGPT позволяет преступникам выдавать себя за организацию или даже за отдельного человека. В январе исследователи из WithSecure опубликовали отчет, в котором подробно описываются их эксперименты с использованием ChatGPT для создания убедительно звучащих фишинговых и целевых фишинговых электронных писем, таких как попытка социальной инженерии члена финансовой команды компании перевести деньги мошеннику.

WithSecure отмечает, что умение создавать убедительные фишинговые электронные письма с помощью ChatGPT заключается в создании подсказок, и приводит примеры подробных подсказок, которые доставляют подробные, адаптированные электронные письма, которые трудно отличить от подлинного электронного письма".

Статья Forbes GPT-4 Can’t Stop Helping Hackers Make Cybercriminal Tools:

"На этой неделе OpenAI с большой помпой выпустила последнюю версию своего программного обеспечения для машинного обучения GPT-4. Одна из особенностей, которую компания выделила в новой версии, заключалась в том, что в ней должны были быть правила, защищающие ее от использования киберпреступниками. Однако исследователи говорят, что всего за несколько дней они обманули его, заставив создавать вредоносное ПО и помогать им создавать фишинговые электронные письма, точно так же, как они делали это с предыдущей итерацией программного обеспечения OpenAI, ChatGPT. С другой стороны, они также смогли использовать программное обеспечение, чтобы залатать дыры в киберзащите".

На русском: Habr ссылается на свежее исследование Европола (ChatGPT - the impact of Large Language Models on Law Enforcement) - "Исследование Европола: злоумышленники могут использовать ChatGPT для мошенничества и кибератак".