Як дарквеб реагує на революцію в галузі штучного інтелекту?

Швидкий пошук за запитом “ChatGPT” у “темній павутині” та Telegram показує 27 912 згадок за останні шість місяців.

Багато написано про потенціал використання мовних моделей зловмисниками. Завдяки великим мовним моделям з відкритим вихідним кодом, таким як LLaMA і Orca, а тепер і альтернативним моделям для зловмисників, наприклад, WormGPT, тенденції до комерціалізації кіберзлочинності і розширення можливостей моделей можуть завдати сильного удару.

Суб’єкти загроз вже беруть участь у ретельних дискусіях про те, як мовні моделі можуть бути використані для всього – від виявлення 0-day вразливостей до створення фішингових електронних листів.

Моделі з відкритим вихідним кодом представляють особливо привабливу можливість для зловмисників, оскільки вони не пройшли навчання з підкріпленням за допомогою зворотного зв’язку з людиною (RLHF), спрямованого на запобігання ризикованим або незаконним відповідям.

Компанія Flare, що займається управлінням загрозами, виявила понад 200 000 облікових даних OpenAI, які наразі продаються в темному інтернеті у вигляді журналів крадіжок.

Хоча це, безсумнівно, викликає занепокоєння, статистика лише починає дряпати поверхню зацікавленості зловмисників у ChatGPT, GPT-4 та мовних моделях штучного інтелекту в більш широкому сенсі.

Екосистема кіберзлочинності та мовні моделі ШІ з відкритим кодом

За останні п’ять років спостерігається різке зростання комерціалізації кіберзлочинності. Зараз існує величезна підпільна мережа через Tor і нелегальні канали Telegram, в якій кіберзлочинці купують і продають особисту інформацію, доступ до мережі, витоки даних, облікові дані, інфіковані пристрої, інфраструктуру для атак, програми-вимагачі тощо.

Комерційно налаштовані кіберзлочинці, ймовірно, все частіше використовуватимуть швидко поширювані мовні моделі ШІ з відкритим вихідним кодом. Перша така програма, WormGPT, вже створена і продається за щомісячну плату за доступ.

Масштабний фішинг зі списом на замовлення

Послуга Phishing-a-a-Service (PhaaS) вже існує і надає готову інфраструктуру для запуску фішингових кампаній за щомісячну плату.

Серед зловмисників вже ведуться широкі дискусії щодо використання WormGPT для полегшення більш широких, персоналізованих фішингових атак.

Використання генеративного ШІ, ймовірно, дозволить кіберзлочинцям здійснювати атаки на тисячі користувачів за допомогою персоналізованих повідомлень, отриманих на основі даних з акаунтів у соціальних мережах, джерел OSINT та онлайн-баз даних, що значно збільшить загрозу для співробітників від фішингу електронної пошти.

“Завтра API-WormGPT буде надано на каналі Galaxy dev, статус запиту необмежений і буде розраховуватися періодично, а для використання API-WORMGPT необхідно отримати API-KEY. Про останні новини буде повідомлено додатково”, – рекламує WormGPT у Telegram зловмисник.

“Якщо ви не знаєте, що таке WormGPT: це необмежена версія ChatGPT, розроблена хакерами і створена для незаконної роботи, такої як фішинг, шкідливе програмне забезпечення тощо, без будь-яких етичних джерел”.

Автоматизація експлойтів та виявлення вразливостей

Такі проекти, як BabyAGI, намагаються використовувати мовні моделі, щоб зациклюватися на думках і виконувати дії в Інтернеті, а потенційно і в реальному світі. На сьогоднішній день багато компаній не мають повного уявлення про те, які загрози їх підстерігають.

Вони покладаються на те, що зловмисники не зможуть швидко виявити незахищені сервіси, облікові дані та ключі API, викладені в публічних репозиторіях GitHub, та інші форми вразливості даних з високим ступенем ризику.

Напівавтономні мовні моделі можуть швидко і різко змінити ландшафт загроз, автоматизувавши виявлення вразливостей в масштабах зловмисників.

Зараз зловмисники покладаються на набір інструментів, що використовуються фахівцями з кібербезпеки, та ручні дії для виявлення вразливостей, які можуть надати початковий доступ до системи.

Швидше за все, нас чекають роки, а то й місяці до появи систем, здатних не тільки виявляти очевидні вразливості, такі як облікові дані в сховищі, але навіть виявляти нові вразливості “нульового дня” в додатках, що значно скоротить час, необхідний командам безпеки для реагування на вразливості та витік даних.

Вішинг і діпфейки

Досягнення в галузі генеративного штучного інтелекту також створюють надзвичайно складне середовище для вішингових атак. Сервіси на основі ШІ вже можуть реалістично копіювати звучання голосу людини за допомогою менш ніж 60-секундного аудіозапису, а технологія “глибоких фейків” продовжує вдосконалюватися.

Наразі діпфейки перебувають у стані “моторошної долини”, що робить їх дещо очевидними. Однак технологія швидко прогресує, і дослідники продовжують створювати та розгортати додаткові проекти з відкритим вихідним кодом.

Генеративні моделі ШІ для злому та шкідливого програмного забезпечення

Вже існують LLM з відкритим вихідним кодом, орієнтовані на діяльність червоних команд, наприклад, на пробне тестування GPT.

Функціональність і спеціалізація моделі значною мірою залежить від багатоетапного процесу, що включає дані, на яких навчається модель, навчання з підкріпленням за допомогою людського зворотного зв’язку та інших змінних.

“Є багатообіцяючі моделі з відкритим вихідним кодом, такі як Orca, яка обіцяє знайти 0days, якщо вона була налаштована на коді”, – пояснює фахівець із загроз, обговорюючи Orca LLM від Microsoft.

Що це означає для команд безпеки?

Ваша право на помилку як захисника скоро суттєво зменшиться. Пріоритетом має стати зменшення шуму SOC, щоб зосередитися на важливих подіях, а також поліпшення середнього часу виявлення (MTTD) і середнього часу реагування (MTTR) на ризиковані загрози, як в темному, так і в відкритому Інтернеті.

Впровадження штучного інтелекту для забезпечення безпеки в компаніях, швидше за все, відбуватиметься значно повільніше, ніж у зловмисників, створюючи асиметрію, яку намагатимуться використати зловмисники.

Команди безпеки повинні створити ефективну програму управління поверхнею атаки, забезпечити, щоб співробітники пройшли ґрунтовну підготовку з питань глибоких підробок і фішингу, а крім того, оцінити, як ШІ можна використовувати для швидкого виявлення та усунення прогалин у периметрі вашої безпеки.

Безпека настільки сильна, наскільки сильна найслабша ланка, і ШІ допоможе знайти цю слабку ланку набагато легше.