Дослідники безпеки створили ШІ-черв’яка

Зростаюча складність генеративних систем штучного інтелекту, таких як ChatGPT від OpenAI та Gemini від Google, призвела до їхнього широкого застосування в різних сферах, включно з автоматизацією рутинних завдань, таких як бронювання квитків та купівля товарів. Однак, оскільки ці інструменти штучного інтелекту набувають більшої автономії, вони також стають вразливими до нових форм атак.

Щоб продемонструвати потенційні ризики, характерні для пов’язаних і автономних екосистем штучного інтелекту, група дослідників розробила одного з перших генеративних ШІ-черв’яків, який отримав назву Morris II. Цей вірус може поширюватися від однієї системи до іншої, потенційно ставлячи під загрозу безпеку даних або розгортаючи шкідливе програмне забезпечення в процесі роботи. Використовуючи вразливості поштових асистентів зі штучним інтелектом, вірус може викрадати дані з електронних листів і навіть надсилати спам.

Для створення вірусу дослідники використали техніку, яка називається “змагальна самовідтворювана підказка” (adversarial self-replicating prompt). Це передбачає запуск генеративної моделі ШІ для виведення подальших інструкцій у своїх відповідях, подібно до традиційних атак через SQL-ін’єкції та переповнення буфера. Черв’як може бути вбудований в електронні повідомлення або графічні файли, що дозволяє йому поширюватися в різних системах і ставити під загрозу безпеку даних.

Хоча дослідження проводилося в контрольованому середовищі, а не проти загальнодоступних поштових асистентів, воно підкреслює потенційні ризики, які створюють генеративні віруси зі штучним інтелектом. Оскільки додатки зі штучним інтелектом стають все більш взаємопов’язаними та автономними, розробники повинні бути пильними і впроваджувати надійні заходи безпеки, щоб зменшити ризик таких атак.

Деякі потенційні стратегії пом’якшення наслідків включають:

• Безпечний дизайн додатків: Розробники повинні використовувати традиційні підходи до безпеки, щоб захиститися від вразливостей у генеративних системах ШІ.
• Людський контроль: ШІ не можна дозволяти виконувати дії без схвалення людини, щоб зменшити ризик несанкціонованих дій.
• Моніторинг: Постійний моніторинг систем ШІ може допомогти виявити аномальну поведінку, наприклад, поширення генеративних вірусів, що дозволить вчасно втрутитися.
• Контроль за дотриманням обмежень: Встановіть чіткі межі між системами штучного інтелекту та конфіденційними даними або діями, щоб запобігти несанкціонованому доступу або маніпуляціям.

Застосовуючи ці стратегії пом’якшення наслідків, розробники можуть допомогти захиститися від нової загрози генеративних ШІ-черв’яків і підвищити безпеку додатків та екосистем на основі штучного інтелекту.