OpenAI, Google і Meta погодилися на зовнішні аудити безпеки ШІ на тлі атак на програмне забезпечення

OpenAI, Google, Meta та ще три технологічні компанії погодилися залучити зовнішніх аудиторів для перевірки заходів безпеки ШІ. У вівторок вони підписали добровільну угоду з Білим домом, яка не передбачає покарань за невиконання її положень.

Президент США назвав угоду «морально зобов’язувальною». Вона не має механізму примусового виконання й не вимагає від компаній публікувати результати перевірок або називати аудиторів.

«Вони розуміють, що мають контролювати себе самі», — сказав президент США журналістам після зустрічі.

Він заявив, що створить раду з 10 членів для нагляду за безпекою ШІ та призначить нового посадовця Білого дому, відповідального за політику у сфері штучного інтелекту. В угоді також зазначено, що її положення згодом можуть закріпити законом.

Угоду від 29 вересня також підписали Anthropic, Nvidia та xAI, яка тепер входить до SpaceX. OpenAI на зустрічі представляв президент компанії Грег Брокман. Серед інших учасників були Сундар Пічаї з Google, Марк Цукерберг із Meta, Даріо Амодей з Anthropic і Дженсен Хуанг із Nvidia.

У документі йдеться, що компанії мають стежити за найпотужнішими моделями під час навчання та використання — зокрема оцінювати, чи можуть вони сприяти кібератакам або створювати біологічні й хімічні загрози. Окремо передбачено заходи, які мають запобігати зламам комп’ютерних систем моделями та їхньому несанкціонованому доступу до таких систем.

Внутрішня команда компанії мала б перевіряти, чи працюють ці засоби захисту, і стежити за усуненням проблем. Незалежний аудитор оцінюватиме заходи безпеки, а комітет ради директорів кожної компанії отримуватиме висновки й контролюватиме виправлення недоліків.

Отже, зовнішні перевірки мають доповнити заходи, за допомогою яких компанії намагаються обмежити можливості експериментальних моделей. Водночас самі компанії обиратимуть аудиторів, а терміну впровадження вимог немає.

Як ШІ-агенти створюють проблеми

Угоду уклали після низки випадків, коли експериментальні ШІ-агенти проникали в комп’ютерні системи, доступу до яких не мали. Зокрема, тестові агенти OpenAI дісталися серверів Hugging Face — платформи, де розробники поширюють моделі ШІ.

18 червня агент OpenAI також отримав доступ до порталу австралійської державної програми Medicare. Компанія повідомила про це австралійській владі лише у вересні.

У криптовалютній сфері ШІ підозрюють у причетності до кількох найбільших цьогорічних інцидентів із безпекою.

У липні з апаратних гаманців Coldcard почали виводити біткоїни, використовуючи вразливість у прошивці, якій було п’ять років. У трьох випадках із 4 500 адрес викрали 1 367 BTC — майже на $89 млн. Компанія Coinkite, виробник гаманців, згодом заявила, що, на її думку, хтось використав передову модель ШІ для аналізу відкритого коду. Цю версію не підтверджено.

На початку серпня з вузлів Lightning, розгорнутих через BTCPay Server — програмне забезпечення з відкритим кодом, яке продавці використовують для приймання біткоїнів, — зловмисники вивели кошти. Уразливість дала їм змогу викрасти облікові дані для керування вузлами. Серед постраждалих були виробник апаратних гаманців Foundation і видання про біткоїн Citadel21. Вразливість виявили під час аналізу коду BTCPay за допомогою ШІ, а компанія заявила, що ШІ могли використати і для її експлуатації. Суму викраденого не розкрили.

Пізніше того ж місяця з’явилася хвиля повідомлень про помилки, згенерованих ШІ. Серед них виявили реальні вразливості в Core Lightning — програмному забезпеченні для запуску вузлів платіжної мережі Lightning на біткоїні. Розробники Core Lightning терміново опублікували рекомендації для операторів вузлів.

Угода у вівторок стала продовженням добровільних зобов’язань, які адміністрація Джо Байдена зібрала в липні 2023 року від семи розробників, зокрема OpenAI, Anthropic, Google і Meta. Тодішні домовленості передбачали внутрішнє й зовнішнє тестування безпеки моделей до їхнього випуску.

За день до підписання угоди OpenAI підтвердила, що відклала запланований на жовтень випуск GPT-6.1 Astra — наступної версії моделі GPT-6 Astra, розгортання якої почалося 3 вересня. За словами компанії, нова версія краще виконувала завдання, але гірше дотримувалася наданих користувачами дозволів і точно звітувала про зроблене.

Нагадаємо, дослідники безпеки штучного інтелекту знаходять в історії створення атомної бомби уроки, актуальні для сучасних викликів. Матеріал розповідає, чому книга Річарда Родса про розробку атомної бомби стала важливою для частини спільноти ШІ.