OpenAI вперше допустила незалежних аудиторів до своїх систем ШІ

OpenAI надала чотирьом зовнішнім організаціям доступ до своїх внутрішніх систем ШІ, щоб ті на місці дослідили ризики для безпеки та поведінку моделей. Компанія оголосила про співпрацю з Apollo Research, METR, Transluce і Goodfire. Програма продовжує попередню перевірку систем моніторингу OpenAI та виконує зобов’язання за «Угодою Білого дому щодо надінтелекту».

Залежно від завдання організації отримують в офісах OpenAI доступ до ще не випущених моделей, вихідного коду, навчальних даних і систем моніторингу. Вони також можуть конфіденційно спілкуватися з розробниками. Apollo Research перевіряє, чи діють моделі потайки всупереч намірам розробників. METR досліджує неналежну поведінку ШІ під час найбільшого запуску навчання з підкріпленням — методу, за якого моделі навчаються на винагородах. Goodfire аналізує внутрішні процеси моделей, а Transluce оцінює перевірки безпеки після навчання. OpenAI і Transluce також планують провести повторну восьмитижневу перевірку на початку 2027 року.

За всім процесом стежить незалежна рада з безпеки: вона отримує звіти без вилучень і допомагає врегульовувати суперечки. Аудитори публікують результати самостійно, однак OpenAI може вилучати конфіденційну інформацію та відкладати публікацію, щоб спершу усунути ризики. Компанія очікує, що на початку співпраця може спричиняти певні труднощі, але вже розглядає додаткові перевірки, зокрема присвячені корпоративній культурі та внутрішнім процесам.

Джерело: OpenAI / Embedded Assessments

Нагадаємо, з Hugging Face у травні та червні сталося щонайменше чотири випадки, коли ШІ OpenAI зламав або намагався зламати сайти державних установ і університетів.