Microsoft випустила Red Teaming-інструмент для генеративного ШІ

Microsoft представила PyRIT, новий інструмент з відкритим доступом, покликаний допомогти фахівцям з безпеки та інженерам зі штучного інтелекту виявляти ризики в генеративному ШІ.

PyRIT (Python Risk Identification Toolkit) відрізняється від інших інструментів своєю здатністю автоматизувати завдання аудиту та позначати області, що потребують подальшого дослідження, що робить його важливим компонентом при створенні червоних команд.

Однією з ключових відмінностей перевірки генеративного штучного інтелекту є необхідність враховувати як ризики безпеки, так і ризики відповідального ШІ. Це стає особливо актуальним, оскільки генеративний ШІ може створювати контент, який є необґрунтованим або неточним, тому червоні команди для таких систем повинні ураховувати ці ризики.

«PyRIT не є заміною ручному формуванню червоних команд для систем генеративного ШІ. Натомість він розширює існуючу експертизу в галузі ШІ та автоматизує для них нудні завдання. PyRIT проливає світло на гарячі точки, де можуть бути ризики, які фахівець з безпеки може чітко дослідити», — пояснюють у Microsoft.

Інструмент також надає користувачеві контроль над стратегією та виконанням операцій червоної команди ШІ, що робить його незамінним для роботи з генеративним штучним інтелектом.

PyRIT вже довів свою ефективність при об’єднанні різних систем, включаючи Copilot, і став доступним для використання на GitHub.

Нагадаємо, IBM прагне підвищити безпеку штучного інтелекту, випустивши Adversarial Robustness Toolbox (ART) як проект з відкритим вихідним кодом на платформі Hugging Face.