OpenAI погрожує забанити користувачів, які досліджують модель «Strawberry»

Останнє сімейство моделей штучного інтелекту «Strawberry» від OpenAI, зокрема моделі o1-preview та o1-mini, привертають увагу не лише своїми можливостями розв’язання проблем, але й тим, наскільки жорстко компанія контролює доступ до внутрішніх механізмів роботи моделі. На відміну від своїх попередників, які переважно використовувалися для завдань загального призначення, моделі o1 призначені для покрокового аналізу проблем перед тим, як надати відповідь. Цей процес міркувань прихований за фільтром ШІ, який забезпечує зручну для користувача інтерпретацію. За задумом, OpenAI приховує від користувачів необроблений ланцюжок міркувань моделі, пропонуючи лише оброблену версію.

Це рішення викликало хвилю цікавості серед ентузіастів ШІ та хакерів, які намагаються обійти захист OpenAI за допомогою джейлбрейку або методів прямого втручання в підказку. З’явилися повідомлення про те, що деякі користувачі змогли отримати доступ до необробленого процесу міркувань, але ці твердження поки що не підтверджені.

OpenAI активно відстежує такі спроби та надсилає попередження з погрозами призупинення акаунтів тим, хто занадто глибоко заглиблюється у внутрішню роботу моделі. Користувачі таких платформ, як X, поділилися розповідями про те, що отримували попередження лише за те, що згадували в розмові з моделлю такі терміни, як «слід міркувань». Ці заходи є частиною ширших зусиль OpenAI, спрямованих на запобігання будь-якому несанкціонованому вивченню або зворотному інжинірингу своїх моделей, що розцінюється компанією як порушення правил компанії.

Попередження особливо розчаровують дослідників з червоних команд, які займаються стрес-тестуванням моделей штучного інтелекту на наявність слабких місць. Марко Фігероа, менеджер програми винагороди за виправлення помилок GenAI від Mozilla, підкреслив своє розчарування обмеженнями OpenAI, заявивши, що попередження перешкоджають його здатності проводити позитивні дослідження безпеки. Він висловив занепокоєння тим, що його занесли до списку заблокованих користувачів OpenAI за його зусилля.

У своєму блозі під назвою «Вчимося міркувати з LLM» OpenAI пояснила причину приховування необроблених ланцюжків міркувань. Компанія зазначила, що хоча процес необроблених міркувань пропонує унікальні можливості для моніторингу – наприклад, виявлення маніпуляцій користувачів, – він також несе в собі ризики. OpenAI стверджувала, що розкриття цих внутрішніх процесів може ускладнити користувацький досвід і дати конкурентам значну перевагу, особливо з огляду на те, що суперницькі компанії раніше використовували результати роботи моделей OpenAI як навчальні дані для своїх власних систем.

Це рішення не сподобалося деяким представникам спільноти дослідників штучного інтелекту. Незалежний дослідник Саймон Віллісон висловив розчарування рішенням OpenAI приховати процес міркувань, зазначивши, що інтерпретованість і прозорість є критично важливими для розробників, які працюють з великими мовними моделями. Він розкритикував підхід OpenAI як крок назад, стверджуючи, що приховування ключових аспектів оцінки підказок знижує здатність спільноти розуміти та вдосконалювати технологію.

Бажання OpenAI зберегти конкурентну перевагу, ймовірно, відіграє значну роль у прийнятті відповідного рішення. Оскільки процес міркувань залишається прихованим, конкуренти не можуть легко повторити інновації, закладені в моделі o1. Хоча OpenAI визнає, що відсутність прозорості може декого розчарувати, компанія стверджує, що намагається збалансувати інновації, безпеку користувачів і зберегти свою перевагу у швидкозмінній індустрії ШІ.

Це перетягування каната між прозорістю і контролем у розробці ШІ демонструє напругу між розвитком технологій і збереженням власних переваг, оскільки такі компанії, як OpenAI, прагнуть захистити свої інвестиції, водночас балансуючи між вимогами відкритості та співпраці зі спільнотою.