Anthropic створила демократичного чат-бота зі штучним інтелектом, дозволивши користувачам голосувати за його цінності

Компанія Anthropic розробила першу у своєму роді велику мовну модель (LLM), яка була налаштована з урахуванням оціночних суджень спільноти її користувачів. Цей експеримент може мати важливі наслідки для майбутнього штучного інтелекту.

Багато публічних LLM розроблені із захисними засобами, які обмежують небажані результати. Однак ці запобіжники можуть слугувати для позбавлення користувачів свободи дій. Наприклад, модель ChatGPT від OpenAI може бути заблокована, якщо вона створить відповідь, яка містить насильство або дискримінацію.

Anthropic вирішила дозволити користувачам диктувати ціннісні орієнтири для своєї LLM. Для цього компанія провела опитування 1000 користувачів різних демографічних груп.

У опитуванні користувачі відповідали на запитання про те, які цінності вони вважають важливими для LLM. Ці відповіді були використані для створення «конституції» для LLM, яка визначає правила, яким вона повинна дотримуватися.

Наприклад, користувачі могли голосувати за те, чи повинна LLM генерувати текст, який є точним, об’єктивним і неупередженим. Вони також могли голосувати за те, чи повинна LLM генерувати текст, який є творчим, цікавим і захоплюючим.

Результати експерименту виявилися науковим успіхом. Модель, налаштована на основі цінностей користувачів, «трохи» перевершила базову модель в області упереджених результатів.

Anthropic вважає, що цей експеримент є важливим кроком у напрямку створення більш демократичних і справедливих LLM. Це дозволяє користувачам визначати цінності, які будуть керувати поведінкою LLM. Це може допомогти впоратися з проблемами, пов’язаними з упередженістю і шкідливим контентом у LLM.

Однак експеримент Anthropic також має деякі обмеження. По-перше, він був проведений на невеликому зразку користувачів. По-друге, він був обмежений певним набором цінностей.

Для того, щоб зробити цей підхід більш масштабним і всеосяжним, необхідні подальші дослідження. Однак експеримент Anthropic показує, що демократизація LLM є можливою і може мати значний вплив на майбутнє штучного інтелекту.

Нагадаємо, наприкінці вересня Amazon погодився інвестувати до 4 мільярдів доларів у Anthropic.