Дослідники IBM представили технологію діалогового керування підказками

Технології штучного інтелекту досягли значних успіхів, у тому числі в галузі обробки природної мови (NLP), а великі мовні моделі (LLM) відіграють ключову роль у таких сферах, як обробка тексту, автоматизована підтримка клієнтів та створення контенту. Ці моделі, призначені для забезпечення інтерпретації та генерування природної мови, мають величезний потенціал. Втім, ефективне використання цього потенціалу залежить від процесу оперативної роботи з моделлю — критично важливого завдання, яке передбачає розробку відповідних інструкцій, що спрямовують моделі на отримання бажаного результату.

Процес моделювання підказок вимагає глибокого розуміння особливостей і специфіки роботи моделей. Цей процес передбачає наявність знань щодо можливостей моделі так само як і тонкощів сприйняття людської мови. Створення ефективних підказок може бути складним завданням, коли бажані результати мають творчий або варіативний вигляд. Цей процес зазвичай займає багато часу й потребує наявності певного досвіду, особливо якщо для формування підказок використовуються марковані набори даних. Отримати такі набори може бути важко, що робить завдання ще складнішим. Як правило, користувачам доводиться вручну створювати початкові підказки й цей процес може бути громіздким та необов’язково приносити оптимальні результати для конкретних завдань. Це є суттєвою завадою для комплексного впровадження LLM, особливо для користувачів, які не мають значного досвіду у створенні підказок.

Традиційні інструменти для створення підказок не відповідають на ці виклики повною мірою. Більшість чинних методів передбачають доступ до маркованих даних, якого бракує багатьом користувачам. Ці інструменти часто працюють у режимі «нульового пострілу» (навчання з нульового пострілу — це техніка машинного навчання, де модель вчиться класифікувати точки даних за категоріями, яких вона не бачила впродовж попереднього тренування), покладаючись на єдину початкову підказку без повторного уточнення на основі зворотного зв’язку з користувачем. Такому підходу бракує гнучкості, і він не пристосований до завдань, що вимагають більш детальних і конкретних результатів. Хоча деякі платформи пропонують можливості для купівлі готових підказок, вони занадто часто вимагають досвіду, якого не вистачає багатьом користувачам. Отже, існує очевидна потреба в більш доступних і зручних інструментах, які можуть допомогти користувачам у створенні ефективних підказок, не вимагаючи глибоких технічних знань або значних людських ресурсів.

Процес діалогового керування підказками розгортається через структурований робочий процес, що складається з кількох ключових етапів. Спочатку система аналізує невеликий набір непідписаних прикладів, наданих користувачем. Цей аналіз генерує запитання, які допомагають з’ясувати вимоги завдання та очікування користувача. Коли користувач відповідає на ці запитання, модель складає початкову підказку, яка потім використовується для генерації результатів. Користувач може деталізувати ці результати за допомогою додаткових взаємодій з моделлю, повторюючи процес знову і знову доти, доки не буде задоволений результатом. Таким чином, користувач отримує підказку, що складається з кількох варіантів відповідей, які є максимально персоналізованими та адаптованими до конкретного завдання. Весь процес розроблений таким чином, щоб бути інтуїтивно зрозумілим та зручним для користувача, що робить його доступним навіть для тих, хто не має великого досвіду у створенні підказок.

Ефективність діалогового керування підказками була продемонстрована в ході дослідження за участю 12 учасників, які працювали з системою над розробкою підказок для підсумкових завдань. В середньому, для створення остаточної підказки знадобилося 32 цикли взаємодії, причому деякі учасники отримували задовільні підказки всього за чотири цикли. У 67% випадків початкову підказку було доопрацьовано за допомогою декількох ітерацій, що підкреслює цінність ітеративного процесу покращення якості остаточної підказки. Кінцеві підказки, створені за допомогою методу діалогового керування підказками, були використані для створення підсумків, які учасники оцінили як високоякісні, висловивши задоволення здатністю діалогових підказок відповідати їхнім конкретним потребам.