Нова модель штучного інтелекту для критики генерацій LLM

Еволюція великих мовних моделей (LLM) наблизила нас до створення зв’язного і контекстуально релевантного тексту, проте залишаються проблеми із забезпеченням точності та достовірності їхніх результатів. Щоб вирішити ці проблеми, потрібні зусилля з оцінювання та покращення якості текстів, створених за допомогою великих мовних моделей. Було досліджено різні підходи до вдосконалення результатів генерації. Деякі методики включають навчальні утиліти для забезпечення зворотного зв’язку на діалогові завдання, тоді як інші використовують підказки для створення комплексних оціночних балів для текстів у різних галузях.

Попередні дослідження здебільшого зосереджувалися на загальному зворотному зв’язку для результатів роботи моделі, а не на детальному аналізі складних завдань, таких як математика та міркування. Однак останні досягнення запровадили новий підхід, коли LLM точно налаштовуються для надання зворотного зв’язку щодо своїх відповідей. У цьому контексті Shepherd від Meta AI Research стає помітним внеском. Розроблений для оцінки результатів, отриманих за допомогою моделей, Shepherd, як і його попередники, прагне запропонувати надійну критику в різних галузях. Основною метою залишається виявлення таких проблем, як точність фактів, логічна послідовність і узгодженість, а також робота над покращенням кінцевого результату.

Інноваційна модель Shepherd, розроблена компанією Meta AI Research, демонструє здатність забезпечувати всебічний зворотний зв’язок природною мовою, що включає глибокі знання предметної області, конкретні пропозиції щодо вдосконалення, а також широкі оцінки та рекомендації. Щоб покращити та оцінити Shepherd, команда створила високоякісний набір даних зворотного зв’язку, що складається з двох окремих наборів: відгуки спільноти, отримані з онлайн-форумів для різноманітних взаємодій, та анотовані людиною дані, зібрані з різних поколінь завдань.

Навчивши Shepherd на комбінації цих наборів даних, модель демонструє чудові результати, перевершуючи моделі ChatGPT на різних завданнях. Примітно, що дані спільноти виявляються більш різноманітними і цінними, ніж анотовані людиною дані, хоча і мають тенденцію до неформальності. Здатність Shepherd надавати зворотній зв’язок у різних завданнях випливає з цих відмінностей. Команда виявила, що точне налаштування моделей за допомогою високоякісних анотованих людиною даних підвищує загальну продуктивність моделі.

Порівнюючи зворотний зв’язок Shepherd з такими передовими системами, як Alpaca, SelFee і ChatGPT, дослідники проводять оцінку як на основі моделей, так і на основі людського фактору. Критика Shepherd постійно затьмарює критику інших моделей. Наприклад, Alpaca має тенденцію доповнювати кожну відповідь моделі, що призводить до неточного зворотного зв’язку, в той час як SelFee може ігнорувати відповіді моделі або обходити стороною надання зворотного зв’язку. ChatGPT демонструє більш послідовну роботу і перевершує їх у наданні зворотного зв’язку з точними судженнями.

Підсумовуючи, Shepherd постає як новаторська модель, здатна надавати ґрунтовну критику контенту, створеного LLM, ефективно підвищуючи його якість. Універсальність моделі демонструється в широкому спектрі генеративних завдань завдяки ретельному аналізу отриманих відгуків. Крім того, створення високоякісного набору даних зворотного зв’язку робить значний внесок у цю галузь, пропонуючи потенціал для майбутніх досліджень.