Оцінювання навичок великих мовних моделей у виведенні на основі кореляції

Розуміння основних причин подій, так званий причинно-наслідковий висновок, є ключовим аспектом людського інтелекту. Існує два основні шляхи, через які ми набуваємо цієї здатності: один включає в себе експериментальне навчання, наприклад, розуміння того, що дотик до гарячої плити призводить до опіків, на основі здорового глузду; інший використовує чисте причинно-наслідкове міркування, коли ми систематично аналізуємо причину і наслідок, використовуючи встановлені процедури і правила в області причинно-наслідкового висновку.

Нещодавні дослідження характеризують великі мовні моделі (LLM) як «причинно-наслідкових папуг», підкреслюючи їхню схильність до реплікації навчальних даних. Тоді як багато досліджень оцінюють каузальні можливості LLM, розглядаючи їх як сховища знань, акцент на емпіричних знаннях нехтує їхнім потенціалом для формальних причинно-наслідкових міркувань на основі кореляційних даних. Щоб оцінити здатність великих мовних моделей до чистого причинно-наслідкового міркування, дослідники з Університету Макса Планка, Швейцарської вищої технічної школи Цюріха, Мічиганського університету та компанії Meta представили набір даних CORR2CAUSE. Це перший набір даних, спеціально розроблений для визначення того, коли висновок про причинно-наслідковий зв’язок на основі кореляції є правильним, а коли — ні.

При створенні набору даних використовується системний підхід, що ґрунтується на формальній структурі виявлення причинно-наслідкових зв’язків, який об’єднує правила для виведення причинно-наслідкових зв’язків на основі статистичних кореляцій у даних спостережень. На основі набору даних CORR2CAUSE, який містить 200 000 зразків, дослідження відповідає на два основні дослідницькі питання:

• Наскільки ефективно сучасні великі мовні моделі виконують це завдання?
• Чи можна перенавчити або перепрофілювати існуючі LLM для розвитку надійних навичок причинно-наслідкового висновку для цього завдання?

За допомогою масштабних експериментів дослідники емпірично продемонстрували, що жодна з сімнадцяти досліджуваних LLM не досягла успіху в цьому завданні чистого причинно-наслідкового висновку. Вони також показали, що, хоча після доопрацювання LLM можуть демонструвати кращі результати, набутим навичкам каузального висновку бракує надійності.

Щоб пом’якшити потенційні проблеми, пов’язані із законом Гудхарта, дослідники пропонують використовувати цей набір даних для оцінки навичок чистого причинно-наслідкового висновку у LLM, які не стикалися з ним. Визнаючи існуючі обмеження в здібностях міркування LLM і проблему розрізнення справжнього міркування від знань, отриманих з навчальних даних, автори також підкреслюють важливість зусиль спільноти, спрямованих на точне розмежування і вимірювання обох здібностей.