LLM розвивають власне розуміння реальності разом з покращенням мовних здібностей

Попросіть велику мовну модель (LLM), наприклад GPT-4, описати запах мокрого від дощу кемпінгу, і вона вам поетично розповість про «повітря, наповнене передчуттям» і «запах, одночасно свіжий і земний», хоча сама ніколи не відчувала дощу. Можна подумати, що ШІ просто імітує текст з великої бази даних, а не дійсно розуміє реальність. Але відсутність очей не заважає мовним моделям «розуміти», що лев «більший» за кота. Філософи та науковці давно вважали здатність надавати мові значення ознакою інтелекту, замислюючись над тим, що саме дозволяє нам це робити.

Дослідники з Лабораторії комп’ютерних наук та штучного інтелекту Массачусетського технологічного інституту (CSAIL) виявили цікаві результати, які вказують на те, що мовні моделі можуть розвивати власне розуміння реальності для покращення своїх генеративних здібностей.

Команда створила набір головоломок для робота в змодельованому середовищі та навчила LLM вирішувати їх, але без демонстрації того, як ці рішення насправді працюють. Використовуючи техніку машинного навчання під назвою «зондування», вони зазирнули у «розумовий процес» моделі під час генерації нових рішень. Після навчання на понад 1 мільйоні випадкових головоломок модель спонтанно розробила власну концепцію базової симуляції, хоча ніколи не стикалася з цією реальністю під час навчання. Це ставить під сумнів наші інтуїтивні уявлення про те, які типи інформації необхідні для вивчення лінгвістичних значень, і чи зможуть колись LLM розуміти мову на глибшому рівні.

Аспірант Чарльз Джин з CSAIL зазначив: «На початку мовна модель генерувала випадкові інструкції, які не працювали. Але після завершення навчання вона досягла рівня точності 92,4 відсотка».

Це свідчить, що модель почала розуміти значення всередині мови. З часом LLM навчилися генерувати інструкції, які правильно виконували запитувані дії, що підтверджує розвиток розуміння мови.

Джин порівнює це з розвитком дитини, яка спочатку лепече, а потім починає формувати зв’язні речення. Спостереження показали, що модель розробила власну внутрішню симуляцію того, як робот рухається у відповідь на кожну інструкцію. Це означає, що LLM почав розуміти інструкції, що вказує на можливість розвитку глибшого розуміння.

Мартін Рінард з CSAIL підсумував: «Це дослідження показує, що LLM розвивають внутрішню модель реальності, навіть якщо ніколи не навчалися цього безпосередньо».

Цей експеримент підтверджує, що мовні моделі можуть досягти глибшого розуміння мови, і відкриває нові перспективи для майбутніх досліджень у цій галузі.