GPT-6-Astra розв’язала 49 із 50 задач з теоретичної фізики

Новий бенчмарк показав, що найсильніші AI-агенти можуть розв’язувати обчислювальні задачі з теоретичної фізики не гірше за провідних фахівців відповідних галузей. Автори дослідження вважають, що для справжніх наукових проривів їм поки бракує «чуття» — розуміння, які питання варто ставити.

35 дослідників зокрема з Міжнародного центру теоретичних наук (ICTS), Гарвардського університету, KU Leuven і Google DeepMind представили TheoPhysEval — бенчмарк із 50 неопублікованих задач з теоретичної фізики, які мають перевірні відповіді. За оцінкою авторів, провідному фахівцеві у відповідній галузі зазвичай знадобиться на розв’язання такої задачі приблизно день або менше, якщо працювати без допомоги ШІ. Дослідникам із суміжних галузей потрібно було б значно більше часу.

Команда перевірила комерційно доступних AI-агентів, не даючи їм підказок від людей. Найкраще показала себе GPT-6-Astra в середовищі для програмування Codex від OpenAI: модель правильно розв’язала 49 із 50 задач — 98%. У середньому це коштувало менш як $3 за задачу, а весь тест — трохи менш як $116.

Бенчмарк перевіряє повсякденну дослідницьку роботу, а не розв’язання головних загадок

У добірці навмисно немає великих відкритих питань. Вона зосереджена на задачах, які автори називають «рутинним застосуванням методу»: дослідник бере відомий підхід і застосовує його до трохи зміненого питання. Учасники часто змінювали кілька значень у розрахунках зі своїх нещодавніх праць, щоб нову відповідь не можна було просто вгадати за попередньою. За словами дослідників, подібні задачі часто дають аспірантам як перший дослідницький проєкт.

Приклад із дослідження чорних дір показує, що навіть такі задачі можуть бути непростими. Для розв’язання треба знайти давнішу наукову працю, перенести її рівняння з п’яти-вимірного простору-часу в чотиривимірний, а потім виконати обчислення за допомогою спеціальної програми. Координатор дослідження Суврат Раджу, співавтор тієї давнішої праці, витратив на задачу приблизно день. Автори припускають, що до появи сучасних агентів лише кілька фахівців поєднували потрібні знання з фізики та досвід таких обчислень. Навіть їм знадобилося б кілька днів.

Задачі охоплюють 11 напрямів теоретичної фізики — від руху рідин і біологічних процесів до фізики частинок і космології. Кожен агент проходив тест двічі: спершу за реалістичних умов із пошуком в інтернеті, а потім ізольовано, без доступу до мережі.

Друге місце посіла Opus 5.5 від Anthropic, запущена в Claude Code, із результатом 92%. Gemini 3.8 Flash від Google набрала 68%, а моделі з відкритими вагами DeepSeek-V4.1-Flash і GLM 5.3 — 54% і 42% відповідно. Слабші моделі подекуди припускалися помилок, які фахівець помітив би відразу. У задачі про чорну діру Gemini та GLM під час пошуку в інтернеті без змін скопіювали формули зі старої праці. Вони стосувалися п’яти вимірів, тоді як потрібно було працювати з чотирма.

Доступ до інтернету несподівано мало вплинув на результати. Без вебпошуку Astra й Opus набрали по 92%. Багато задач спираються на формули з наукових праць, яких моделям зазвичай не надавали. Автори вважають це ознакою того, що провідні мовні моделі фактично запам’ятали значну частину літератури з теоретичної фізики.

З вебпошуком Astra розв’язала всі задачі, крім однієї, яка виявилася складною для кожної моделі. Потрібно було знайти рівняння, що породжує задану криву. Розв’язок експертів спирається на спеціальні математичні форми, які відповідають вимогам до диференціального рівняння лише в ширшому сенсі. Автори визнають, що задача може видатися «несправедливою», але вважають її реалістичною: дослідникам часто доводиться відновлювати фізику явища за неточними даними.

Частина помилок ШІ виявилася недоліками еталонних відповідей

Після додаткових перевірок разом з експертами дослідники виявили в еталонних розв’язках кількох задач невеликі й важкопомітні помилки. Коли їх виправили, відповідь Astra щоразу виявлялася правильною.

Це може пояснити й розбіжність між результатами різних тестів. На TheoPhysEval агенти впоралися краще, ніж на деяких інших бенчмарках з фізики, наприклад CritPt, хоча автори вважають свої задачі в середньому складнішими. Нещодавнє дослідження виявило, що деякі бенчмарки з теоретичної фізики оцінюють неправильно й часом суттєво недооцінюють можливості моделей.

Задачі та налаштування тестування можна завантажити як набір даних на Hugging Face й самостійно перевірити результати.

Чому сильні обчислення ще не принесли проривів у фізиці

Автори пишуть, що деякі найсильніші сучасні моделі, можливо, вже перевершили найкращих дослідників у конкретних обчисленнях — навіть у вузькоспеціалізованих галузях. Вони називають це важливою віхою.

У математиці вплив ШІ помітніший: AI-агенти вже розв’язували важливі відкриті задачі. За даними OpenAI, серед них — проблема Нав’є — Стокса про рівняння, що описують рух рідини, одна з відомих задач тисячоліття. У теоретичній фізиці порівнянного прориву поки не було.

Дослідники пояснюють це тим, що конкретне обчислення з перевірним результатом з’являється лише наприкінці наукового процесу. Спершу потрібно побудувати теорію й поставити їй «правильні» запитання. Якщо задача виявляється надто складною, хороший дослідник переходить до пов’язаної, простішої, але не менш цікавої. Сучасні агенти поки не вміють так робити.

У фізиків є спільне, хоч і далеко не одностайне, розуміння того, що робить задачу цікавою. Схоже, агентам такого «чуття» поки бракує. Коли їх просять придумати нові задачі, вони зосереджуються на деталях, які людина вважала б нудними.

Дослідники наголошують, що ці спостереження не можна кількісно оцінити й вони не є прогнозом розвитку ШІ. На їхню думку, найближчим часом AI-агенти можуть самостійно виконувати дослідження найвищого рівня, але для цього недостатньо лише вміти розв’язувати задачі.

ШІ вже змінює підготовку фізиків і умови конкуренції

Автори вже бачать наслідки для навчання. Ще недавно деякі задачі з бенчмарку могли бути вдалими першими дослідницькими проєктами для молодих науковців. Тепер це вже не доречно, якщо тільки мета прямо не полягає в тому, щоб опрацювати матеріал.

Дослідники також звертають увагу на структурну проблему. Теоретична фізика історично потребувала значно менше фінансування, ніж експериментальні дослідження, що допомагало підтримувати відносну рівність можливостей у цій галузі. Потужні AI-агенти можуть це змінити. Задачі бенчмарку поки дешево розв’язувати: повний прогін Astra коштував близько $116. Однак автори очікують, що для складніших задач потреба в ресурсах різко зростатиме. Тоді бюджет дослідницької групи може сильніше визначати, чого вона здатна досягти, навіть у теоретичній фізиці. Це порушує питання доступу та рівності можливостей у галузі.

У математиці такі дискусії вже тривають, зокрема навколо Лейденської декларації. Автори вважають, що теоретичній фізиці теж варто обговорити ці питання — до того, як ШІ змінить галузь. Принаймні одна школа думки у фізиці досі закликала дослідників «мовчати й обчислювати». Якщо дедалі важливішими стануть чуття й бачення, фізикам, можливо, доведеться натомість «зупинитися й подумати».

Нагадаємо, у дослідженні про розвиток цифрових технологій до 2040 року експерти оцінювали потенційні тенденції та їхній вплив на суспільство.