ChatGPT вперше склав іспит з неврології

Нове дослідження продемонструвало вражаючі можливості нової великої мовної моделі (LLM) OpenAI — ChatGPT 4.0. В експерименті для підтвердження концепції модель успішно відповіла на 85% запитань на іспиті з клінічної неврології, перевершивши результати людини, що свідчить про значний потенціал її використання у сфері охорони здоров’я.

Опубліковане 7 грудня дослідження показує, як ChatGPT 4.0 перевершив свого попередника, ChatGPT 3.5, який набрав 66,8% на тому ж іспиті. Примітно, що обидві моделі досягли кращих результатів, ніж середній результат людини — 73,8%. Точність у 85%, що еквівалентно 1662 правильним відповідям з 1956 запитань, свідчить про те, що ChatGPT 4.0 може «скласти» іспит з неврології, оскільки 70% зазвичай вважається прохідним балом.

Хоча дослідження підкреслює сильні сторони LLM у відповідях на фактичні питання, воно також визнає їхні обмеження в завданнях, що вимагають мислення вищого порядку. Незважаючи на це, дослідники вважають, що при подальшому вдосконаленні велика мовна модель може відігравати значну роль у клінічній неврології.

Потенційні застосування включають:

• Документування та підтримку прийняття рішень: LLM може допомогти медичним працівникам узагальнювати медичні записи, створювати звіти та пропонувати варіанти лікування.
• Навчання пацієнтів: Велика мовна модель може надати пацієнтам чітку та стислу інформацію про їхні діагнози та плани лікування.
• Дослідження: LLM можуть аналізувати великі масиви медичних даних для виявлення нових стратегій лікування та моделей розвитку захворювань.

Однак дослідники наголошують на необхідності бути обережними при використанні великих мовних моделей на практиці. Вони підкреслюють поточні обмеження моделей у вирішенні когнітивних завдань високого рівня та важливість подальшого розвитку та доопрацювання.

«Ми розглядаємо наше дослідження більше як доказ концепції можливостей великої мовної моделі. Існує ще потреба в розвитку і, можливо, навіть у спеціальному доопрацюванні LLM, щоб вони могли бути належним чином застосовані в клінічній неврології», — підкреслює Доктор Варун Венкатарамані, один з авторів дослідження.

Загалом, це дослідження доповнює зростаючу кількість доказів, що демонструють потенціал LLM в охороні здоров’я. Незважаючи на те, що проблеми залишаються, чудові показники ChatGPT 4.0 на іспиті з клінічної неврології підкреслюють захоплюючі можливості штучного інтелекту в поліпшенні результатів лікування. Оскільки великі мовні моделі продовжують розвиватися, їхній вплив на медичну галузь, безсумнівно, буде значним.