Нова медична LLM, PathChat 2, може обговорювати пухлини та пропонувати діагнози

Уявіть собі помічника зі штучним інтелектом, який не лише аналізує медичні зображення, але й спілкується з лікарем, як з колегою. Це обіцяє PathChat, революційний штучний інтелект, спеціально розроблений для світу патології.

Розроблений дослідниками з Жіночої лікарні Брігама, PathChat, на відміну від своїх попередників, навчених для виконання специфічних завдань, володіє «загальним патологічним інтелектом». Це дозволяє йому розуміти широкий спектр медичних зображень і вступати в дискусії з патологами, пропонуючи ідеї та допомагаючи в постановці діагнозу.

PathChat поєднує розпізнавання зображень з глибоким розумінням медичної термінології. Він може аналізувати рентгенівські знімки, біопсії та інші результати аналізів, а потім обговорювати висновки з лікарем. Це включає узагальнення і класифікацію зображень, визначення важливих деталей і відповіді на питання, які вимагають міцної основи в патології.

Дослідники порівнювали PathChat з провідними моделями штучного інтелекту, такими як GPT-4V і LLaVA-Med. У всіх випадках PathChat виходив переможцем, особливо коли поряд із зображеннями надавався додатковий клінічний контекст. Наприклад, PathChat зміг точно ідентифікувати пухлину легень на рентгенівському знімку грудної клітки, в той час, як інші моделі давали хибні результати. Отримавши складне зображення пухлини печінки, PathChat не лише діагностував її як метастатичну, але й пояснив причину цього, виділивши конкретні типи клітин.

PathChat має потенціал для трансформації діагностики в декількох напрямках. Він може підтримувати підхід до діагностики «людина в циклі», коли ШІ проводить первинну оцінку, після чого проводиться огляд і обговорення з лікарем для отримання більш повної картини. Крім того, PathChat може запропонувати незамінну допомогу в умовах обмеженого доступу до послуг лікарів. PathChat може аналізувати великі масиви даних зображень, узагальнюючи особливості та допомагаючи дослідницьким зусиллям.

Хоча PathChat є суттєвим досягненням, дослідники визнають, що є сфери, які потребують вдосконалення. Вони прагнуть вирішити такі проблеми, як галюцинації, вдосконалюючи модель за допомогою зворотного зв’язку з людиною, щоб забезпечити точність. Крім того, вони планують постійно оновлювати базу знань PathChat найновішою медичною інформацією. В перспективі планується безперешкодна інтеграція з медичними системами даних, що ще більше спростить робочий процес.

Можливості PathChat виходять за рамки суто діагностики та потенційно можуть застосовуватися в інших медичних галузях і типах даних, таких як геноміка і протеоміка. Цей новий асистент зі штучним інтелектом може значно підвищити ефективність і точність діагностики, що в кінцевому підсумку призведе до поліпшення якості обслуговування пацієнтів.