Застосування SAM до медичних 2D-зображень

Сегментація медичних зображень відіграє ключову роль у сфері охорони здоров’я, дозволяючи лікарям точно ідентифікувати і цілеспрямовано впливати на хворі ділянки тіла. Ця точність є життєво важливою для постановки точного діагнозу та ефективного лікування. Крім того, сегментація медичних зображень дозволяє проводити глибокий аналіз морфології, структури та функцій тканин, що сприяє глибшому розумінню різних захворювань.

Однак виклики в цій галузі численні. Медична візуалізація охоплює широкий спектр методів, складні структури органів і тканин, і часто бракує анотованих даних. Багато існуючих підходів до сегментації обмежені за обсягом, зосереджені на конкретних методах, органах або патологіях. Це обмежує їхню застосовність і адаптивність до різних клінічних сценаріїв.

Останні досягнення в галузі штучного інтелекту, особливо такі масштабні моделі, як ChatGPT2, ERNIE Bot 3, DINO, SegGPT і SAM, викликали великий інтерес у спільноті фахівців зі штучного інтелекту. SAM, останнє доповнення до цієї лінійки — це потужна модель зору, яка дозволяє користувачам створювати маски областей, що їх цікавлять, за допомогою інтерактивних даних, таких як кліки, обмежувальні рамки або словесні команди. SAM привернула значну увагу завдяки своїм можливостям роботи з природними фотографіями з нульовим і малою кількістю знімків.

Також докладалися зусилля, щоб використати можливості безпомилкової зйомки в медичній візуалізації. Проте SAM стикається з проблемами при узагальненні мультимодальних і багатооб’єктних наборів медичних даних. Основною перешкодою є значний розрив між природними і медичними зображеннями. Медичні зображення отримують за допомогою спеціальних протоколів, сканерів і способів, що призводить до відмінних характеристик і джерел енергії. Як наслідок, ці зображення значно відрізняються від природних аналогів за інтенсивністю пікселів, кольором, текстурою та розподілом.

Навчання SAM на природних зображеннях становить ще один виклик. Щоб подолати цей розрив, SAM потребує спеціальних знань про медичну візуалізацію, які важко отримати через високу вартість і варіативність якості анотацій до даних. Підготовка медичних даних вимагає знань у цій галузі, а якість даних може сильно відрізнятися в різних установах і клінічних дослідженнях. Як наслідок, обсяг доступних медичних зображень відстає від обсягу природних зображень, як показано на рисунку.

У світлі цих викликів дослідники з Університету Сичуані та Шанхайської лабораторії штучного інтелекту представляють SAM-Med2D — комплексну роботу з адаптації SAM для медичних 2D-зображень. Їх мета — надати еталонні моделі і системи оцінки для спільноти фахівців з аналізу медичних зображень, сприяючи подальшому дослідженню і вдосконаленню в цій критично важливій галузі. Ця ініціатива спрямована на розширення застосування передових моделей штучного інтелекту в медичній візуалізації, що в кінцевому підсумку принесе користь як пацієнтам, так і медичним працівникам.