Дослідники Microsoft запропонували новий тип імовірнісних графічних моделей

У сфері моделювання невизначеності імовірнісні графічні моделі (Probabilistic Graphical Models, PGM) вже давно слугують цінним інструментом для аналізу даних. Ці моделі забезпечують структуровану основу для представлення взаємозв’язків між різними характеристиками в наборі даних і можуть відображати основні розподіли ймовірностей, які виражають взаємодію між цими характеристиками. PGM є універсальними, підтримуючи такі завдання, як навчання на основі даних, висновки та генерування зразків. Однак вони також мають обмеження, такі як обмеження на типи змінних і складність операцій.

Традиційні PGM ефективні, але дещо негнучкі. Вони часто призначені для роботи виключно з неперервними або категоріальними змінними, що обмежує їхню корисність у роботі зі змішаними типами даних. Крім того, певні обмеження, такі як заборона на використання неперервних змінних як батьків категоріальних змінних у спрямованих ациклічних графах (Directed Acyclic Graphs, DAG), можуть перешкоджати їхній адаптивності. Традиційні графічні моделі також можуть мати труднощі з представленням широкого спектру розподілів ймовірностей, часто надаючи перевагу багатовимірному гаусівському розподілу.

У нещодавній статті, представленій на 17-й Європейській конференції з символічних та кількісних підходів до міркувань в умовах невизначеності (ECSQARU 2023), дослідники Microsoft представили революційне рішення цих проблем: Нейронні графічні моделі (NGM). NGM — це новий тип PGM, який використовує можливості глибоких нейронних мереж для ефективного навчання та представлення функцій ймовірностей у певній області. NGM відрізняє їх здатність долати загальні обмеження, пов’язані з традиційними PGM.

NGM надають універсальну основу для моделювання розподілів ймовірностей, не накладаючи обмежень на типи змінних або розподіли ймовірностей. Це означає, що вони можуть працювати з різними типами вхідних даних, включаючи категоріальні, неперервні, зображення та вставки. Крім того, NGM пропонують ефективні рішення для висновків і вибірки, що робить їх потужним інструментом для імовірнісного моделювання.

Основна концепція NGM полягає у використанні глибоких нейронних мереж для параметризації функцій ймовірності в заданій області. Ці нейронні мережі можна ефективно навчати, оптимізуючи функцію втрат, яка одночасно забезпечує дотримання заданої структури залежності (наданої у вигляді вхідного графа, спрямованого або неспрямованого) і відповідає даним. На відміну від традиційних PGM, NGM не пов’язані загальними обмеженнями і можуть легко працювати з різними типами даних.

Щоб краще зрозуміти NGM, давайте розглянемо їхню продуктивність за допомогою експериментальних перевірок, проведених на реальних і синтетичних наборах даних:

• Дані про дитячу смертність: Дослідники використовували дані центрів з контролю та профілактики захворювань (Centers for Disease Control and Prevention, CDC), зосередившись на змінних вагітності та пологів для живих новонароджених у США, включаючи інформацію про дитячу смертність. Нейронні графічні моделі продемонстрували вражаючу точність висновків, перевершивши логістичну регресію та байєсівські мережі, а також відповідність пояснювальним бустерним машинам (EBM) для категоріальних та порядкових змінних, навіть для рідкісних подій, таких як дитяча смертність.
• Дані синтетичної гауссівської графічної моделі: NGM оцінювали на основі синтетичних даних, отриманих на основі гауссових графічних моделей. Результати продемонстрували здатність NGM адаптуватися до складних структур даних і добре працювати в цьому синтетичному середовищі.
• Дані про рак легенів: Хоча конкретні результати для цього набору даних не були детально описані, він ілюструє застосовність NGM у різних галузях.

Однією з визначних особливостей нейронних графічних моделей є їхня здатність справлятися з ситуаціями, в яких традиційні моделі зазнають труднощів, зокрема, при прогнозуванні малоймовірних подій. Наприклад, NGM відмінно прогнозують причини смерті немовлят, навіть якщо це рідкісне явище. Це підкреслює надійність і потенціал NGM у сферах, де точність прогнозування рідкісних результатів має вирішальне значення.

На закінчення, нейронні графічні моделі (NGM) представляють собою значний прогрес в імовірнісному моделюванні. Поєднуючи гнучкість і виразність глибоких нейронних мереж зі структурними перевагами графічних моделей, NGM пропонують потужне і адаптивне рішення. Вони звільняються від обмежень, які накладають традиційні PGM, дозволяючи фахівцям працювати з більш широким спектром типів і розподілів даних. Завдяки продемонстрованим успіхам у виявленні складних залежностей і точному прогнозуванні рідкісних подій, NGM мають величезні перспективи для вирішення реальних проблем у різних галузях. Дослідники та фахівці з даних заохочуються до вивчення можливостей NGM та використання їхнього потенціалу для покращення імовірнісного моделювання.