BTC$29880

ETH$3666

Шукати

Дослідники Microsoft представили Aurora

Фундаментальні моделі глибокого навчання створили нову реальність завдяки використанню попереднього навчання на різноманітних даних для вивчення складних закономірностей і точного налаштування для виконання конкретних завдань з обмеженими даними, таких як прогнозування структури білків, створення ліків, комп’ютерний зір та обробка природної мови. Моделювання системи Землі, яка складається з взаємопов’язаних підсистем, таких як атмосфера, океани, суша і лід, також може отримати вигоду від цих передових методів ШІ, особливо в контексті зміни клімату.

Динаміка атмосфери багата на дані, що дозволяє використовувати її для попереднього навчання базових моделей. Традиційні моделі чисельного прогнозування погоди (NWP) часто є дорогими і неефективними при роботі з великими наборами даних. На відміну від них, сучасні методи глибокого навчання є більш економічно ефективними і гнучкими, добре справляються з конкретними завданнями прогнозування на основі великих обсягів даних. Однак ці методи не можуть впоратися з обмеженими або неоднорідними даними та є недостатньо надійними у прогнозуванні екстремальних подій. Завдяки використанню узагальнюючих репрезентацій на основі різноманітних даних, фундаментальні моделі потенційно можуть подолати ці проблеми, про що свідчить їхній успіх в інших галузях.

Дослідники з Microsoft Research AI for Science, Microsoft Corporation, JKU Linz, Кембриджського університету, Poly Corporation та Амстердамського університету представили Aurora, фундаментальну модель для атмосферного прогнозування. Aurora може прогнозувати різні атмосферні умови, в тому числі з обмеженою кількістю даних, неоднорідними змінними та екстремальними подіями. Вона надає оперативні прогнози глобального забруднення повітря та погодних умов з високою роздільною здатністю, перевершуючи найсучасніші інструменти моделювання зі значно меншими обчислювальними витратами.

Aurora — це фундаментальна модель з 1,3 мільярдами параметрів для прогнозування погоди та атмосферних процесів з високою роздільною здатністю. Платформа Aurora являє собою гнучкий 3D Swin-трансформер з кодерними та декодерними системами на базі 3D Perceiver. Під час попереднього навчання Aurora оптимізується для мінімізації втрат L на декількох гетерогенних наборах даних з різною роздільною здатністю, змінними та рівнями тиску. Потім модель допрацьовується у два етапи: перший етап полягає в точному налаштуванні попередньо підготовлених вагових коефіцієнтів, другий етап передбачає тривале налаштування (розгортання) з використанням адаптації низького рангу (LoRA). Настроєні моделі розгортаються для вирішення різноманітних сценаріїв оперативного прогнозування з різною роздільною здатністю. Джерело

Aurora є гнучкою 3D-фундаментальною моделлю атмосфери, яка вбирає і прогнозує різні поверхневі та метеорологічні змінні за різних рівнів тиску, роздільної здатності та точності. Вона складається з кодувального модуля для стандартизації вхідних даних, процесора Vision Transformer для еволюції зображень у часі та дешифратора для перетворення цих зображень у конкретні прогнози. Aurora попередньо навчена на різноманітних наборах даних, таких як ERA5, CMCC, IFS-HR, HRES Прогнози, GFS Аналіз і GFS Прогнози, з метою мінімізації середньої абсолютної похибки наступного кроку.

Aurora тісно конкурує зі Службою моніторингу атмосфери Copernicus (CAMS), виконуючи в межах 20% RMSE для 95% цілей і відповідаючи або перевершуючи CAMS для 74% цілей. Він відповідає або перевершує CAMS для 86% змінних, але поступається за показниками озону у верхніх шарах атмосфери та короткостроковими прогнозами в нижніх шарах атмосфери, на які впливають антропогенні фактори. На прикладі сильної піщаної бурі в Іраку 13 червня 2023 року Aurora успішно передбачила цю подію за добу до її початку, продемонструвавши свою ефективність у прогнозуванні екстремальних погодних умов.

Aurora стала справжнім проривом у прогнозуванні навколишнього середовища завдяки використанню базових моделей штучного інтелекту для вилучення інформації з обширних даних про атмосферу та системи Землі. Вона підвищує точність, роздільну здатність і адаптивність прогнозів, демонструючи потенціал ШІ для поліпшення оперативного прогнозування погоди та суміжних галузей. Постійні інвестиції в дослідження в галузі штучного інтелекту мають вирішальне значення для вирішення складних завдань моделювання складних систем Землі. Майбутні вдосконалення Aurora включають розробку ймовірнісних прогнозів, включення локальних наборів даних з високою роздільною здатністю, оптимізацію обчислювальної інфраструктури, підвищення надійності та верифікації моделей, що в кінцевому підсумку може замінити традиційні системи прогнозування погоди.