Huawei представила нове рішення для зберігання даних ШІ, яке може прискорити навчання моделей

Компанія Huawei представила нову модель сховища даних для штучного інтелекту (ШІ) OceanStor A310, яка, за даними компанії, може прискорити навчання моделей ШІ до чотирьох разів порівняно з конкурентами.

OceanStor A310 розроблена для епохи великих моделей ШІ. Вона має на меті забезпечити рішення для зберігання даних для базового навчання моделей, навчання галузевих моделей і висновків у сегментованих сценарних моделях.

Однією з ключових особливостей OceanStor A310 є її здатність швидко передавати дані на графічні процесори. Це досягається завдяки методології Magnum GPU Direct від Nvidia, в якій дані надсилаються безпосередньо зі сховища NVMe на графічні процесори без участі хост-системи зберігання даних.

OceanStor A310 від Huawei продемонструвала продуктивність до 400 Гбіт/с при послідовному читанні та 208 Гбіт/с при записі.

Huawei також заявила, що OceanStor A310 розроблена як рішення для зберігання даних для глибокого навчання. Це потенційно пропонує необмежену горизонтальну масштабованість і високу продуктивність для змішаних робочих навантажень.

«Ми знаємо, що для додатків ШІ найбільшим викликом є підвищення ефективності навчання моделей ШІ», — сказала Еванджелін Ван, директор з управління продуктами та маркетингу Huawei. «Це вимагає від системи зберігання даних найкращої продуктивності».

Щоб вирішити цю проблему, кожен OceanStor може підтримувати до 96 твердотільних накопичувачів NVMe, процесорів і кеш-пам’яті. Користувачі можуть об’єднати в кластер до 4096 систем A310, спільно використовуючи глобальну файлову систему, яка підтримує стандартні протоколи для додатків. OceanStor A310 має на меті мінімізувати час передачі даних завдяки мережевим картам SmartNIC та масивній паралельній конструкції.

«Huawei A310 з його невеликими вузлами виявився найшвидшим в цілому як при послідовному читанні, так і при записі, з пропускною здатністю 41,6/80 Гбіт/с при послідовному записі/читанні проти 30/63 Гбіт/с у IBM», — зазначили в Block & Files.

Block and Files провели порівняльне дослідження, в якому порівняли рішення Huawei з його прямими конкурентами.

Презентація OceanStor A310 відбувається в той час, коли індустрія штучного інтелекту шукає ефективні рішення для зберігання та обробки даних. Зусилля Huawei спрямовані на розв’язання поточних проблем і можуть сприяти досягненню спрощеного навчання ШІ-моделей.

Нагадаємо, нещодавно Китай ухвалив проєкт правил, які обмежать використання даних, які підлягають цензурі, для навчання генеративних моделей ШІ.