Мовна модель з відкритим вихідним кодом підвищує європейські можливості багатомовного ШІ

Розробка великих мовних моделей для європейських мов стикається з викликами через менший обсяг даних, ніж для англійської. Технологічні компанії працюють над цим питанням, і нещодавно стартап з Гельсінкі запропонував власне рішення цієї проблеми.

Раніше доступні мовні моделі часто були специфічними для конкретної мови і не могли працювати з мовами з обмеженим обсягом даних. Цим моделям не вистачало здатності відображати унікальні характеристики, культуру та ціннісну базу кожної європейської мови. Усвідомлюючи це обмеження, фінський стартап у галузі штучного інтелекту створив систему з відкритим вихідним кодом під назвою Poro. Poro – це велика мовна модель, яка охоплює всі 24 офіційні мови Європейського Союзу і має на меті відобразити розмаїття європейських мов. Стартап підкреслює важливість цифрового суверенітету для забезпечення того, щоб цінність, яку створюють великі мовні моделі, залишалася в Європі.

Poro вирішує проблему навчання мовних моделей для мов з меншою кількістю доступних даних, таких як фінська. Вона використовує міжмовний підхід до навчання, вивчаючи дані з більш багатих на дані мов, таких як англійська, щоб підвищити продуктивність у мовах з меншим обсягом даних.

Модель Poro 34B має 34,2 мільярда параметрів а також унікальну архітектуру під назвою BLOOM transformer з вбудовуваннями ALiBi і навчається на величезному багатомовному наборі даних, що охоплює різні мови та мови програмування, включаючи Python і Java. Навчання відбувається на одному з найшвидших в Європі суперкомп’ютерів, що забезпечує значну обчислювальну потужність.

Стартап ділиться своїми досягненнями протягом усього процесу навчання на моделі, щоб підкреслити прогрес. Навіть коли навчання завершено на 30%, Poro демонструє найсучасніші результати, перевершуючи існуючі моделі для фінської мови і демонструючи потенціал, щоб відповідати або навіть перевершувати результативність для англійської мови.

Отже, Poro знаменує собою значний прогрес у галузі штучного інтелекту для європейських мов. Він не лише створює потужну мовну модель, але й робить це прозоро, поважаючи розмаїття мов і культур Європи. У разі успіху Poro може стати трансформаційною альтернативою мовним моделям від великих технологічних компаній.