15.07.2023 14:36
Список перевірених і відкритих моделей розмовних ШІ в галузі мови
Розмовний штучний інтелект (ШІ) означає такі технології, як віртуальний агент або чат-бот, які використовують великі обсяги даних та обробку природної мови, щоб імітувати людські взаємодії, розпізнавати мову та текст. Останнім часом ландшафт розмовного штучного інтелекту значно змінився, особливо з випуском ChatGPT. Ось кілька інших відкритих великих моделей мови (LLM), які революціонізують розмовний штучний інтелект.
Дата виходу: 24 лютого 2023 року
LLaMa – це базова модель LLM, розроблена компанією Meta AI. Вона створена з метою бути більш універсальною та відповідальною, ніж інші моделі. Випуск LLaMa спрямований на демократизацію доступу до науково-дослідної спільноти та підтримку відповідальних практик штучного інтелекту.
LLaMa доступна у кількох розмірах, з кількістю параметрів від 7 млрд до 65 млрд. Доступ до моделі надаватиметься на індивідуальній основі для промислових дослідних лабораторій, академічних дослідників тощо.
Дата виходу: 8 березня 2023 року
Open Assistant – це проект, розроблений компанією LAION-AI. Завдяки інтенсивному тренуванню на великих обсягах тексту та коду, вона набула здатності виконувати різноманітні завдання, включаючи відповіді на запити, генерацію тексту, переклад мов та створення творчого контенту.
Незважаючи на те, що Open Assistant все ще знаходиться на етапі розробки, вона вже володіє кількома навичками, наприклад, взаємодіє з зовнішніми системами, такими як Google Search, для збору інформації. Крім того, це ініціатива з відкритим кодом, що означає, що кожен може сприяти її розвитку.
Дата виходу: 8 березня 2023 року
Dolly – це модель LLM, яка дотримується інструкцій, розроблена компанією Databricks. Вона навчена на машинному навчанні Databricks, ліцензованому для комерційного використання. Dolly працює на основі моделі Pythia 12B і була навчена на широкому спектрі записів інструкцій/відповідей, загальна кількість яких становить приблизно 15 тисяч. Хоча вона не є передовою, продуктивність Dolly у виконанні інструкцій вражаюче високої якості.
Дата виходу: 13 березня 2023 року
Alpaca – це невелика модель, що дотримується інструкцій, розроблена Стенфордським університетом. Вона базується на моделі LLaMa (7 млрд параметрів) від Meta. Вона призначена для успішного виконання багатьох завдань з дотримання інструкцій, а водночас є простою і економічно доступною для реплікації.
Незважаючи на те, що вона нагадує модель text-davinci-003 від OpenAI, її виробництво значно дешевше (<600 доларів США). Модель є відкритим джерелом і була навчена на наборі даних з 52 000 демонстрацій дотримання інструкцій.
Дата виходу: 3 квітня 2023 року
Лабораторія штучного інтелекту Берклі (BAIR) розробила модель Koala, яка є діалоговою моделлю на основі моделі LLaMa 13B. Вона призначена бути безпечнішою та більш зрозумілою, ніж інші моделі LLM. Koala була спроєктована на безкоштовних доступних даних взаємодії, зосереджуючись на даних, що включають взаємодію з висококваліфікованими закритими моделями.
Koala є корисною для вивчення безпеки та упередженості мовних моделей та розуміння внутрішніх механізмів діалогових мовних моделей. Крім того, Koala є альтернативою з відкритим кодом до ChatGPT, включаючи EasyLM – фреймворк для навчання та уточнення моделей LLM.
Дата виходу: квітень 2023 року
Eleuther AI створила набір авторегресивних мовних моделей під назвою Pythia, які призначені для підтримки наукових досліджень. Pythia складається з 16 різних моделей з кількістю параметрів від 70 млн до 12 млрд. Усі моделі навчаються за допомогою одних і тих самих даних та архітектури, що дозволяє порівнювати їх і вивчати, як вони розвиваються зі збільшенням масштабування.
Дата виходу: 5 квітня 2023 року
Together розробила OpenChatKit, фреймворк розробки відкритого коду для чат-ботів, який має на меті спростити і оптимізувати процес побудови додатків розмовного штучного інтелекту. Чат-бот призначений для проведення розмов та дотримання інструкцій, а також відмінно впорається зі стислими узагальненнями, генерацією таблиць, класифікацією та діалогом.
За допомогою OpenChatKit розробники можуть отримати доступ до потужного фундаменту з відкритим кодом для створення спеціалізованих та загальнопризначених чат-ботів для різних застосувань. Фреймворк побудований на архітектурі GPT-4 і доступний у трьох різних розмірах моделей – 3B, 6B та 12B параметрів – для врахування різноманітних обчислювальних ресурсів та вимог застосування.
Дата виходу: 13 квітня 2023 року
RedPajama – це проект, створений командою з компаній Together, Ontocord.ai, ETH DS3Lab, Stanford CRFM, Hazy Research та MILA Québec AI Institute. Їх мета – розробка передових моделей з відкритим вихідним кодом, починаючи з відтворення набору даних для навчання LLaMA, що містить понад 1,2 трильйона токенів.
Цей проект має на меті створити повністю відкриту, репліковану та передову модель мови з трьома основними складовими: дані переднього навчання, базові моделі та дані та моделі підгонки за інструкціями. Набір даних наразі доступний через Hugging Face, а користувачі мають можливість реплікувати результати за допомогою скриптів Apache 2.0, які доступні на GitHub.
Дата виходу: 19 квітня 2023 року
StableLM – це модель мови з відкритим вихідним кодом, розроблена компанією Stability AI. Модель навчена на експериментальному наборі даних, що в три рази перевершує набір даних The Pile, і успішно виконує завдання розмови та програмування, незважаючи на свій невеликий розмір. Модель доступна з параметрами 3B та 7B, і незабаром будуть доступні ще більші моделі.
StableLM може генерувати як текст, так і код, що робить її придатною для різних застосувань. Крім того, Stability AI також надає серію налаштованих дослідницьких моделей через інструкції, використовуючи комбінацію п’яти сучасних наборів даних з відкритим вихідним кодом, спеціально розроблених для розмовних агентів. Ці налаштовані моделі доступні виключно для досліджень і розповсюджуються під ліцензією CC BY-NC-SA 4.0 для некомерційного використання.
)
)
)
)
)
)
)
)
