20.07.2023 15:02
Зустрічайте Lamini AI: революційний движок LLM, що дозволяє розробникам легко навчати мовні моделі на рівні ChatGPT
Викладання LLM з нуля є складним завданням через значний час, необхідний для того, щоб зрозуміти, чому точно налаштовані моделі не працюють; цикли ітерацій для точного налаштування на невеликих наборах даних, як правило, вимірюються місяцями. На противагу цьому, ітерації для швидкого налаштування відбуваються за лічені секунди, але через кілька годин продуктивність вирівнюється. Гігабайти даних у сховищі неможливо втиснути в простір підказки.
Використовуючи лише кілька рядків коду з бібліотеки Lamini, будь-який розробник, не лише досвідчений у машинному навчанні, може навчити високопродуктивні LLM, які не поступаються ChatGPT, на величезних наборах даних. Оптимізації цієї бібліотеки, випущені Lamini.ai, виходять за рамки того, що зараз доступно програмістам, і включають складні методи, такі як RLHF, і прості, такі як пригнічення явищ галюцинацій. Від моделей OpenAI до моделей з відкритим вихідним кодом на HuggingFace, Lamini спрощує виконання різних порівнянь базових моделей за допомогою одного рядка коду.
- Lamini – це бібліотека, яка дозволяє тонко налаштовувати підказки та текстовий вивід.
- Легке налаштування та RLHF за допомогою потужної бібліотеки Lamini
- Це перший генератор даних на хостингу, схвалений для комерційного використання спеціально для створення даних, необхідних для навчання LLM, що слідують за інструкціями.
- Безкоштовний LLM з відкритим вихідним кодом, який може слідувати інструкціям, використовуючи вищезгадане програмне забезпечення з мінімальними зусиллями з програмування.
Розуміння англійської мови базовими моделями є достатнім для споживчих кейсів. Однак, коли ви навчаєте їх жаргону та стандартам вашої галузі, оперативного налаштування не завжди достатньо, і користувачам доведеться розробляти власний LLM.
LLM може впоратись з такими кейсами, як ChatGPT, виконавши такі кроки:
- Використовуйте налаштування підказки ChatGPT або іншу модель замість неї. Команда оптимізувала найкращі можливі підказки для зручності використання. Швидке налаштування підказок між моделями за допомогою API бібліотеки Lamini; перемикання між OpenAI та моделями з відкритим кодом за допомогою одного рядка коду.
- Створюйте велику кількість вхідних-вихідних даних. Вони продемонструють, як він має реагувати на отримані дані, будь то англійською чи JSON. Команда випустила репозиторій з кількома рядками коду, який використовує бібліотеку Lamini для створення 50 тис. точок даних з менш ніж 100. Репозиторій містить загальнодоступний 50-тисячний набір даних.
- Налаштуйте початкову модель, використовуючи ваші обширні дані. На додаток до генератора даних, вони також надають спільний доступ до LLM, налаштованого на Ламіні, навченого на синтетичних даних.
- Пропускаємо точно відрегульовану модель через RLHF. Ламіні усуває потребу в значному штаті фахівців з машинного навчання (ML) і людського маркування (HL) для роботи з RLHF.
- Перенесіть його в хмару. Просто викличте кінцеву точку API у вашому додатку.
Після навчання базової моделі Pythia з 37 тис. створених інструкцій (після фільтрації 70 тис.), вони випустили LLM з відкритим вихідним кодом, що слідує за інструкціями. Lamini дає всі переваги RLHF і точного налаштування без зайвого клопоту, пов’язаного з першим. Незабаром він буде відповідати за всю процедуру.
Команда в захваті від можливості спростити процес навчання для інженерних команд і значно підвищити продуктивність LLM. Вони сподіваються, що більше людей зможуть конструювати ці моделі без допомоги підказок, якщо цикли ітерацій можна буде зробити швидшими та ефективнішими.
)
)
)
)
)
)
)
)
