АІ Sakana відкриває нові архітектури для генеративних моделей

Японський стартап Sakana AI, що базується в Токіо, розробив нову методику під назвою Evolutionary Model Merge для автоматичного створення генеративних моделей. Цей підхід натхненний природним відбором і полягає в об’єднанні частин існуючих моделей для створення більш ефективних.

Співзасновники Sakana AI, серед яких відомі дослідники в галузі штучного інтелекту Девід Ха та Лев Джонс, представили цю методику в серпні 2023 року. Девід Ха — колишній дослідник Google Brain, а Лев Джонс відомий своїм внеском в архітектуру трансформерів — ключову розробку в галузі генеративного ШІ.

Техніка еволюційного злиття моделей дозволяє розробникам і організаціям створювати і досліджувати нові моделі швидко, ефективно і без зайвих витрат. Вона усуває необхідність тренування і доопрацювання моделей з нуля, використовуючи колективний потенціал існуючих відкритих моделей.

Sakana AI застосувала цю методику для створення великої мовної моделі (LLM) та моделі мови зору (VLM). Ці моделі розроблені для задоволення конкретних можливостей, визначених користувачем, демонструючи універсальність та адаптивність Evolutionary Model Merge.

У своїх експериментах дослідники протестували підхід еволюційного об’єднання моделей, використовуючи японську модель великої мови, здатну до математичних міркувань, і японську модель мови бачення. Отримані моделі досягли найсучасніших показників у різних тестах без явної оптимізації для цих завдань.

Наприклад, японська математична LLM досягла вражаючих результатів на тестах з великими мовними моделями, перевершивши деякі 70-мільярдно-параметричні моделі. Аналогічно, японська VLM перевершила існуючі моделі, продемонструвавши ефективність методу еволюційного злиття моделей у створенні високопродуктивних моделей.

Бачення Sakana AI полягає в тому, щоб використовувати натхненні природою концепції, такі як еволюція і колективний інтелект, для створення різноманітної екосистеми спеціалізованих систем штучного інтелекту. На думку Sakana AI, майбутнє ШІ не в одній масивній системі, а в мережі спеціалізованих систем штучного інтелекту, які взаємодіють і доповнюють одна одну, щоб ефективно вирішувати конкретні завдання і проблеми.