Чому важливі моделі ШІ з відкритими вагами

Відкриті ваги створюють нові виклики для архітекторів чипів: робочі навантаження швидко змінюються й випробовують можливості пам’яті, міжкомпонентного з’єднання та обчислювальну гнучкість.

Максимальна кількість TOPS уже не є єдиним критерієм. Важливо, як подавати дані моделям, що потребують багато пам’яті, як забезпечити стабільну продуктивність під час виведення в умовах довгого контексту та за участю багатьох агентів, а також як пристосуватися до нових числових форматів і розріджених обчислень. До цього додається ізоляція моделей, даних та інструментів як частина системи безпеки. Архітектура моделей може змінюватися за лічені тижні, тоді як розробка мікросхем займає роки. Тому перевагу матимуть адаптивні апаратно-програмні платформи, а не прискорювачі, оптимізовані під тест, який може застаріти ще до завершення проектування.

Для наукових проривів із використанням ШІ не обов’язково потрібні величезні дата-центри. Науковим завданням потрібна інша інфраструктура, ніж споживчим платформам ШІ, що обслуговують мільйони користувачів. Відкриті моделі, навчені параметри яких доступні публічно, можна запускати локально. Це потенційно розширює доступ до ШІ, допомагає ефективніше використовувати обчислювальні ресурси й підтримує незалежні дослідження.

Відкриті ваги також порушують питання контролю, вартості та того, хто може розвивати технології ШІ.

Шарад Чоле, головний науковець і співзасновник Expedera, зазначив, що публікація ваг може зменшити залежність від одного постачальника: користувачі можуть самостійно розмістити модель або вибрати постачальника послуг.

«Якщо ви хочете скористатися сервісом чи розмістити модель самостійно, ви не прив’язані до постачальника, який генерує для вас наступний токен або обробляє наступний запит. Але є геополітичний та інвестиційний аспекти. Також є рух за відкрите апаратне забезпечення — наприклад, те, що роблять Meta та інші, щоб дати змогу конкурувати різним постачальникам рішень. Станом на вересень 2026 року найбільші моделі з відкритими вагами походять переважно з-поза США — з Європи або Азії, а ми рухаємося до моделей із трильйоном параметрів», — зазначив Шарад Чоле.

За словами Гійома Буає, віце-президента з питань стратегічного маркетингу компанії Arteris, моделі з відкритими вагами дають змогу користувачам завантажувати навчальні параметри, що дозволяє їм запускати та адаптувати їх на власному обладнанні, а не покладатися на API провайдера.

«Це не обов’язково програмне забезпечення з відкритим кодом: навчальні дані, код і права на використання можуть залишатися обмеженими», — пояснив Гійом Бує.

«У той час як у відкритих моделях штучного інтелекту публікуються налаштовані параметри, у моделях з відкритим кодом публікується повний алгоритм, а в закритих моделях не публікується ані те, ані інше», — зазначив Ашіш Дарбарі, генеральний директор компанії Axiomise.

До відомих моделей із відкритими вагами належать Meta Llama, Alibaba Qwen, DeepSeek, Mistral, Google Gemma, Microsoft Phi та сімейство gpt-oss від OpenAI. За даними OpenAI, gpt-oss-120b працює на одному графічному процесорі з 80 ГБ пам’яті, а gpt-oss-20b можна запускати на пристроях із 16 ГБ. Обидві моделі використовують квантування MXFP4.

«Ці характеристики демонструють, що варіантів розгортання стає більше, але сама лише відповідність обсягу пам’яті не гарантує корисної продуктивності», — зазначив Дарбарі.

Деякі американські компанії розробляють менші моделі за допомогою дистиляції знань від більших моделей-учителів, але методи різняться. Малі моделі також можуть навчатися окремо або створюватися поєднанням різних підходів. Масштабне попереднє навчання потребує значних обчислювальних ресурсів, а дистиляція та подальше навчання є важливими етапами розробки моделі.

Чоле сказав, що найбільші моделі й далі рухаються до трильйонів параметрів, тоді як моделі для пристроїв і локального ШІ часто зменшують за допомогою дистиляції. Він навів приклад дистиляції 400-мільярдної DeepSeek-C у модель Qwen на 8 мільярдів параметрів і наголосив, що сама дистиляція — не новий метод. Головне в тому, що тепер користувачі мають широкий вибір моделей за розміром, можливостями й способом розгортання. Найбільша модель не обов’язково найкраща для кожного завдання.

«Не варто очікувати, що раптом з’являться моделі на 100 мільярдів параметрів, які поб’ють усі рекорди бенчмарків», — пояснив Чоле.

За словами Чоле, на Hugging Face, яку називають «GitHub для моделей ШІ», за останні два роки великі компанії випустили приблизно 250 моделей із відкритими вагами. У цій кількості не враховано квантизовані версії та моделі від менших компаній.

Великий вибір ще не означає готовності до практичного використання. Щоб перетворити каталог моделей на корисні інструменти для проєктування, командам EDA потрібні надійні галузеві дані, контекст робочих процесів і сувора перевірка результатів.

Від універсальних моделей до робочих процесів EDA

Універсальні великі мовні моделі — комерційні чи з відкритим кодом — не призначені для завдань проєктування чипів, сказав Томас Андерсен, віцепрезидент із ШІ та машинного навчання Synopsys.

«Багато з них добре справляються зі звичними завданнями: створюють презентації, підсумовують матеріали, пишуть код — адже коду у відкритому доступі багато. Ці можливості дуже добре оптимізовані. Але такі моделі не обов’язково підходять для розробки апаратного забезпечення, навіть для написання RTL: відкритого RTL набагато менше, ніж програмного коду. Тому і постачальники EDA, і клієнти мають додавати власні дані, які, очевидно, є пропрієтарними. У цьому й різниця з моделями, навченими на публічних знаннях. Дані можна додавати до або після навчання, не лише змінюючи ваги, і це важливо. Інакше система просто не працює. Це як запитати щось у чатбота: він не завжди відповість правильно, бо має суперечливі дані, шукає в інтернеті, де люди пишуть різне. Що вважати достовірною відповіддю?», — пояснив Андерсен.

Точність результату залежить і від запиту, і від якості вихідних даних.

«Вихідні дані мають бути дуже чіткими й точними. В інтернеті таких даних немає. Зайдіть на Reddit — на те саме запитання люди дадуть п’ять різних відповідей. Це і стає проблемою для мовної моделі. Нам потрібні справді точні дані. У корпоративному середовищі ситуація інша: процеси та інструменти задокументовані значно краще, тому працювати легше. Без цього рішення не буде. Водночас базове навчання звичайних моделей абсолютно необхідне», — додав Андерсен.

Водночас моделі з відкритими вагами матимуть застосування в проєктуванні чипів.

«Модель із відкритими вагами — це мовна модель, ваги якої можна навчати. Агентний підхід — це цикл навколо мовної моделі, який виконує певні завдання, тобто засіб досягнення мети. Є різні способи навчати модель — радше налаштовувати правильність відповіді, а не додавати самі дані. Дані можна додавати іншими способами. Коли у вас є мовна модель, яка знає все так, як знає людина, агентний цикл дає змогу оптимізувати робочий процес і виконувати послідовність завдань так, як це зробила б людина, а не просто отримувати відповідь на один запит», — пояснив Андерсен.

Таке розмежування між моделлю та робочим процесом, що її оточує, безпосередньо призводить до практичного питання щодо впровадження: як командам з автоматизації електронного проектування слід розподіляти кожне завдання між відповідними моделями, дотримуючись при цьому балансу між функціональними можливостями, витратами та контролем?

Анкур Гупта, виконавчий віцепрезидент і керівник напряму програмного забезпечення EDA IC у Siemens EDA, зазначив, що і великі, і малі компанії, чутливі до витрат, прагнуть оптимізувати використання моделей.

«Вони готові платити за найкращу комерційну модель, якщо вона відповідає завданню, щоб провідні архітектори могли розв’язувати найскладніші проблеми. Це називається маршрутизацією моделей. Відкриті моделі корисні й ефективні, компанії EDA експериментують із ними — і ми також. Багато наших розробників активно їх використовують, бо не потрібно платити великі суми за кожне завдання. Я бачу це й у клієнтів: вони обмежили доступ до найпотужніших моделей і налаштовують внутрішню маршрутизацію. Ми цього не робили», — пояснив він.

Гупта пропонує уявити айсберг.

«Над поверхнею — графічні процесори, витрати, токени й усе, що відстежують на панелі керівника з інформаційних технологій. Це нікуди не зникло. Але не менш важливо те, що під водою: з’єднання кремнію із системою та інфраструктурою. Там є втрати, і їхню вартість потрібно компенсувати. Хтось знайде спосіб зробити вартість токена прийнятною — так само, як напівпровідникова галузь вбудовувала функціональність і здешевлювала її. Це лише питання часу», — додав Гупта.

Стівен Ву, дослідник і винахідник Rambus, вважає моделі з відкритими вагами корисними для розробників чипів.

«Якщо подивитися на успішні приклади, як-от чип Jalapeno від OpenAI, створений із використанням власних інструментів, видно, як невелика команда може діяти гнучкіше й швидше виконувати більше ітерацій. Спроєктувати чип за дев’ять місяців і отримати робочий результат із першої спроби — неймовірно. Ми знаємо, що робота в цій галузі триває, а інструменти стають кращими», — зазначив Ву.

Водночас компаніям потрібно контролювати дані, які відрізняють їх від конкурентів.

«Спершу, коли доступ до цих інструментів був лише через веб, не існувало приватних ізольованих середовищ, де компанія могла б гарантувати збереження даних. Тому багато компаній не хотіли дозволяти працівникам користуватися технологією. Галузь почула ці побоювання й створила ізольовані середовища, де можна бути впевненим, що інформація не витече. Загальні принципи проєктування чипа — наприклад, написання RTL для певних функцій чи виконання трасування та розміщення елементів — описані в багатьох доступних прикладах, на яких можна навчати мовні моделі або інші системи ШІ. Але різні галузі й компанії мають власні способи розв’язання проблем. Їх не можна розкривати, бо це комерційна таємниця. Постає питання: як узяти моделі, навчені на загальних даних, і точно налаштувати їх для моїх завдань і потреб клієнтів, не виводячи дані за межі ізольованого середовища? Сподіваюся, це питання буде розв’язане», — додав Ву.

Моделі з відкритими вагами можуть допомогти контролювати витрати й у робочих процесах EDA.

«Вартість має велике значення, і ми хочемо, щоб клієнти платили нам, а не постачальникам ШІ. Відкриті моделі допоможуть утримувати витрати під контролем. Таку модель можна розмістити на машині й не виводити її за межі мережі. Якщо ж користуватися, наприклад, Claude Opus — закритою пропрієтарною моделлю Anthropic, — доведеться виходити за межі мережі. Деякі клієнти, особливо, можливо, оборонні, дуже чутливі до своїх даних і хочуть використовувати агентний ШІ, не залишаючи власної системи. Такому клієнту потрібен Openlayer — платформа для оцінювання, спостереження та керування корпоративним ШІ. Інша проблема в тому, що відкриті моделі можуть працювати гірше. Вони стають кращими, і деякі з них, на мою думку, вже досить добрі. Але поки відстають. Тому додаткове навчання відкритих моделей може стати суттєвим поліпшенням, і ми активно працюємо в цьому напрямі», — сказав Чак Алперт, фахівець із ШІ в Cadence.

Один із ключових кроків — чітко визначити завдання.

«У проєктуванні чипів є масштабна багатофізична складова, яку зводять до математичної моделі. Вона може містити 100 000 рядків транзисторної моделі. Після цього все зводиться до множення матриць. Не знаю коли і як, але, ймовірно, з’явиться один із нових стартапів, що створюватиме спеціалізовані моделі для напівпровідникової галузі. Можливо, спочатку відкриють старіші моделі, навчені для технології 180 нм, щоб на їхній основі можна було проєктувати чипи, не розкриваючи моделі для передовіших норм чи архітектур. Можливо, на нас чекає сюрприз від Google, Microsoft або Meta. Чому б їм не відкрити ваги своїх моделей для проектування інтегральних схем, якщо вони вже використовують такі моделі всередині компаній?», — сказав Мо Фейсал, генеральний директор Movellus.

Це змінює питання: йдеться вже не лише про те, чи здатні відкриті моделі використовуватися в автоматизації електронного проектування, а й про те, як бізнес-модель визначає місце їх розгортання та потрібне для цього обладнання.

Чим відрізняються відкриті й закриті моделі

Відкриті й закриті моделі можуть мати схожу базову архітектуру.

«Архітектури однакові: ті самі блоки трансформера, механізми уваги й методи квантування. Архітектор чипа не зміг би розрізнити їх за графом обчислень. Різниця цілком у бізнес-моделі: один постачальник публікує параметри для завантаження, інший продає доступ за токен», — сказав Стів Родді, директор із маркетингу Quadric.

Саме ця різниця впливає на вибір способу розгортання.

«Технічно підготовлені користувачі — здебільшого інженери — завантажують і запускають на власному обладнанні малі та середні відкриті моделі. Головна причина — вартість. Дехто запускає їх локально, щоб зберігати приватність запитів. Це важливо в регульованих галузях, але сьогодні основний чинник — економіка токенів», — сказав Родді.

Родді очікує, що постачальники закритих моделей спробують залучити цей локальний обсяг запитів.

«Не здивуюся, якщо великі приватні компанії організують розділене розгортання: модель середнього розміру працюватиме на обладнанні користувача, а велика хмарна модель оброблятиме те, із чим локальна не впоралася. Великі компанії не хочуть, щоб чужий постачальник або модель, запущена локально, стали точкою входу до їхньої платної хмарної моделі. Економічний стимул очевидний: пропонувати значно дешевші, а можливо, й безплатні токени для запитів, які користувач обробляє на власному комп’ютері та за рахунок власної електроенергії, і суттєво зменшити витрати на оренду дата-центрів. Коли Сем Альтман у дописі в соцмережі у квітні 2025 року зазначив, що користувачі витрачають десятки мільйонів доларів на повідомлення “дякую”, тиск на перенесення інференсу на периферію стає очевидним», — зазначив Родді.

Це створює тиск на локальні пристрої: вони мають запускати більші моделі або їхні частини, розділені на менші моделі.

«Ми не встигаємо будувати дата-центри потрібними темпами, і не встигатимемо. Але в кожен дім і офіс можна поставити пристрій розміром із побутовий прилад. Так з’являється нова категорія обчислювальних систем — агентний комп’ютер, спроєктований насамперед для запуску моделей ШІ, а не для того, щоб додати ШІ до телефона чи ПК, створених для інших завдань. Сьогоднішні пристрої сприймають інференс як додаткове навантаження. Наступне покоління зробить його основним. Архітекторам чипів варто запитувати не “Як додати NPU до SoC?”, а “Якою має бути система, якщо головне її завдання — запускати моделі?”. Важливі пропускна здатність і обсяг пам’яті, а не TOPS; стабільна продуктивність, а не короткочасні результати бенчмарків; тепловий режим для безперервного, а не періодичного навантаження. І програмний стек, здатний підтримувати нову архітектуру моделі кожні кілька місяців без необхідності оновлення мікросхем.», — сказав Родді.

Проблема також у невідповідності циклів розробки чипів і моделей.

«Якщо проєктувати чип під конкретну модель, треба пам’ятати, що моделі змінюються щотижня або щонайбільше щомісяця, а цикл розробки чипа навіть у найкращому разі триває 2,5 року. Важко передбачити, як працюватиме чип упродовж такого часу. Водночас чипи, виготовлені у 2019 році, досі корисні: тепер обмеженням можуть бути обчислювальні ресурси. Тому модель, випущена сьогодні, може бути корисною для певних застосувань, навіть якщо за два роки з’являться ще десять моделей», — сказав Вішал Чандрасекаран, директор із продуктового менеджменту Ayar Labs.

Через цю невідповідність адаптивність стає головною вимогою до системи. Вона також визначає практичні питання, на які архітекторам чипів потрібно відповісти до вибору платформи для ШІ з відкритими вагами.

Розробники мікросхем повинні розуміти, що ваги є загальнодоступними, тому ними може скористатися будь-хто.

«Разом із вагами надають перелік завдань і набір даних, на якому навчали модель. Тож будь-хто може відтворити її. Мета моделей із відкритими вагами — дати базову модель, яку можна налаштувати під свої потреби. Продуктивність і вартість залежать від конкретної моделі. Дехто вважає, що відкриті моделі працюють гірше й коштують менше, але це не так. Якщо подивитися на новітню відкриту модель GLM 5.3, її показники досить добрі — у діапазоні 70–80%, але й вартість висока. Відкриті ваги не означають автоматично найнижчу продуктивність і найнижчу ціну. Усе залежить від моделі. Вона може стати доброю основою для налаштування та створення робочого процесу, який дасть потрібний результат. Також треба вирішити, як інтегрувати модель у свою інфраструктуру», — зазначив Солейман Рахім, директор із продуктів ChipAgents.

Залежно від вимог безпеки та того, чи готова компанія ділитися даними зі своїм постачальником послуг, модель можна розгорнути локально або в хмарному середовищі, наприклад у віртуальній приватній хмарі.

«Хмара AWS дуже захищена. Багато клієнтів використовують VPC в AWS або інших провайдерів, тож потрібно вирішити, де розгортати модель. Самої моделі недостатньо, щоб почати виконувати проєктувальні завдання економно. Потрібно самостійно створити онтологічний рівень і робочі процеси. Наша платформа робить це автоматично, щоб ви не витрачали час і кошти на повторне створення того, що EDA розробляла 30 років тому. Коли всі самостійно виконували синтез, з’явився Design Compiler, який показав, що не потрібно кожному винаходити все наново. Зараз відбувається те саме. У нас є онтологія, робочі процеси й власний модельний рівень. Він автоматично вибирає найкращу модель для конкретного завдання», — сказав Рахім.

Командам архітектури та розробки варто визначити діапазон моделей, які має підтримувати система, замість того щоб вгадувати розмір однієї майбутньої моделі.

«Важливі змінні — кількість активних параметрів, точність, довжина контексту, модальність, паралельність і затримка. Командам слід з’ясувати, чи достатньо меншої спеціалізованої моделі, де зберігатиметься робочий набір і як споживання енергії змінюється за реалістичних навантажень. Значущий показник — енергія на корисний результат, а не лише TOPS чи TDP», — сказав Бує з Arteris.

Отже, змінні робочого навантаження перетворюють вибір моделі на завдання системної архітектури з прямими наслідками для пам’яті, обчислень, інтерконектів і верифікації.

Дарбарі з Axiomise зазначив: якщо все більше операцій обробки даних буде виноситися за межі гіпермасштабних дата-центрів, це може призвести до переорієнтації спеціалізованих мікросхем для обробки даних на промислові сервери, робочі станції, ноутбуки та периферійні SoC. Вони локально запускатимуть моделі з сумішшю експертів на 1–100 мільярдів параметрів. Це матиме низку архітектурних наслідків:

• Пропускна здатність пам’яті, а не FLOPS, стане головним обмеженням.
• Розріджена активація змінить характер обчислень.
• Низька точність буде потрібна на рівнях системи команд і тракту даних.
• Гетерогенні SoC стануть способом реалізації таких систем.
• Сервери розміром із мініхолодильник можуть перетворитися на окрему категорію продуктів.
• Під час верифікації та підписання PPA потрібно перевіряти розріджений трафік моделей із сумішшю експертів, арифметику MXFP4, навантаження на KV-кеш за контексту 128K і паралельну роботу багатьох агентів, а не лише щільне множення матриць GEMM.

Ці архітектурні вимоги стають конкретними, коли команди оцінюють, що потрібно не лише для розміщення моделі в пам’яті, а й для її швидкої роботи в щоденних інженерних процесах.

«Потужні мовні, мультимодальні та логічні моделі на 20–30 мільярдів параметрів після квантування можуть уміститися приблизно в 16–24 ГіБ пам’яті. У моєму синтетичному тестуванні моделі цього розміру працювали на MacBook із 36 ГБ пам’яті. Але вмістити модель у пам’ять — не те саме, що продуктивно її використовувати. Щоб отримати швидкість, потрібну для заміни хмарних моделей у щоденній роботі й агентних процесах, витрати все ще можуть перевищити 10 000 доларів. Розробники мікросхем повинні підбирати потужність обчислювальних ресурсів, обсяг пам’яті та параметри міжкомпонентного з’єднання відповідно до передбачуваного застосування, залишаючи при цьому можливість для зміни складу моделей. Відкриті ваги не змінюють обчислювальну математику моделі. Але вони дають змогу змінювати точність, розрідженість, налаштування та структуру моделі, тому важливіші стають пропускна здатність пам’яті, переміщення даних, гнучкість числових форматів і якість обслуговування, а не лише пікові TOPS. Щільна модель і модель із сумішшю експертів із тією самою загальною кількістю параметрів можуть зовсім по-різному навантажувати систему. Заходи безпеки мають передбачати перевірку автентичності файлів, моделей та оновлень, захист сховища та шляхів прямого доступу до пам’яті, ізоляцію робочих навантажень та можливість повернення до попереднього стану», — сказав Бує.

Висновок

ШІ з відкритими вагами не усуне компромісів, перед якими стоять архітектори чипів, але зробить їх помітнішими. Успішні платформи будуватимуться навколо адаптивних наборів моделей, стабільної роботи пам’яті та інтерконектів, реалістичних цілей щодо енергії й затримки, а також захисту — від автентифікованих ваг до середовища виконання, інструментів і даних. Для команд EDA перевагу дасть не сам по собі вибір відкритої чи закритої моделі, а поєднання відповідних моделей із надійними галузевими знаннями, продуманою маршрутизацією та апаратно-програмними системами, здатними змінюватися й після початку виробництва чипа.

Нагадаємо, опитування Andreessen Horowitz показало, що бюджети на генеративний ШІ в компаніях зростають, а керівники переводять такі витрати до постійних статей бюджету на програмне забезпечення. Матеріал також розглядає способи оцінювання віддачі від ШІ та потребу підприємств у спеціалізованих технічних фахівцях.