Підвищення продуктивності ШІ за допомогою стохастичних аналогових схем

В епоху експоненціального зростання можливостей штучного інтелекту попит на обчислювальні потужності зріс до безпрецедентного рівня. Водночас традиційна траєкторія технологічного прогресу, передбачена законом Мура, демонструє ознаки сповільнення. Мініатюризація технології КМОН-транзисторів, яка протягом десятиліть була основою обчислювальної ефективності, досягає своїх фізичних меж, оскільки транзистори наближаються до атомного масштабу. Це обмеження створює значні труднощі для масштабування інфраструктури штучного інтелекту в майбутньому, оскільки енергетичні вимоги до сучасних алгоритмів ШІ продовжують зростати.

Щоб вирішити цю проблему, Extropic, компанія, що розробляє новітні прискорювачі штучного інтелекту, прокладає новий курс, використовуючи принципи біології для розробки інноваційних апаратних і програмних рішень. На відміну від жорстких цифрових систем, біологічні обчислювальні схеми працюють з надзвичайною ефективністю завдяки міжклітинним мережам хімічних реакцій. Ці мережі, що працюють на молекулярному рівні, демонструють внутрішню випадковість, яка домінує в їхній динаміці, пропонуючи привабливу альтернативу традиційній цифровій логіці.

В основі підходу Extropic лежать енергетичні моделі (EBM), які об’єднують сфери термодинамічної фізики та ймовірнісного машинного навчання. Енергетичні моделі використовують сімейства експоненціальних функцій для параметризації розподілів ймовірностей, максимізуючи ентропію та узгоджуючи її зі статистикою цільових розподілів. Цей процес, відомий як галюцинація будь-якої можливості, не включеної до набору даних, за своєю суттю вимагає використання випадковості, що є складним завданням для звичайного цифрового обладнання.

Досягненням Extropic є параметризовані стохастичні аналогові схеми, які імітують принципи енергетичних моделей за допомогою фізичних компонентів. Аналогові схеми, що працюють у внутрішньо зашумленому середовищі, демонструють неабияку ефективність при вибірці зі складних ландшафтів, перевершуючи цифрові аналоги на кілька порядків як за часом виконання, так і за енергоефективністю.

Принцип дії прискорювачів Extropic заснований на броунівському русі, де макроскопічні частинки зазнають випадкових сил через зіткнення з молекулами на мікроскопічному рівні. Аналогові схеми Extropic, подібно до броунівських частинок, закріплених пружинами, роблять вибірку з розподілу ймовірностей, налаштовуючи параметри схеми. Ця програмована випадковість дозволяє прискорювачам Extropic досягати успіху в генеруванні негауссівських розподілів ймовірностей, необхідних для моделювання реальних застосувань.

Початковий набіг Extropic на виробництво апаратного забезпечення включає в себе виготовлення понадпровідних чіпів, що працюють при низьких температурах для використання нелінійності за допомогою ефекту Джозефсона. Ці надпровідні нейрони, що формують будівельні блоки більших схем, демонструють надзвичайну енергоефективність: пристрої працюють пасивно, споживаючи енергію лише під час вимірювань або маніпуляцій.

Більше того, Extropic розширює сферу свого впливу, розробляючи напівпровідникові пристрої, що працюють при кімнатній температурі, використовуючи стандартні виробничі процеси для досягнення масової масштабованості. Ці пристрої, що використовують джозефсонівський перехід для транзисторів, мають на меті демократизувати прискорення штучного інтелекту, уможливлюючи широке впровадження, потенційно у вигляді карт розширення, подібних до графічних процесорів, для споживчого використання.

Для підтримки різноманітних апаратних субстратів Extropic створює програмний рівень на основі факторних графів, що дозволяє компілювати абстрактні специфікації енергетичної моделі в мову управління обладнанням. Прискорюючи широкий клас імовірнісних алгоритмів, Extropic прагне розблокувати новий режим прискорення роботи ШІ, виходячи за рамки обмежень, що накладаються архітектурами глибокого навчання з використанням ресурсів пам’яті.

Таким чином, Extropic стоїть на передньому краї інновацій у сфері прискорення штучного інтелекту, використовуючи стохастичні аналогові схеми, щоб перевизначити межі обчислювальної ефективності. Завдяки своїм передовим апаратним і програмним рішенням Extropic готовий до революції в галузі ШІ, пропонуючи безпрецедентну масштабованість і енергоефективність для застосувань штучного інтелекту наступного покоління.