Microsoft наділила ШІ людським мисленням за допомогою «алгоритму думок»

Технологічний гігант Microsoft представив новий метод навчання ШІ під назвою «Алгоритм думок» (AoT), покликаний зробити великі мовні моделі, такі як ChatGPT, більш ефективними і схожими на людину за своїми здібностями до міркувань.

Підхід Microsoft

Новий підхід є природним наступним кроком для компанії, яка інвестувала значні кошти в ШІ, зокрема в OpenAI — творців DALL-E, ChatGPT і потужної мовної моделі GPT.

Згідно з опублікованою науковою статтею, Microsoft заявляє, що технологія AoT може змінити правила гри, оскільки вона «спрямовує мовну модель на більш раціональний шлях розв’язання проблем». Цей новий підхід використовує «навчання в контексті», що дозволяє моделі систематично досліджувати різні рішення в організованій формі.

Результат? Швидше, менш ресурсомістке вирішення проблем.

«Наша методика перевершує попередні методи з одним запитом і знаходиться на одному рівні з нещодавнім підходом з декількома запитами, що використовує розширений пошук по дереву», — йдеться в статті. «Цікаво, що наші результати свідчать про те, що навчання моделі за допомогою алгоритму може призвести до продуктивності, що перевершує сам алгоритм».

Дослідники стверджують, що модель отримує покращену «інтуїцію», коли ця методика оптимізує процес пошуку.

Людино-алгоритмічний гібрид?

Метод AoT усуває обмеження сучасних методів контекстного навчання, таких як «ланцюжок думок» (Chain-of-Thought, CoT). CoT іноді надає неправильні проміжні кроки, тоді як AoT спрямовує модель, використовуючи алгоритмічні приклади для отримання більш надійних результатів.

AoT черпає натхнення як від людей, так і від машин, щоб покращити продуктивність генеративної моделі ШІ. У той час як люди досягають успіху в інтуїтивному пізнанні, алгоритми відомі своїм організованим, вичерпним дослідженням. У дослідницькій роботі йдеться про те, що Алгоритм думок прагне «об’єднати ці два аспекти, щоб розширити можливості міркування в рамках LLM».

Microsoft стверджує, що ця гібридна методика дозволяє моделі подолати обмеження людської робочої пам’яті. Це дає змогу проводити більш всебічний аналіз ідей.

На відміну від лінійних міркувань CoT або техніки «Дерева думок» (ToT), AoT дозволяє гнучко розглядати різні варіанти підпроблем, зберігаючи ефективність з мінімальною кількістю підказок. Він також конкурує із зовнішніми інструментами деревовидного пошуку, ефективно балансуючи між витратами та обчисленнями.

Загалом, AoT являє собою перехід від навчання під наглядом до інтеграції самого процесу пошуку. Дослідники вважають, що з удосконаленням інженерії цей підхід може дозволити моделям ефективно вирішувати складні реальні проблеми. Водночас це зменшуює їхній вплив на викиди вуглекислого газу в атмосферу.

З огляду на значні інвестиції в ШІ, Microsoft, здається, має всі можливості для впровадження технології доповненої реальності в такі передові системи, як GPT-4. Навчити мовні моделі «мислити» у такий більш людський спосіб може бути складним завданням, але воно може стати трансформаційним.

Нещодавно Aptos Labs оголосила про інтеграцію сервісу Microsoft Azure OpenAI в блокчейн першого рівня, який очолюють колишні фахівці компанії Meta.