Модель SemiKong з відкритим вихідним кодом для процесу виробництва напівпровідників

Напівпровідники лежать в основі всіх сучасних технологій, уможливлюючи розвиток телекомунікацій, охорони здоров’я, автомобілебудування, відновлюваної енергетики та Інтернету речей. Однак виробництво і проєктування напівпровідників пов’язані зі складними процесами, особливо на етапах FEOL (процес FEOL — це початкова фаза виробництва мікросхем, де основні компоненти, такі як транзистори, конденсатори та резистори, формуються безпосередньо на кремнієвій пластині) та BEOL (процес BEOL слідує за FEOL та передбачає додавання металевих шарів, які слугують з’єднувальними елементами, що забезпечують зв’язок між різними компонентами мікросхеми), створюючи унікальні виклики. Великі мовні моделі (LLM) загального призначення чудово справляються з обробкою великих обсягів текстових даних, але їм бракує спеціалізованого досвіду, необхідного для розв’язання складних фізико-хімічних проблем, що лежать в основі виробництва напівпровідникових приладів і процесів.

З огляду на це, великі мовні моделі для окремих галузей почали демонструвати багатонадійні результати. Такі моделі, як ChipGPT і ChatEDA, вже перевершують універсальні великі мовні моделі в таких завданнях, як генерація макетів, налагодження коду і дотримання правил проєктування. Вони використовують величезні бази даних макетів напівпровідників і правил, оптимізуючи проєкти в рамках заданих обмежень. Проте ці моделі не враховують специфічні нюанси галузі, що вказує на потребу в розробленні більш спеціалізованих інструментів штучного інтелекту, пристосованих до галузі напівпровідникових приладів.

Першим кроком у цьому напрямку стала співпраця між Aitomatic Inc., FPT Software AI Center та Tokyo Electron Ltd., результатом якої стала розробка SemiKong — першої великої мовної моделі, безпосередньо призначеної для напівпровідникової галузі. SemiKong 1.0 фокусується на розумінні критичних аспектів виробництва напівпровідників шляхом навчання на великому наборі специфічних для цієї галузі даних. Набір даних охоплює технічну літературу, патенти та спеціальний набір інструкцій з 50 000 питань. Для впорядкування та структурування цих даних для навчання були використані сучасні інструменти, такі як GPT-4o-mini.

Навчання SemiKong проходило в три етапи:

• Попередня підготовка з контрольними питаннями Llama3, зосереджена на фундаментальних знаннях про напівпровідники.
• Доопрацювання під наглядом для покращення навичок виконання конкретних завдань, таких як міркування та відповіді на запитання.
• Тонке налаштування на основі квантифікації задля оптимізації застосування в реальному світі.

Навчання на моделі використовувало потужну інфраструктуру з 8 графічними процесорами NVIDIA A100 80GB для забезпечення високої продуктивності та ефективності.

Оцінка SemiKong проводилася за жорсткими критеріями, включаючи ясність, практичність, логічність та комунікацію на рівні експертів. Результати підкреслили важливість поєднання специфічного для галузі попереднього навчання з точним налаштуванням, оскільки ця інтеграція значно перевершила моделі, навчені на загальних наборах даних. Більші версії моделі, зокрема SemiKong 70B, продемонстрували найкращі результати в порівнянні між моделями з відкритим вихідним кодом.

SemiKong продемонстрував свій потенціал, але все ще перебуває на ранніх стадіях розвитку і має можливості для вдосконалення та розширення. Його розробка позначила помітний прогрес в інтеграції технології LLM з напівпровідниковим виробництвом, забезпечивши основу для майбутніх досліджень. Розв’язуючи специфічні галузеві проблеми за допомогою вдосконаленого ШІ, SemiKong створює основу для трансформаційних досягнень у розробці та виробництві напівпровідників.