TableGPT: Уніфікована досконала структура, яка дозволяє розуміти та оперувати таблицями за допомогою зовнішніх функціональних команд

Таблиці часто використовуються для представлення великого і складного світу даних і слугують основою для прийняття рішень на основі даних у різних контекстах, зокрема у фінансовому аналізі, управлінні ланцюгами поставок та аналітиці у сфері охорони здоров’я. Зацікавлені сторони можуть використовувати їх для аналізу тенденцій, закономірностей і зв’язків, що допомагає їм робити обґрунтований бізнес-вибір та оптимізувати процеси і ресурси. Фахівці з аналізу даних довгий час намагалися опрацьовувати таблиці за допомогою складних формул Excel або спеціальних програм. В результаті виникла нагальна потреба в більш ефективному розумінні та інтерпретації табличних даних. Великі мовні моделі (LLM) або генеративні попередньо навчені трансформатори (GPT) зробили революцію в парадигмі інтелектуального аналізу даних в обробці природної мови.

Відповідно до цих досліджень, дослідники вивчали великі моделі для голосу і зору, серед інших модальностей. Їх здатність створювати текст, що нагадує людську мову, відкрила нові можливості для обробки табличних даних. Однак використовувати стандартну модель ChatGPT у табличній області складно з двох причин:

1. Глобальне розуміння таблиць (Global Table Understanding): Добре відомо, що GPT мають обмеження на довжину токенів, що ускладнює сканування величезних таблиць і розуміння інформації, яка в них міститься.
2. Процедури навчання розроблені для природних мов, тому вони менш придатні для узагальнення при роботі з табличними даними. Було створено кілька робіт, які включають природну мову для аналізу табличних даних.

Природна мова до SQL (NL2SQL) – це добре розвинений напрям досліджень, який перекладає природну мову в інструкції SQL, що керують реляційними базами даних. Щоб використовувати широкий спектр функцій програмного забезпечення для електронних таблиць, SheetCopilot нещодавно дослідив мови для управління VBA (Visual Basic for Applications, вбудована мова сценаріїв для Microsoft Excel). Однак вони виявили, що жодна з альтернатив не працює задовільно. Вони вважають, що ці неструктуровані за своєю суттю типи комп’ютерного коду додають складності, роблячи автоматизовану пост-обробку майже неможливою. Дослідники з Чжецзянського університету створили TableGPT у цьому дослідженні, розширюючи межі можливого при використанні підходів LLM для аналізу даних. Це значний крок вперед у їхньому прагненні полегшити доступ до даних та їхнє розуміння. Їх система TableGPT поєднує таблиці, голосові інструкції та просту мову в єдину GPT-модель, покращуючи зручність та інтуїтивність інтерпретації даних.

Вони об’єднали багато ключових елементів у TableGPT, переосмисливши, як взаємодіють таблиці, розмовна мова та інструкції:

• Глобальне представлення таблиць: Це перша спроба створити парадигму навчання для глобального представлення таблиць, яка кодує всю таблицю в один вектор. Вони оснащують кодер таблиць для ефективного захоплення глобальної інформації вхідної таблиці шляхом одночасного навчання LLM і кодера на величезних обсягах текстових і табличних даних. Таким чином, забезпечується більш повне і краще розуміння таблиць, оскільки LLM може краще бачити і розуміти табличні дані.
• Субординація: Цим поняттям підкреслюють важливість організованого, ієрархічного підходу до виконання завдань. TableGPT дотримується тієї ж послідовності команд, розбиваючи складні завдання на простіші і виконуючи їх крок за кроком, подібно до добре скоординованої організації, де кожен напрямок каскадується від вищого рівня до нижчого еквівалента. Крім того, це заохочує здатність відкидати незрозумілі або неправильні інструкції, як це робить справжній науковець даних, а не бездумно дотримуватися будь-якої потенційно неправильної інструкції, тим самим покращуючи комунікацію між людьми і системами LLM в контексті науки про дані. Запропонований ними набір команд простіший у використанні і зменшує двозначність, яка часто виникає при використанні традиційних методів роботи з табличними даними.
• Тонке налаштування з урахуванням домену: Щоб покращити розуміння моделлю табличних даних певного домену, точне налаштування з урахуванням домену передбачає адаптацію навчання таким чином, щоб модель створювала текст, який містить подібні стилістичні та логічні елементи, що зустрічаються в даній предметній області. Це сприяє здатності адаптуватися до різних доменів таблиць і відповідних текстових матеріалів. Також було створено конвеєр обробки даних, щоб зробити цю стратегію практичною і масштабованою. Неструктурований код, що генерується NL2SQL, створює значні труднощі для превентивних перевірок і виправлення помилок у реальних виробничих умовах. Тому вони підтримують використання структурованих послідовностей команд для полегшення постобробки.

Data-Copilot також використовує цю командну методологію з самоінструкцією. Проте його залежність від нативних LLM, API, що використовується для безпосереднього розуміння логіки обробки та аналізу табличних даних, має свої недоліки. Вони вважають, що успішне рішення має бути спеціально розроблене для табличних даних, зберігаючи при цьому широку застосовність до більш широких видів діяльності через притаманну табличним даним непередбачуваність і специфічність завдань. Це переконання підкреслює, наскільки важливо впроваджувати спеціально підготовлену програму для роботи з табличними даними. На завершення, це дослідження пропонує революційний фреймворк TableGPT – комплексне, інтегроване рішення на основі природної мови, яке дозволяє ефективно обробляти, аналізувати та візуалізувати табличні дані.

Ось кілька важливих переваг TableGPT:

• EDA, керована мовою: Використовуючи зрозумілу мову, TableGPT аналізує наміри користувача, розбиває необхідні дії та виконує зовнішні команди над таблицею. Потім користувачеві надаються оброблені результати у вигляді таблиць і письмових пояснень. Завдяки цій інноваційній методиці дослідницький аналіз даних (EDA) стає інтуїтивно зрозумілим, що полегшує користувачам взаємодію з табличними даними.
• Уніфікований крос-модальний фреймворк: Вони творчо розробляють глобальний кодер таблиці для розуміння всієї таблиці. Завдяки здатності TableGPT повністю розуміти запити користувачів, метазнання та цілі табличні дані, команди виконання маніпуляцій з таблицями є значно надійнішими.
• Узагальнення та конфіденційність: Їхній TableGPT може краще керувати неоднорідністю даних у таблицях та узагальнювати дані для багатьох доменів завдяки точному налаштуванню з урахуванням домену. Крім того, їхня система дозволяє приватне розгортання і забезпечує надійний захист конфіденційності даних. У наш час, коли конфіденційність і захист даних є надзвичайно важливими, ця функція має вирішальне значення.