ШІ-платформа, яка здатна писати, продюсувати, режисерувати анімацію і навіть озвучувати абсолютно нові епізоди телевізійних шоу

Чи можете ви уявити, що бачите себе в улюбленому серіалі, хоча ніколи не грали в реальному житті? Або чи можливо змінити початок і кінець за власним бажанням?

Fable Studios, стартап із Сан-Франциско, щойно випустив технологію штучного інтелекту SHOW-1, яка здатна писати, продюсувати, режисувати, анімувати і навіть озвучувати абсолютно нові епізоди телевізійних шоу. Fable Studios зробили це, використовуючи різні моделі дифузії. Вони працюють на основі простого методу додавання та видалення випадкового шуму з даних з плином часу, який може генерувати та реконструювати вихідні дані. Можна почати з зображення як випадкового шуму і поступово перетворити його на необхідний результат.

Fable Studios тренували свої моделі дифузії на наборі даних, що складається з 1200 символів і 600 фонових зображень з телесеріалу “Південний парк”. Першим завданням моделі було згенерувати окремі символи на фоні кольорового фону. Автономні персонажі можуть бути згенеровані в шоу на основі характерного вигляду, стилю письма та голосу. Моделі дифузії персонажів дозволяють створювати персонажів “Південного парку” на основі їхньої власної зовнішності шляхом стабільної дифузії від зображення до зображення.

АІ-шоураннер The Simulation може автоматично генерувати епізоди “Південного парку”.

Завданням другої моделі було створення чистого фону, який може слугувати сценою для взаємодії персонажів, дозволяючи розробляти різні сцени та сценарії. Єдиним обмеженням цієї моделі було те, що вона створювала зображення з низькою роздільною здатністю. Команда вирішила цю проблему, застосувавши методи масштабування за допомогою штучного інтелекту, які покращили якість зображення. Створення векторної графіки, оскільки вона не втрачає своєї роздільної здатності при зміні масштабу.

Fable Studios переробила епізод телешоу, змінивши послідовність діалогів у певних місцях і час виконання, щоб відповідати оригінальній довжині епізоду. Використовуючи дані симуляції як ланцюжок підказок, вони побудували систему розповіді, яка працює паралельно з системою шоураннера, щоб контролювати послідовність дій і діалогів, щоб утримувати аудиторію залученою. Голос кожного персонажа був заздалегідь клонований, і для кожного нового діалогу генеруються голосові кліпи.

Дані, отримані в результаті симуляції, діють як творчий словник як для людини, яка пише початкову репліку, так і для системи, що генерує історію. Навіть досвідчені сценаристи часто застрягають під час написання діалогів; такі проблеми можна подолати, оскільки симуляція надає контекст і точки даних перед початком ланцюжка запитань.

Процес генерації історій розподіляється пропорційно між користувачем, симуляцією та GPT-4. Симуляція створює фундаментальний контекст у вигляді історії, емоцій та подій для персонажів. Це початковий творчий контекст. GPT 4 діє як основний генератор, який об’єднує сцени та діалоги на основі підказок, отриманих від користувача та симуляції.

Нарешті, інтеграція сильних сторін симуляції, користувача та ШІ-моделі створює багатший інтерактивний та захопливий досвід розповіді історії. І навпаки, персоналізація шоу призведе до втрати робочих місць. Оскільки інструменти на основі штучного інтелекту тепер можуть виконувати такі завдання, як монтаж відео та написання музики, які раніше виконували люди-професіонали, це призведе до занепокоєння щодо майбутнього робочих місць в індустрії розваг.