AI Showrunner: выпусти «Южный парк» с собой в главной роли
Компания Fable, работающая над масштабным проектом по созданию и развитию ИИ-персонажей The Simulation, предлагает оригинальное решение AI Showrunner для создания качественного эпизодического контента, в том числе телешоу или сериалов.
В разработке SHOW-1 исследователи объединяют большие языковые модели, модели распространения и мультиагентное моделирование для развития сюжета и управления поведениями персонажей в определенном контексте.
«Мощные языковые модели, такие как GPT-4, были обучены на большом массиве данных телешоу, что позволяет нам поверить, что при правильном руководстве пользователи смогут переписывать целые сезоны», — уверены в Fable.
Создать свой «Южный парк»? Почему бы и нет! Источник: https://fablestudio.github.io/
Как работает технология AI Showrunner?
AI Showrunner предназначен для создания качественных творческих работ с контекстным руководством, особенно в рамках существующей интеллектуальной собственности. Он рассчитан на долгосрочный процесс, тогда как классические ChatGPT и генератор изображений Stable Diffusion преимущественно нацелены на решение общих краткосрочных задач.
Если говорить простым языком, AI Showrunner поможет пользователям создавать уникальный контент в стиле любимого телешоу или сериала. При этом результат не только будет иметь максимально приближенную к оригиналу картинку или музыкальное сопровождение, но также порадует воспроизведением атмосферы, характерного поведения персонажей и др.
Предотвращая появление любых вопросов со стороны фанатов «Южного парка», исследователи сразу делают официальное заявление: они работают над экспериментальным некоммерческим проектом, который нацелен на изучение потенциала ИИ, синтеза голоса и технологий глубокого обучения для воссоздания образа и голосов известного шоу. AI Showrunner не связан с его создателями, продюсерами, правообладателями и другими членами команды, а также не претендует на права интеллектуальной собственности, товарные знаки и авторские права.
Разработчики технологии используют для создания изображений и последовательных сцен, связанных с выбранным миром, мультиагентную симуляцию и такие данные, как история героя, его эмоции и цели, локации и события. Ожидается, что AI Showrunner поможет решить основные проблемы генеративных систем, среди которых:
- галлюцинации ИИ, способствующие появлению неожиданных сюжетных поворотов или нехарактерного для персонажа поведения;
- эффект игрового автомата, который проявляется в генерации контента со случайными параметрами, не похожего на результат запланированного творческого процесса.
Для обучения пользовательских моделей распространения исследователи использовали набор данных из 1200 одиночных символов и 600 фоновых изображений из телешоу «Южный парк». Такого объема информации оказалось достаточно для получения исходного материала с узнаваемым стилем оригинального проекта. Пользователи AI Showrunner могут создавать героев на базе собственной внешности с клонированным голосом, которые станут полноправными автономными участниками виртуального мира.
Каждый пользователь может создать уникального персонажа, похожего на себя Источник: https://fablestudio.github.io/
Создатели AI Showrunner рассматривают эпизод телешоу как последовательность диалогов на различных локациях, общая продолжительность которых составляет 22 минуты. Для получения полноценного эпизода «Южного парка» системе нужно предоставить детализированную идею, а именно название, краткое содержание серии и основные события, которые должны произойти в течение одной недели симуляции ( ~ три часа игрового времени).
Далее система в автоматическом режиме создает до 14 сцен, ориентируясь на предоставленные пользователем подсказки. AI Showrunner контролирует правильность подбора персонажей для них и соответствие сюжету. Каждая сцена получает свою сюжетную букву (A, B, C и др.) и система объединяет их в эпизод согласно шаблону сюжета, например ABAВC. Голоса героев клонируются заранее, на этапе подготовки, а генерация голосовых клипов осуществляется в режиме реального времени соответственно каждой новой строке диалога.
Схема создания эпизода «Южного парка» при помощи AI Showrunner Источник: https://fablestudio.github.io/
Разработчики AI Showrunner планируют совершенствовать технологию, повышая качество генерируемого контента и раскрывая творческий потенциал генеративных ИИ-систем:
«Наше предположение состоит в том, что воспринимаемая ценность контента, созданного ИИ, безусловно возрастет. Новым интересным подходом к воспроизведению этого может быть воплощение творческих моделей ИИ, таких как SHOW-1, способных создавать личность вне своего симулированного мира и строить отношения со своей аудиторией через социальные сети или события реального мира. Пока модель ИИ воспринимается как черный ящик: она не делится своим творческим процессом и рассуждениями по-человечески и доступно, как в случае с живыми писателями и режиссерами, и вряд ли ей приписывают настоящие творческие ценности. Однако это более философский вопрос в контексте AGI».
Оригинал цитат:
Powerful LLMs such as GPT-4 were trained on a large corpus of TV show data which lets us believe that with the right guidance users will be able to rewrite entire seasons.
Our assumption is that the perceived value of AI generated content would certainly increase. A new interesting approach to replicate this could be the embodiment of creative AI models such as SHOW-1 to allow them to build a persona outside their simulated world and build relationships via social media or real world events with their audience. As long as an AI model is perceived as a black box and does not share their creative process and reasoning in a human and accessible way, as is the case for living writers and directors, it's unlikely to get credit with real creative values. However, for now this is a more philosophical question in the context of AGI.
