AI система ще помогне на творците по-лесно да визуализират своите идеи (източник: Rutgers)
Вече съществуват невронни мрежи, които създават оригинално видео по текстово описание. Макар че те не могат напълно да заменят операторите, напредъкът в тази област е очевиден.
Disney Research и Rutgers са разработили невронна мрежа, която може да създаде груб сценарий и видео по текстово описание, съобщи VnetureBeat. Системата работи с естествен език, което ще позволи да бъде използвана в редица области, като например създаване на видеоклипове за обучение.
Освен това AI системата ще помогне на сценаристите да визуализират своите идеи. Създателите й уверяват, че целта не е изкуственият интелект да замени писатели и художници, а да направи работата им по-ефективна и по-малко досадна.
Разработчиците споделят, че превеждането на текст в анимация не е лесна задача, тъй като входните и изходните данни нямат фиксирана структура. Повечето от действащите системи не могат да се справят със сложни изречения. За да преодолеят ограниченията на предишни подобни програми, разработчиците са изградили невронна мрежа от няколко компонента – модул за обработка на естествен език, модул за анализ на скриптове и модул, който генерира анимация.
Първо, системата анализира текста и превежда сложни изречения в прости. След това се създава 3D анимация. За работа на системата се използва библиотека от 52 анимирани блока, чийто списък вече е разширен до 92. Създаването на анимацията става с помощта на Unreal Engine, който разчита на предварително инсталирани обекти и модели – от тях системата избира подходящите елементи и формира видеото.
За обучение на системата изследователите са съставили набор от описания на 996 елемента, взети от повече от 1000 сценария с IMSDb, SimplyScripts и ScriptORama5. След това са проведени качествени тестове, в които 22 участници са оценили 20 анимации. В същото време 68% от участниците казват, че системата създава доста прилична анимация въз основа на входните текстове.
Екипът обаче признава, че системата не е перфектна. Нейният списък от действия и обекти не е изчерпателен, а понякога лексикалното опростяване води до несъответстващи анимации. Изследователите възнамеряват да премахнат тези недостатъци в по-нататъшната си работа.