Изкуствен интелект превръща един певчески глас в друг

AI технология може да освободи хората от ограниченията на собствения им глас (източник: CCO Public Domain)

Изкуственият интелект може да генерира анимации на база сценарии, да открива дупки и пукнатини по пътищата и да научи четириноги роботи да се изправят, след като паднат. Какво друго може? Да превръща гласовете на певците например. Да.

В статия, публикувана в Arxiv.org, учените от Facebook AI Research и Тел-Авивския университет описват система, която директно преобразува гласа на един певец в гласа на друг. Още по-впечатляващо е, че системата работи без човешки надзор, което означава, че е в състояние да извършва преобразуване от некласифицирани, неанотирани данни, които преди това не е срещала.

Екипът твърди, че техният модел е успял да се научи да конвертира певчески гласове на база 5 до 30 минути „слушане“. Това е възможно отчасти благодарение на иновативна схема за самообучение и нещо, което изследователите описват като „техника за подобряване на данните“.

Предложената мрежа не е обусловена от текста или нотите и не изисква паралелни тренировъчни данни на различните певци, нито пък използва препис от аудио или текст или музикални ноти. Учените казват още, че системата предлага гъвкавост по отношение на другите характеристики на гласа.

Методът се основава на WaveNet – автоенкодер, разработен от Google (вид изкуствен интелект, използван за изучаване на представяния за набори от данни без човешки надзор). Той генерира модели на базата на аудиовълните от звукозаписите.

Системата използва „обратен превод“, който включва конвертиране на една проба от данни в целевата извадка (в този случай, гласа на един певец към друг), преди да преведе обратно към оригиналния глас и да настрои следващия опит, ако първият не съвпада достатъчно добре с оригинала.

Освен това екипът е използвал „синтетични“ проби, базирайки се на „виртуални идентичности“, близки до певеца-източник.

За експериментите си учените получили два публично достъпни масива от данни – корпусът на Станфордския цифров архив на мобилните изпълнения (DAMP) и „Корпус от изпято и изговорено“ на Националния университет на Сингапур (NUS-48E). Всички те съдържат песни, изпълнени от различни певци.

От първия масив са подбрани петима певци с 10 произволни песни (девет песни от които тренирали ИИ системата), а от втория били избрани 12 певци с четири песни от всеки изпълнител – техните песни били използвани за обучението на системата.

Последвал преглед от рецензентите, оценявали по скалата от 1 до 5 сходството на генерираните гласове с целевите гласове за пеене. Отделно от това била приложена и система за автоматично тестване на крайния резултат.

Оценката на рецензентите е 4 – според тях, системата се е справила много добре с конвертирането на гласовете. Това следва да означава добро качество на преобразуването. Автоматизираното тестване е дало по-щедра оценка – 5.

Бъдещата работа на екипа най-вероятно ще е съсредоточена върху преобразуване на гласове при наличието на фонова музика. Подходът би довел, например, до освобождаване от ограниченията на собствения глас, пишат авторите на доклада за иновацията.

Системата може да намери редица приложения, включително в изкуството. Остава отворен въпросът за възможностите преобразуването на човешки гласове от системата да се използва за злоупотреби, например измами с „телефонни записи“, фалшификации при гласово разпознаване и др.