Отдавна учените се опитват да решат задачата за генериране на образи на базата на скици
(снимка: CC0 Public Domain)
Изследователи от Китайската академия на науките и градския университет в Хонконг са проектирали система с изкуствен разум, която може да рисува лица на хора, използвайки за начало само груби скици. Системата има многобройни приложения – от полицейската работа до медицината, образованието и приложенията за лицево разпознаване.
През последните години изследователите разработват все по-модерни изчислителни техники, като алгоритми за задълбочено машинно самообучение, за да изпълняват различни задачи. Една задача, която учените се опитват да разрешат, е генерирането на изображения на базата на скици. Обичайно този процес предполага „възстановяване” на реалистичния образ на конкретни обекти, например лица, на база на рисунки, направени от човешка ръка. За целта машинните алгоритми анализират хиляди скечове и идентифицират образите (снимките) на самите обекти, на които са базирани графиките.
DeepFaceDrawing позволява на потребителите да създават зашеметяващо реалистични портрети чрез въвеждането само на свободни, непрофесионални, грубо нахвърляни скици от типа на контурните карти. От потребителя не се изискват художествени умения или какъвто и да е опит в програмирането.
Програмата разчита на машинно самообучение за запълване на пространствата между основните скицирани компоненти като очи, нос и уста. Огромна база данни с черти на лицето осигурява подробна информация за запълването на празнините. „Формули за вероятност” помагат да се определи вероятността конкретни детайли да бъдат вложени в цялостния образ.
Напоследък има доста технологии, които предлагат на потребителите възможност да създават изображения от рудиментарни рисунки – като pix2pixHD, Lines2FacePhoto и iSketchNFill. Сравнението на DeepFaceDrawing с тези програми разкрива плашещи резултати: тя успява да създаде съвсем реалистични портрети, които пасват с голяма точност на първоначалните образи, скицирани от хората.
Изследователите, чиито ръководител е Шу-Ю Чен, обясниха разликата между програмите в доклад, публикуван наскоро онлайн:
„Последните техники за „дълбок превод от изображение към изображение” позволяват бързо генериране на изображения на лица от скици, нахвърляни на крак. Съществуващите решения обаче са склонни да запълват скиците, което значи, че за добър краен резултат се изискват професионални скици или дори карти като входящи данни. За да се справим с този проблем, приложихме нашата ключова идея – имплицитно да моделираме оформеното пространство на правдоподобни изображения на лицето и да синтезираме изображение на лицето в това пространство, за да се приближим до първоначалната скица”.
Според описанието в доклада, програмата по същество използва входните скици като „меки ограничения”. По този начин е в състояние да произвежда висококачествени изображения на лицето дори от груби и/или непълни скици.
Екипът планира да демонстрира DeepFaceDrawing на тазгодишната конференция SIGGRAPH през юли. Едноименната група, основана през 1969 г., провежда ежегодни конференции за най-новите разработки в компютърната графика. Тази година събитието ще бъде виртуално заради COVID-19.
DeepFaceDrawing има голям потенциал за използване от органите на реда, където бързите и точни скици на заподозрени са безценни при издирванията. Наред с това програмата има потенциал за използване в приложенията за разпознаване на лица, различните медицински процедури – например пластичната хирургия, а също и в обучението.
В своя доклад екипът на китайските учени заявява, че скоро ще публикува кода на проекта. Изследването идва след доклад от миналата седмица, който разкри, че турски изследователи от катедрата по компютърна техника на Истанбулския технически университет са използвали дълбоки невронни мрежи, за да рисуват с висока степен на точност лица на хората въз основа на образи единствено на ушите им.