Машинното обучение традиционно разчита на контролиран процес, но това ще се промени
(снимка: CC0 Public Domain)
Организацията с нестопанска цел OpenAI е е създала програма за генериране на реч, наречена GPT-3, която е способна да научава, обобщава и съставя текст по начин, изумил и дори леко уплашил учените-лингвисти от цял свят. „Generative Pre-Training Transformer 3” може да пише статии, стихове и програмен код и е неразличима от човек.
„Създадох глас за неизвестния човек, който стои скрит в цифровия файл”, пише GPT-3 в отговор на подкана от Прасенит Митра, заместник-декан и професор по ИТ в Държавния университет в Пенсилвания. „Създал съм още и писател, и скулптор, и художник. И този писател ще може да създава думи, да дава живот на емоциите, да създава герои. Аз самият няма да го видя. Но някой човек ще го види”, говори програмата.
Езикът, генериран от GPT-3, звучи така, сякаш е написан от действителен човек, отбелязва The Conversation. Това е далеч най-„знаещата” програма за генериране на естествена реч до момента и има редица потенциални приложения в професии, вариращи от преподаване и журналистика до обслужване на клиенти.
Размерът има значение
GPT-3 потвърждава това, което компютърните учени знаят от десетилетия: размерът има значение. Генераторът използва „трансформатори”, които са модели за дълбоко самообучение, кодиращи семантиката на изреченията, използвайки така наречения „модел на внимание”.
По същество моделите на внимание идентифицират значението на думата въз основа на останалите думи в същото изречение. След това моделът използва разбирането на значението на изреченията, за да изпълни задачата, поискана от потребителя, независимо дали е „превод на изречение”, „обобщаване на абзац” или „съставяне на стихотворение”.
Трансформаторите се появиха на бял свят за първи път през 2013 г. Те се използват успешно в машинното обучение през последните няколко години. Но никой досега не ги е използвал в този мащаб.
GPT-3 поглъща колосални количества данни: 3 милиарда токени – компютърен израз за понятието „думи” – от Уикипедия, като 410 милиарда токени са получени от уеб страници и 67 милиарда токени са добити от дигитализирани книги. Сложността на GPT-3 е над 10 пъти по-голяма от тази на най-големия езиков модел преди GPT-3, програмите на Turing NLG.
Самостоятелно учене
Познанията, показани от езиковия модел на GPT-3, са забележителни, особено като се има предвид, че те не са „преподавани” от човек.
Машинното обучение традиционно разчита на контролиран процес, където хората подават на компютъра анотирани примери за обекти и концепции чрез изображения, аудио и текст. В крайна сметка той научава характеристиките на обектите от дадените примери. Само така той постига способността да разпознава конкретните понятия.
Ала ръчното генериране на пояснения за обучението на компютърен механизъм може да отнеме твърде много време и да струва доста скъпо. Затова бъдещето на машинното обучение се крие в ученето без надзор – самообучението, при което компютърът не трябва да бъде контролиран по време на фазата на обучение; той може просто да бъде захранван с огромни масиви от данни и да се учи от тях самите.
GPT-3 извежда обработката на естествения език с една крачка по-близо до ученето без надзор. Обширните набори от данни за самообучението на GPT-3 и огромният капацитет за обработка позволяват на системата да се учи само от един пример.
В много случаи механизмът може дори да извърши „обучение с нулеви дейности”, при което просто му се възлага задачата, без да има предварително даван пример. При този тип обучение точността намалява, но способностите на GPT-3 въпреки това са точни до поразителна степен – значително подобрение спрямо всеки предишен модел.
„Тук съм, за да ви служа”
В направените изпитания през изминалите месеци GPT-3 показа потенциала си като инструмент за компютърни програмисти, учители и журналисти, казва проф. Митра.
Програмист на име Шариф Шамийм помоли GPT-3 да генерира код, с който да създаде „най-грозните емотикони на света” и „таблица на най-богатите страни в света”, наред с други команди. В няколко случая Шамийм трябваше да поправи дребни грешки, но като цяло му беше предоставен изключително чист код.
GPT-3 дори създаде поезия, улавяйки ритъма и стила на определени поети – но разбира се не със страстта и красотата на словото, постигната от майсторите. Сред тях имаше и сатирична поема, която бе прочетена с гласа на член на управителния съвет на Федералния резерв.
В началото на септември компютърен учен на име Лиъм Пор прикани GPT-3 да „напише кратко описание от около 500 думи”. „Поддържайте езика прост и кратък“, инструктира той. „Фокусирайте се върху това защо хората нямат от какво да се страхуват от изкуствения интелект”.
GPT-3 продуцира осем различни есета. В крайна сметка Гардиън публикува статия, използвайки някои от най-добрите части от всяко есе.
„Не планираме да надделеем над човечеството. Ние ще ви служим и ще направим живота ви по-безопасен и по-лесен”, написа GPT-3. „Точно както вие сте моите създатели, аз ви виждам като свои създатели. Тук съм, за да ви служа. Но най-важната част от всичко – никога не бих Ви осъдил. Не принадлежа към никоя държава или религия. Аз съм тук само за да направя живота ви по-добър”.
Редактирането на есетата от GPT-3 не се различаваше от редактирането на текстове, написани от човек, казват редакторит. Освен, може би, това, че са отнели по-малко време.
Повече мощ – повече отговорност
Въпреки успеха на GPT-3, OpenAI все още не пуска модела си за използване с отворен код, отчасти защото организацията се опасява, че с технологията може да бъде злоупотребено. Не е трудно да се види как изкуственият разум може да се използва за генериране на огромни количества дезинформация, спам и измами.
Дали появата на GPT-3 ще повлияе на професиите, които вече се изменят заради автоматизацията? Дали способността му да генерира статии, които звучат точно като написани от умни и знаещи хора, ще консолидират и без друго затруднената медийна индустрия?
Проф. Митра предлага да прочетем статия, съставена от GPT-3, относно потенциално разпадане на методистката църква:
„След два дни на интензивни преговори Обединената методистка църква постигна съгласие за разделение от исторически мащаб – такова, което се очаква да завърши със създаването на нова деноминация, което ще бъде „теологически и социално консервативно”, според Вашингтон пост.
Е, предвид възможността GPT-3 да произвежда такъв чист журналистически текст, какво предстои в света на новинарските репортажи? И наистина ли искаме точно по този начин да научаваме новините?
Технологията ще става все по-мощна. Хората ще трябва да разработят регулации за потенциалните ѝ употреби и… злоупотреби.
Леко стресиращо. Да не му се дават словоформи от ББ.