Итеративният метод на разработване се счита за един от най-добрите, когато става дума за чатбот като ChatGPT (снимка: CC0 Public Domain)
Когато пусна ChatGPT без много шум в края на ноември 2022 г., компанията за изкуствен интелект OpenAI имаше малко очаквания. Никой не беше подготвен чатботът да се превърне в мега-хит. Сега създателите на ChatGPT се изненадани от начина, по който тяхното творение стана световна „знаменитост“.
Появата на ChatGPT се разглежда от OpenAI като „предварителен изследователски преглед“, споделя Санхини Агарвал, който отговаря за политиките в компанията. Това е „по-полирана“ версия на двегодишна технология и, което е по-важно, опит за изглаждане на някои на неговите недостатъци чрез събиране на обратна връзка от обществеността.
„Не искахме да го представяме като голям, фундаментален напредък“, казва Лиам Федус, учен в OpenAI, който работи върху ChatGPT. Изглежда, че екипът е объркан от успеха на своята „предварителна версия“, но все пак е грабнал възможността да подобри технологията, наблюдавайки как милиони хора я използват, за да коригира най-осезаемите проблеми.
От ноември OpenAI актуализира ChatGPT няколко пъти. Компанията дори подписа договор за много милиарди долари с Microsoft и обяви партньорство с Bain, глобална консултантска фирма за управление, която планира да използва генеративните AI модели на OpenAI в маркетингови кампании за своите клиенти, включително Coca-Cola. Извън OpenAI шумът около ChatGPT предизвиква „златна треска“ относно големите езикови модели.
Неочакван успех
„Поразително е. Бяхме изненадани и се опитвахме да наваксаме“, казва Ян Лейке, лидер на екипа за подобряване на OpenAI. „Проверявах Twitter често в дните след пускането и имаше един луд период, в който емисията се запълваше с екранни снимки на ChatGPT. Очаквах да бъде интуитивен за хората и да набере последователи, но не очаквах да достигне това ниво на масова популярност“, откровен е Джон Шулман, съосновател на OpenAI.
„Мисля, че определено беше изненада за всички нас колко много хора започнаха да го използват. Работим върху тези модели толкова много, че забравяме колко изненадващи могат да бъдат понякога за външния свят“, признава Сандини Агарвал.
Част от недоумението на екипа идва от факта, че по-голямата част от технологията в ChatGPT не е нова. ChatGPT е фино настроена версия на GPT-3.5, семейство от големи езикови модели, които OpenAI пусна месеци преди чатбота. GPT-3.5 сам по себе си е актуализирана версия на GPT-3, която се появи през 2020 г.
Компанията прави тези модели достъпни на уебсайта си като приложни програмни интерфейси (API), които помагат на други разработчици на софтуер да включват моделите в своя техния собствен код. OpenAI пусна и по-ранна, фино настроена версия на GPT-3.5, наречена InstructGPT, през януари 2022 г. Но нито една от тези предишни версии на технологията не стана такъв хит.
Фина настройка
„Моделът ChatGPT е фино настроен на база същия езиков модел като InstructGPT и използвахме подобна методология за фината му настройка“, казва Федус. „Бяхме добавили разговорни данни и малко настроихме процеса на обучение. Така че не искахме да преувеличаваме и да го представяме като голям, фундаментален напредък. Както се оказа, данните за разговорите имаха голямо положително въздействие върху ChatGPT“.
Според Шулман, чистите технически възможности на бота всъщност не се различават съществено между моделите, разработени от фирмата – разликата е по-скоро в това, че ChatGPT е по-достъпен и използваем.
„В известен смисъл можем да разглеждаме ChatGPT като версия на AI система, която имаме отдавна. Той не е фундаментално по-способен модел от по-ранните версии. Същите основни модели бяха налични почти година преди да излезе ChatGPT“, разказва Федус.
Това, което е различно, е че сега ботът е по-съобразен с очакванията на хората. „Той говори с вас в диалог, лесно е достъпен в интерфейс за чат, опитва се да бъде полезен. Мисля, че това е, което хората осъзнават“, допълва Федус.
Човешка обратна връзка
ChatGPT е обучен по начин, много подобен на InstructGPT, използвайки техника, наречена „подсилващо обучение чрез човешка обратна връзка“ (RLHF). Това е тайната съставка на ChatGPT.
„Имахме голяма група хора, които прочетоха подканите и отговорите на ChatGPT и след това казаха дали даден отговор е за предпочитане пред друг“, разказва Ян Лейке. „След това всички тези данни бяха обединени в едно тренировъчно изпълнение. Почти всичко е същото като това, което направихме с InstructGPT“.
В стремежа да направят бота по-адекватен разработчиците се стараят той да е полезен, да има достоверност. Важен елемент е способността за водене на диалог.
„Понякога заявката на потребителя не е ясна, тогава той трябва да задава последващи въпроси“, казва Лейке. „Трябва също така да се изясни, че това е AI система. Не бива да приема идентичност, която няма, не трябва да твърди, че има способности, които не притежава, и когато потребител поиска от него да изпълнява задачи, които не трябва да прави, следва да напише отказ“.
Висока летва
Тъй като ChatGPT е създаден с помощта на същите техники, които OpenAI е използвал преди, екипът смята, че не е направил нищо различно, когато се е подготвял да пусне този модел към обществеността. Изследователите смятат, че летвата, която са поставили за предишни модели, е достатъчно висока.
„GPT-3.5 вече съществуваше и знаехме, че вече е достатъчно безопасен“, казва Агарвал. „Не можете да чакате, докато системата ви стане перфектна, за да я пуснете. Тествахме бета-версии от няколко месеца и бета-тестерите имаха положителни впечатления от продукта“, споделя Джон Шулман.
„Най-голямото ни притеснение беше около фактологията, защото моделът обича да измисля неща. Но InstructGPT и други големи езикови модели вече са налице и решихме, че щом ChatGPT е по-добър от тях по отношение на фактологията и други проблеми на безопасността, трябва да е готов“, допълва Шулман.
Схватка със злонамереността
OpenAI наблюдава как хората използват ChatGPT от стартирането му. Разработчиците следят как един голям езиков модел се справя, когато бъде поставен в ръцете на десетки милиони потребители, които биха могли да поискат да изпробват неговите ограничения и да намерят недостатъците му.
Екипът се спира на най-проблемните примери за това, което ChatGPT може да произведе – от песни за Божията любов към свещениците-изнасилвачи до зловреден код, който краде номера на кредитни карти – и да ги използва, за да овладее бъдещите версии на модела.
„Определено мисля, че откакто ChatGPT стана хит, той помогна за изкристализирането на много проблеми, за които знаехме, че съществуват – неща, които искаме да разрешим възможно най-скоро. Знаем, че моделът все още е много пристрастен. И да, ChatGPT е много добър в отказването на лоши заявки, но също така е доста лесно да напишете подкани, които го карат да не отказва това, което ние искаме да откаже“, казва Агарвал.
„Беше вълнуващо да гледаме разнообразните и креативни приложения от потребителите. Но ние винаги сме фокусирани върху областите, които трябва да подобрим“, откровен е Федус. Множеството итерации позволяват да се използва наличната обратна връзка за усъвършенстването на системата. „С развитието на нашата технология неизбежно възникват нови проблеми“.
Екипът е отделил доста време на това да разгледа някои от най-ужасните примери, които хората са открили – най-злонамерените приложения на системата с изкуствен ум. Наричат ги „бягство от затвора“ – ситуации, в които все пак някой успява да накара софтуера да прави нещо, което не бива.
„Потребителите трябва да изпробват тези сложни методи, за да накарат модела да каже нещо лошо. Активно работим по проблемите в момента“, споделя Агарвал. Всички тези подобрения ще залегнат в следващата итерация на езиковия модел.
Междувременно през януари Microsoft разкри Bing Chat – чатбот за търсене, който мнозина смятат за версия на официално необявения GPT-4 на OpenAI. Използването на чатботове от технологични гиганти с многомилиардна репутация създава нови предизвикателства за екипа, натоварен с изграждането на популярния езиков модел.