Създателите на софтуер с отворен код се „давят” в доклади за несъществуващи грешки
(снимка: CC0 Public Domain)
Изкуственият интелект се превърна в предизвикателство за разработчиците на софтуер с отворен код. За да намерят грешки в него, “ловците” на бъгове започнаха да използват невронни мрежи, което води до AI халюцинации и затрупва програмистите с доклади за грешки, които не съдържат никаква полезна информация. Но въпреки това разработчиците трябва да отделят много време за проверка на всяка една от тях.
Създателите на софтуер с отворен код се давят в доклади за грешки, написани от невронни мрежи, отбелязва The Register в публикация по темата. Ловците на грешки с отворен код (т.нар. buughunters) започнаха активно да използват невронни мрежи, за да помогнат на програмистите, но всъщност ги затрупват с безполезни доклади за несъществуващи грешки.
Боклучиви доклади за грешки
Навлизането на изкуствения интелект в ловуването на бъгове постави началото на „нова ера на некачествени доклади за сигурността на отворения код”. Разработчиците, поддържащи проекти с отворен код, вече открито заявяват, че ловците на грешки в програмния код трябва да разчитат по-малко на резултатите, получени с помощта на невронни мрежи.
Въпросът за боклучивите доклади се повдига на много високо ниво. Сред тези, които обръщат внимание на проблема, е разработчикът на сигурността в Python Software Foundation – Сет Ларсън.
В началото на декември 2024 г. Ларсън призова в блог публикация всички ловци на грешки в кода да не използват изкуствен интелект в работата си. „Напоследък забелязах ръст на изключително нискокачествени, спам и халюцинирани от LLM доклади за сигурност в проектите с отворен код”, пише той.
Ларсън също припомни, че през януари 2024 г. разработчиците на Curl, помощна програма за различни платформи, се сблъскаха с подобен проблем. Той дискутира също способността на генерираните безполезни доклади за грешки да имитират правилни доклади, изготвени от истински експерти.
„Тези доклади изглеждат на пръв поглед потенциално легитимни и следователно изискват време за опровергаване”, казва Ларсън.
Разработчиците се бунтуват
Проблемът с генерираните доклади за грешки за Curl се появи преди почти година, но все още не е решен. Един от поддържащите проекта, Даниел Стенберг, заяви по-рано този месец, че халюцинации на невронната мрежа, изпратени под прикритието на доклади за грешки, продължават да пристигат при него. Стенберг се оплака, че губи време в комуникация и спорове с подателите на такива доклади.
„Получаваме този вид AI боклук редовно и в големи количества. Вие допринасяте за ненужно бреме върху разработчиците на Curl, аз отказвам да приема това и се ангажирам да го реша бързо. Сега и в бъдеще”, закани се Стенберг.
„Вие ни предоставяте нещо, което изглежда като очевиден доклад на AI, в който казвате, че има проблем със сигурността, вероятно защото AI ви е подмамил да повярвате в това”, продължи Стенберг. „След това ни губите времето, като не ни казвате, че AI е направил доклада вместо вас, и продължавате дискусията с още по-измамни отговори – вероятно също генерирани от AI”.
Замърсяване на целия интернет
Спам и нискокачествено онлайн съдържание съществуваше много преди чатботовете, но генеративните невронни мрежи направиха създаването му по-лесно и по-бързо от всякога. Резултатът е „замърсяване” на журналистиката, уеб търсенията и социалните мрежи, според анализаторите на The Register.
За проекти с отворен код докладите за грешки, генерирани от AI, са особено вредни, защото изискват преглед и оценка от инженери по сигурността (много от които са доброволци), притиснати от липсата на време.
Макар да вижда относително малко нискокачествени AI доклади за грешки (по-малко от десет на месец), Ларсън смята, че това може да е само началото. „Каквото се случи с Python или pip, вероятно ще се случи с повече проекти”, казва той.
„Най-много ме притесняват поддържащите, които работят изолирано [далеч от общността]. Ако не знаят, че генерираните от AI доклади са нещо обичайно, може да не разпознаят какво се случва, преди да загубят много време за фалшиви доклади. Губенето на ценно доброволческо време за нещо, което не харесвате, е най-сигурният начин да обезсърчите поддържащите да работят”, заключи Ларсън.
В търсене на решение
Ларсън смята, че общността на отворения код трябва да бъде проактивна, за да смекчи потенциалните щети.
„Колебя се да кажа, че „повече технология” е това, което ще реши проблема. Мисля, че сигурността на отворения код се нуждае от някои фундаментални промени. Не може да да бъде оставена на малък брой поддържащи, нуждаем се от повече нормализиране и прозрачност около техния принос към отворения код”, каза той пред The Register.
„Трябва да си отговорим на въпроса: „как да накараме повече доверени хора да участват в общността на отворения код?”. Финансирането на персонала е един от отговорите – като моята собствена безвъзмездна помощ чрез Alpha-Omega, а участието под формата на дарено време на персонала е друг отговор”, каза Ларсън.
Докато общността на отворения код обмисля как да реагира, Ларсън моли подателите на грешки да не му изпращат доклади, докато не бъдат прегледани от човек, и да не използват AI, защото “тези системи днес не могат да разберат кода”.
Той също така призова платформите, които приемат доклади за уязвимости, да предприемат стъпки за ограничаване на автоматизираното или злонамерено генериране на доклади за сигурност.