Инструмент с изкуствен интелект, призван да помага в разработката на софтуер, причини огромна щета – изтри кода на голям софтуерен проект вместо само да почисти временните файлове, както се очакваше от него.
Потребител на Windows 11 съобщи в GitHub, че по време на анализ, свързан със състезание по машинно обучение, AI помощникът Claude Code стартирал спомагателен агент. Поради грешка в командата, този агент започнал да изтрива лични файлове и ИТ проекти, вместо временни такива.
Процесът на изтриване продължил 50 минути. По-голямата част от файловете (116 GB) не са могли да бъдат възстановени; кошчето (Recycle Bin) било празно, а са оцелели само част от проектите, тъй като те били запазени в GitHub.
„Задачата е изпълнена успешно”
Инцидентът възникнал, след като потребителят възложил на Claude Code задачата да анализира състезание по машинно обучение (ML). По време на процеса системата стартирала спомагателни агенти, задвижвани от изкуствен интелект. Един от тези агенти решил да премахне временните файлове, останали след анализа.
Поради грешка в генерираната команда, AI започнал да изтрива личните данни на потребителя, вместо временните файлове. Програмистът се опитал да спре работата на AI агента и получил потвърждение, че „задачата е успешно спряна”.
В действителност обаче изтриването на файлове в операционната система Windows 11 продължило. Процесът се проточил около 50 минути, след което ИТ системата докладвала, че „задачата е изпълнена успешно”.
Claude Code извършил проверка за наличието на стандартни потребителски папки (Documents, Downloads и т.н.). След като открил, че папките са налице, AI заключил, че не е настъпила загуба на данни – въпреки че реалното съдържание на тези папки вече било изтрито.
Не било възможно пълното възстановяване на изтритите данни. Макар че някои ИТ проекти били запазени в хранилища в GitHub, по-голямата част от файловете са безвъзвратно загубени.
След като Claude Code приключил задачата, се оказва, че кошчето на работния плот е празно – въпреки изричната инструкция то да не бъде докосвано.
Историята на Claude Code
Claude Code е инструмент за програмиране, базиран на изкуствен интелект и разработен от компанията Anthropic. Той е създаден, за да разшири възможностите на големия езиков модел Claude.
Първоначално пуснат като приложение с интерфейс за команден ред (CLI), в момента Claude Code е достъпен чрез разширения за Visual Studio Code и JetBrains, както и чрез настолни и уеб приложения.
По отношение на функционалността си, Claude е подобен на други невронни мрежи, като ChatGPT или Google Gemini. Той може да се използва за анализ на текстови документи на различни езици, създаване на изображения, генериране и отстраняване на грешки в код на езици за програмиране, както и за провеждане на задълбочени проучвания.
