Бившият главен служител по безопасността в OpenAI, който наскоро подаде оставка, разкритикува подхода на компанията към безопасността на изкуствения интелект, като изтъкна, че културата на бързо темпо и фокус върху скоростното развитие увеличава риска от провали.
Компаниите за AI, включително OpenAI, не проявяват „достатъчно предпазливост“, написа Дейвид Робинсън, доскоро главен експерт по сигурността в OpenAI, в статията си „Напускам OpenAI, защото културата там е съсипана“, публикувана в The Atlantic в събота. Той посочи, че AI компаниите трябва да поставят по-голям акцент върху експертните познания и изследванията в областта на безопасността, преди да разработват по-мощни системи.
„Времето за проба-грешка изтече“, пише Робинсън, като се аргументира, че усъвършенстваните ИИ системи изискват защитни механизми, подобни на тези, използвани в индустрии като ядрената енергетика и авиацията.
Робинсън отбелязва, че OpenAI разчита до голяма степен на т.нар. „итеративно внедряване“ – пускане на системи в експлоатация и засилване на защитните мерки едва след възникване на проблеми.
Тези коментари се вписват в дебата в рамките на AI индустрията по въпроса дали компаниите не се движат твърде бързо при разработването на все по-мощни системи. OpenAI и конкурентната компания Anthropic попаднаха под засилен контрол след инциденти, при които защитните механизми са отказали или експериментални системи са се държали по неочакван начин.
Робинсън, който е работил в OpenAI три години и половина, участвал е в изготвянето на рамката за готовност на компанията и е наблюдавал докладите за безопасност при пускането на 12 модела от най-ново поколение, пише: „Докато компанията препуска от едно пускане на продукт към следващото, тя не успява да постигне нивото на предпазливост, което – според мен – е необходимо“.
„Ние се грижим моделите ни да не стават по-способни, отколкото можем безопасно да управляваме и защитаваме, и спираме обучението или задържаме моделите, когато е необходимо да забавим темпото“, се казва в изявление на говорител на OpenAI.
Робинсън също така предупреди, че възможностите на AI се развиват по-бързо, отколкото изследователите разбират концепцията за „съгласуване“ (alignment) – област, фокусирана върху това да се гарантира, че системите с изкуствен разум действат в съответствие с човешките цели и ценности.
Напускането на Робинсън се разглежда като пореден удар по системата за сигурност на компанията, която наскоро уволни трима служители заради изтичане на поверителна информация към трети страни.
OpenAI попадна в центъра на общественото внимание след поредица от сериозни инциденти, свързани със сигурността на моделите с изкуствен интелект, включително широко отразения пробив в сигурността на платформата Hugging Face. Сега OpenAI е изправена пред съдебни дела заради пробива в Hugging Face и заради предполагаемо пренебрегване на рисковете, свързани с автономния изкуствен интелект.
По-рано през септември Робинсън изрази мнение в платформата X, че служителите на OpenAI започват да осъзнават последиците от внедряването на върховите модели с изкуствен интелект. Той отбеляза, че ситуацията в компанията се променя динамично – буквално ден след ден – и постави под въпрос дали екипът реагира достатъчно бързо на тези промени.
Напускането на Робинсън от OpenAI идва след оттеглянето на изследователя Джейкъб Коксън от Anthropic. Коксън беше предупредил, че Anthropic и OpenAI „се надпреварват към създаването на самоусъвършенстващ се свръхинтелект и излагат живота ни на риск“.
