“Сенчестите” AI приложения в бизнеса стават все по-голямо предизвикателство за отговорниците по киберзащитата (графика: CC0 Public Domain, генериран от AI)
Технологичните ръководители, които планират да увеличат финансирането за киберсигурност тази година (87%), са повече от тези, които обмислят да увеличат финансирането за AI (84%), разкри ново проучване на Gartner. В тази ситуация обаче няма лесен и еднозначен отговор на въпроса как да постигнем най-добра сигурност. Всъщност с нея винаги ще има компромис, смятат анализаторите – въпросът е какъв.
Ръководителите на ИТ отдели и отдели по инфосигурност следва да поемат „интелигентни рискове“ в ерата на изкуствения разум. За това призоваха анализаторите на Gartner, които проведоха своята „среща на върха“ за сигурността и управлението на риска в Сидни тази седмица. Събитието премина на фона на продължаващия шум около изкуствения интелект (AI) и киберсигурността – въпреки че анализаторите признаха, че „истерията често съдържа зрънце истина“.
Няма такова нещо като перфектна защита, подчерта вицепрезидентът по изследванията на Gartner Кристин Лий. По-високите нива на защита намаляват риска, но струват повече; по-слабата защита намалява разходите, но същевременно увеличава риска. Признавайки това, мениджърите по инфосигурността следва да мислят как да се постигне „споразумение“ относно подходящото ниво на защита за организацията, добави тя.
За да намерят правилния баланс, ръководителите по киберзащитата могат да прибегнат до комбинация от споразумения за ниво на защита (PLA), които са подобни на споразумения за ниво на обслужване, и метрики, управлявани от резултатите (ODM).
AI и киберсигурност
AI, разбира се, е най-наболялата тема, която не може да остане встрани от въпроса за киберзащитата. За да овладеят ситуацията, мениджърите могат да разчитат на три стъпки, препоръчват анализаторите: култивиране на AI грамотност, стимулиране на експериментирането с AI и укрепване на AI инициативите с мерки за многостранна сигурност.
AI следва да се разглежда с „ума на начинаещ“, казват от Gartner. Подобен подход може да помогне за идентифициране на жизнеспособни сценарии на употреба на изкуствения интелект. Но препоръката не означава да се стимулира „пълното невежество“. Постоянно трябва да се работи за подобряване на AI грамотността в рамките на организацията. Тази грамотност може да помогне за отговорното и продуктивно използване на AI в бизнеса.
Препоръката да се експериментира е свързана с постоянното търсене на нови и нови възможности. Въпреки всичко организациите трябва да използват AI целенасочено, а не просто да си правят опити „напосоки“. Екипите от всички отдели в дадена организация следва да се водят винаги от въпроса „какво добро може да направи AI за нашия конкретен сценарий на употреба?“.
Сенчестите AI
Тъй като 98% от анкетираните организации казват, че са възприели или планират да възприемат генеративен AI в работата си, главните служители по информационна сигурност не могат да седят със скръстени ръце.
Експертите на Gartner предлагат да се използват инструменти за откриване, за да се разкрият всякакви примери за изкуствен интелект „в сянка“, а след това да се помогне за идентифициране и отстраняване на рисковете за сигурността – като например изтичане на данни. Блокирането на такива приложения не е добра идея – то трябва да се прилага само в ситуации, при които рисковете надвишават ползите и няма никакво алтернативно решение.
Изкуственият интелект „в сянка“ следва да се разглежда като един от най-важните проблеми около генеративния AI за CISO и техните екипи, казва анализаторът на Gartner Пийт Шорд. Става дума за широка гама от генеративни AI уеб-продукти, които могат да се използват от всички в организацията, и вграждането на AI във все повече „ежедневни продукти“. Тези инструменти могат да помогнат на хората да работят по-ефективно, но пък идват с редица рискове, включително изтичане на данни, свръхсподеляне, неоткрити неточности и дори използването на активно злонамерени приложения.
За да се намалят рисковете от сенчестия AI, Шорд предлага да се идентифицират различни роли в рамките на организацията, като например създаване на съдържание, и на тази база да се определят основните рискове – например, увреждане на репутацията. Когато има яснота по този въпрос, може да бъде разрешено използването на подходящ AI инструмент, заедно с приемливи случаи на употреба, като например производството на нетехническо съдържание.
Създаването на подобна политика не е достатъчно. Нужно е въвеждане на начини за наблюдение на „необичайни“ случаи на използване. За да може контролът да се реализира в мащаб, ще са нужни както автоматизация, така и добро управление на изключенията. Затова организациите трябва да оценят инструментите за контрол на използването на AI с оглед на лекотата на внедряване, дълбочината на контролите и дългосрочната жизнеспособност на доставчика.
Когато организациите изграждат свои собствени AI приложения, най-добре е екипът по сигурността да работи заедно с AI екипа още от най-ранните етапи на проекта, за да гарантира, че се обръща необходимото внимание на поверителността, сигурността и съответствието.
Проблеми със сигурността в ерата на AI
В краткосрочен план проблемите на AI, които заслужават внимание от страна на CISO, включват използването на майсторски фалшификати при измами и фишинг, както и атаки срещу AI системите, независимо дали са директни или по веригата от инструменти, според почетния вицепрезидент и анализатор на Gartner Лий Макмълън.
„Най-добрият контрол, който можем да въведем, е човешкият контрол“ срещу майсторските фалшификати , казва Макмълън. Това включва създаване на сигурни канали за комуникация с истински човек, ако възникне дори най-малкото съмнение за майсторска фалшификация.
Примери за директна атака на AI модел включват захранването му с „лоша информация“, която засяга изходящия резултат. Така например, група художници са открили, че са в състояние да вградят информация на ниво подпиксел в изображения – и подаването на само три такива изображения в голям езиков модел (LLM) е достатъчно, за да го накара да изкриви изходящия резултат, например да генерира снимка на котка, когато бъде поискана снимка на куче. „Това няма да смути нашия бизнес, но какво би станало, ако някой направи същото с правилата за подписване?“, попита той.
Друга нова атака включва вграждане на „лоша информация“ във видео-субтитрите и позиционирането им извън екрана, така че да са видими за AI, който се опитва да разбере какво се случва във видеото, но не и за човека, който го гледа. „Ако можем да променим това, което AI вярва, че светът е, вие променяте неговия умствен модел“, каза Макмълън.
Особено подъл подход е да се създаде ситуация, при която AI халюцинира софтуерен инструмент, който всъщност не съществува, и след това тази халюцинация се мащабира до положението, при което се появява в отговор на други подкани. При това положение нападателят може да вкара злонамерен софтуер, маскиран като въпросния софтуерен инструмент, и програмата да се се изтегля от жертвите, без да подозират какво се случва. „Това е подобно на онези техники за оптимизиране за търсачките, които познаваме… но на много, много различно ниво“, обясни анализаторът.