До 2028 г. половината организации по света ще внедрят подход на „нулево доверие“ за управление на данните си, прогнозира Gartner. Причината е в разпространението на непроверени данни, генерирани от AI, из корпоративните системи и публичните източници.
Тенденцията е закономерно следствие от ръста на изкуственото съдържание. Става все по-трудно то да бъде разграничено от действителната информация, създадена от хора. Това е риск и за големите езикови модели, които се обучават с масивни набори от данни от отворената мрежа.
„Организациите вече не могат да се доверяват на данните по подразбиране. Не могат и да приемат, че те са създадени от хора“, казва Уан Фуи Чан, управляващ вицепрезидент в Gartner.
Анализаторската компания отбелязва, че големите езикови модели обикновено се обучават с данни, „изчегъртани“ от глобаната мрежа. Те включват книги, статии, кодови хранилища, научни публикации – какво ли не.
Част от тези източници вече съдържат материали, генерирани от изкуствен интелект. Ако сегашните тенденции продължат, делът на синтетичното съдържание ще нарасне значително.
Надеждност на моделите
Gartner предупреждава за риск бъдещите поколения езикови модели да се обучават върху изходящото съдържание от по-стари модели. Това увеличава вероятността от т.нар. „колапс на моделите“. Под този термин се разбира ситуация, в която отговорите на AI инструментите вече не отразяват реалността.
Темата е свързана и с нарастващия регулаторен натиск. В някои региони може да се въведат правила за проверка на „данни, свободни от AI“. Изискванията вероятно ще се различават значително между отделните юрисдикции.
„Когато AI-генерираните данни станат повсеместни и неразличими от човешките, подходът на нулевото доверие става ключов“, казва Чан. „Той изисква удостоверяване и верификация, за да се защитят бизнесът и финансовите резултати“.
В потвърждение на проблема проучване на Gartner – „CIO and Technology Executive Survey“ – сочи, че 84% от ИТ директорите очакват увеличение на инвестициите в генеративен AI през 2026 г. Повсеместното внедряване на AI ще доведе до още повече AI-генерирано съдържание в организациите.
Преход към управление с нулево доверие
Подходът „нулево доверие“ произхожда от киберсигурността. Той цели намаляване на имплицитното доверие в мрежите и по-строга проверка на идентичностите. Gartner прилага същата логика към управлението на данни в контекста на AI и машинно генерираната информация.
Организациите ще имат нужда от по-силни процеси за удостоверяване, верификация и проследяване на произхода на данните. Ще е необходимо и идентифициране и маркиране на AI-генерираните данни, докато преминават през всевъзможни системи, продукти и отчети.
Gartner очаква регулаторните изисквания за проверка на „данни, свободни от AI“, да се засилят в някои региони. В други ще се възприеме по-гъвкав подход. Затова всички организации трябва да могат ясно да разпознават и обозначават съдържанието, генерирано от AI.
Успехът ще зависи от подходящите инструменти. Необходим е и подготвен персонал в управлението на информацията и знанията. Ключова роля ще имат решенията за управление на метаданни и каталози на данни.
Фокус върху метаданните
Gartner подчертава, че активното управление на метаданни ще става все по-важно. Организациите ще работят със смесени набори от данни – човешки, машинни и генерирани от AI. Метаданните ще се използват за анализ и автоматизирано вземане на решения. Те ще помагат и за сигнали, когато данните остареят или трябва да бъдат повторно сертифицирани.
Ще бъдат налице редица оперативни рискове, възникващи, когато критични системи използват неточна или изкривена информация. Рисковете могат да засегнат и финансовите резултати, тъй като данните се използват за прогнози, подпомагане на решения и взаимодействие с клиентите.
Роли в управлението
Gartner препоръчва организациите да назначат мениджър по AI управление. Той трябва да отговаря за политиките за нулево доверие, управлението на рисковете от AI съдържание и съответствието с регулациите. Тази роля следва да работи в тясно сътрудничество с екипите по данните и анализите.
Желателно е и да се създадат междудисциплинарни екипи. В тях трябва да участват експерти по киберсигурност и данни. Основните им задачи ще са да провеждат оценки на риска и да определят кои заплахи се покриват от съществуващите политики и кои изискват нови стратегии.
Gartner препоръчва надграждане на съществуващите рамки за управление на данни, така че политиките за сигурност, метаданни и етика да се актуализират.
