Модел с изкуствен интелект с трилиони параметри, за който разработчикът му твърди, че може да помогне на зложелатели да извършват реални кибератаки, вече е безплатен за изтегляне, модифициране и изпълнение извън контрола на разработчика. Mistral AI пусна т.нар. отворени тегла на Mistral Large 4, който нарича „Le Chonk“. Парижката компания заяви, че е наблюдавала използването на прегледа, свързано с киберсигурността, в реален трафик.
„Въпреки че наблюдавахме, че моделът отказва да се съобразява с атаки от типа „черна кутия“ срещу реални цели, виждаме потенциал за повишаване на нивото на защита за провеждане на реални атаки“, написа компанията в публикация в блога, обявявайки изданието.
Mistral модифицира защитните мерки на модела и ще продължи да ги актуализира през следващите месеци, се добавя в публикацията.
Защитните мерки спират при API
Тези актуализации няма да достигнат до вече изтеглените копия. Пиер Сток, вицепрезидент по науката в Mistral, каза, че моделът се доставя с вградени предпазни мерки, но по-късните промени ще бъдат направени другаде.
„Последващите актуализации на предпазните мерки се прилагат към нашия управляван API и бъдещите издания на модела, вместо автоматично да се актуализират изтеглените контролни точки“, каза Сток.
Що се касае до атаките, най-значимите ползи са в защитната работа, като например идентифициране, възпроизвеждане и отстраняване на софтуерни уязвимости.
„Докато нашият публичен мониторинг на предварителния преглед показа, че моделът отказва атаки срещу живи цели, ние разпознаваме потенциала за злоупотреба с развитието на възможностите и непрекъснато укрепваме нашите предпазни мерки“, каза той.
Домакинът Hugging отбеляза в собствена публикация, че отворените тегла поставят както политиката за използване, така и внедряването под контрола на потребителя.
През юли Институтът за сигурност на изкуствения интелект в Обединеното кралство съобщи, че водещите модели с отворени тегла изостават от затворените „гранични“ модели по отношение на киберзадачите с четири до седем месеца. Според института, при високоспособни модели публичното им предоставяне създава „постоянен и необратим риск от злонамерена употреба“.
Разпознаване на злонамерените действия
От Mistral твърдят, че отвореният модел може да прави разлика между легитимни заявки за защита и злонамерени такива. Според компанията, „Large 4“ е отхвърлил 96,6% от злонамерените заявки в разделите, свързани с киберсигурността, от бенчмарковете JailbreakBench, StrongREJECT и AgentHarm – най-високия показател, отчетен от тях сред моделите с отворен достъп.
Нияти Дафтари, главен анализатор в Gartner, отбелязва, че ръководителите по сигурността трябва да тълкуват тази цифра предпазливо.
„Показателят от 96,6% на Mistral показва как моделът се представя в техния конкретен тестов сценарий, но не и как ще реагира при работа с вашите данни, при специфични ваши сценарии на злонамерена употреба или в реална работна среда, изправен пред мотивирани нападатели“, казва тя.
Що се отнася до специализирана версия за киберсигурност, Mistral прилага различен подход. Партньори, участващи в разработката, получават ранен достъп до версия, оптимизирана за тестове за проникване (penetration testing), оценка на уязвимости и симулирани атаки (red-teaming).
В публикацията се посочва, че достъпът подлежи на „строга проверка и договорни гаранции“, като е ограничен единствено до системи, които са собственост на партньорите или за чието тестване те имат изрично разрешение.
Бенчмаркове и задължения съгласно изискванията на ЕС
Компанията съобщи, че моделът е постигнал резултат от 51% в индекса „Artificial Analysis Cyber Index“, който измерва доколко ефективно един модел открива, възпроизвежда и коригира уязвимости. Графиката в публикацията на Mistral показва два други модела с отворен достъп – DeepSeek V4.1 Flash и MiMo-V2.6-Pro – които постигат по-високи резултати.
От Mistral също така определят Large 4 като най-добрия модел с отворени тегла за програмиране, позовавайки се на водещи резултати в бенчмарковете FrontierCode 2.0 и Terminal-Bench 4.0 на компанията Cognition. Техническият доклад, обосноваващ тези резултати, все още не е публикуван, като от Mistral посочват единствено, че такъв предстои да излезе скоро.
Контекст
ENISA – Агенцията на ЕС за киберсигурността – съобщи в изявление, придружаващо съобщението на Mistral, че тества модела с цел откриване на уязвимости, одит на код и анализ на логове, свързани със защитата.
Според Европейската комисия, съгласно Законодателния акт на ЕС за изкуствения интелект (EU AI Act), за моделите, обучени с повече от 10^25 операции с плаваща запетая (FLOPs), се предполага, че носят системен риск. Доставчиците на такива модели са длъжни да оценяват и смекчават тези рискове, да докладват за сериозни инциденти и да поддържат мерки за киберсигурност.
В публикацията на Mistral не се уточнява дали Large 4 попада в тази категория, нито каква оценка на риска е била извършена преди пускането на модела.
Сток заяви, че Mistral е пълноправен участник в Кодекса за добри практики за AI с общо предназначение (General-Purpose AI Code of Practice) на ЕС – включително в раздела, посветен на безопасността и сигурността, – което според Европейската комисия е един от начините за доказване на съответствие с изискванията. Той не уточни дали Large 4 е класифициран като модел със системен риск.
Какво означава това за предприятията?
От Mistral съобщиха, че моделът е пуснат под модифициран лиценз MIT, който позволява използване, промяна, донастройване (fine-tuning) и комерсиализация. За бизнеса, който предлага модела като услуга (model-as-a-service), е необходим отделен лиценз.
За тези, които предпочитат да не хостват модела сами, Mistral предлага API, като цената е 0,70 долара за един милион входни токени и 2,10 долара за един милион изходни токени.
Според компанията, за европейските купувачи технологичният суверенитет е „значим разграничителен фактор, но той не бива да бъде за сметка на съображенията за сигурност“. При при моделите с отворени тегла, които се хостват самостоятелно, отговорността за въвеждането на предпазни механизми, контрол на достъпа, мониторинг и предотвратяване на злоупотреби пада върху самия оператор.
Дафтари посочи, че предприятията, които хостват Large 4 самостоятелно за целите на одит на код или анализ на уязвимости, трябва да го използват като контролиран компонент, а не като автономен агент.
Това означава изолирани среди, достъп до код и идентификационни данни въз основа на принципа за минимални привилегии, изпълнение на генерирания код в изолирана среда (т.нар. „пясъчник“), както и одобрение от човек, преди да се предприемат каквито и да е коригиращи действия.
