TechNews.bg
Водещи новиниИзкуствен интелектНоваторскиНовиниСигурностТоп новини

Mistral предлага AI модел с отворен код – какво значи това за бизнеса в ЕС

Хостването на AI модел в собствена инфраструктура прави организацията отговорна за прилагането на корекции, мониторинга, евентуалните злоупотреби

(илюстрация: TechNews.bg, AI)

Модел с изкуствен интелект с трилиони параметри, за който разработчикът му твърди, че може да помогне на зложелатели да извършват реални кибератаки, вече е безплатен за изтегляне, модифициране и изпълнение извън контрола на разработчика. Mistral AI пусна т.нар. отворени тегла на Mistral Large 4, който нарича „Le Chonk“. Парижката компания заяви, че е наблюдавала използването на прегледа, свързано с киберсигурността, в реален трафик.

„Въпреки че наблюдавахме, че моделът отказва да се съобразява с атаки от типа „черна кутия“ срещу реални цели, виждаме потенциал за повишаване на нивото на защита за провеждане на реални атаки“, написа компанията в публикация в блога, обявявайки изданието.

Mistral модифицира защитните мерки на модела и ще продължи да ги актуализира през следващите месеци, се добавя в публикацията.

Защитните мерки спират при API

Тези актуализации няма да достигнат до вече изтеглените копия. Пиер Сток, вицепрезидент по науката в Mistral, каза, че моделът се доставя с вградени предпазни мерки, но по-късните промени ще бъдат направени другаде.

„Последващите актуализации на предпазните мерки се прилагат към нашия управляван API и бъдещите издания на модела, вместо автоматично да се актуализират изтеглените контролни точки“, каза Сток.

Що се касае до атаките, най-значимите ползи са в защитната работа, като например идентифициране, възпроизвеждане и отстраняване на софтуерни уязвимости.

„Докато нашият публичен мониторинг на предварителния преглед показа, че моделът отказва атаки срещу живи цели, ние разпознаваме потенциала за злоупотреба с развитието на възможностите и непрекъснато укрепваме нашите предпазни мерки“, каза той.

Домакинът Hugging отбеляза в собствена публикация, че отворените тегла поставят както политиката за използване, така и внедряването под контрола на потребителя.

През юли Институтът за сигурност на изкуствения интелект в Обединеното кралство съобщи, че водещите модели с отворени тегла изостават от затворените „гранични“ модели по отношение на киберзадачите с четири до седем месеца. Според института, при високоспособни модели публичното им предоставяне създава „постоянен и необратим риск от злонамерена употреба“.

Разпознаване на злонамерените действия

От Mistral твърдят, че отвореният модел може да прави разлика между легитимни заявки за защита и злонамерени такива. Според компанията, „Large 4“ е отхвърлил 96,6% от злонамерените заявки в разделите, свързани с киберсигурността, от бенчмарковете JailbreakBench, StrongREJECT и AgentHarm – най-високия показател, отчетен от тях сред моделите с отворен достъп.

Нияти Дафтари, главен анализатор в Gartner, отбелязва, че ръководителите по сигурността трябва да тълкуват тази цифра предпазливо.

„Показателят от 96,6% на Mistral показва как моделът се представя в техния конкретен тестов сценарий, но не и как ще реагира при работа с вашите данни, при специфични ваши сценарии на злонамерена употреба или в реална работна среда, изправен пред мотивирани нападатели“, казва тя.

Що се отнася до специализирана версия за киберсигурност, Mistral прилага различен подход. Партньори, участващи в разработката, получават ранен достъп до версия, оптимизирана за тестове за проникване (penetration testing), оценка на уязвимости и симулирани атаки (red-teaming).

В публикацията се посочва, че достъпът подлежи на „строга проверка и договорни гаранции“, като е ограничен единствено до системи, които са собственост на партньорите или за чието тестване те имат изрично разрешение.

Бенчмаркове и задължения съгласно изискванията на ЕС

Компанията съобщи, че моделът е постигнал резултат от 51% в индекса „Artificial Analysis Cyber ​​Index“, който измерва доколко ефективно един модел открива, възпроизвежда и коригира уязвимости. Графиката в публикацията на Mistral показва два други модела с отворен достъп – DeepSeek V4.1 Flash и MiMo-V2.6-Pro – които постигат по-високи резултати.

От Mistral също така определят Large 4 като най-добрия модел с отворени тегла за програмиране, позовавайки се на водещи резултати в бенчмарковете FrontierCode 2.0 и Terminal-Bench 4.0 на компанията Cognition. Техническият доклад, обосноваващ тези резултати, все още не е публикуван, като от Mistral посочват единствено, че такъв предстои да излезе скоро.

Контекст

ENISA – Агенцията на ЕС за киберсигурността – съобщи в изявление, придружаващо съобщението на Mistral, че тества модела с цел откриване на уязвимости, одит на код и анализ на логове, свързани със защитата.

Според Европейската комисия, съгласно Законодателния акт на ЕС за изкуствения интелект (EU AI Act), за моделите, обучени с повече от 10^25 операции с плаваща запетая (FLOPs), се предполага, че носят системен риск. Доставчиците на такива модели са длъжни да оценяват и смекчават тези рискове, да докладват за сериозни инциденти и да поддържат мерки за киберсигурност.

В публикацията на Mistral не се уточнява дали Large 4 попада в тази категория, нито каква оценка на риска е била извършена преди пускането на модела.

Сток заяви, че Mistral е пълноправен участник в Кодекса за добри практики за AI с общо предназначение (General-Purpose AI Code of Practice) на ЕС – включително в раздела, посветен на безопасността и сигурността, – което според Европейската комисия е един от начините за доказване на съответствие с изискванията. Той не уточни дали Large 4 е класифициран като модел със системен риск.

Какво означава това за предприятията?

От Mistral съобщиха, че моделът е пуснат под модифициран лиценз MIT, който позволява използване, промяна, донастройване (fine-tuning) и комерсиализация. За бизнеса, който предлага модела като услуга (model-as-a-service), е необходим отделен лиценз.

За тези, които предпочитат да не хостват модела сами, Mistral предлага API, като цената е 0,70 долара за един милион входни токени и 2,10 долара за един милион изходни токени.

Според компанията, за европейските купувачи технологичният суверенитет е „значим разграничителен фактор, но той не бива да бъде за сметка на съображенията за сигурност“. При при моделите с отворени тегла, които се хостват самостоятелно, отговорността за въвеждането на предпазни механизми, контрол на достъпа, мониторинг и предотвратяване на злоупотреби пада върху самия оператор.

Дафтари посочи, че предприятията, които хостват Large 4 самостоятелно за целите на одит на код или анализ на уязвимости, трябва да го използват като контролиран компонент, а не като автономен агент.

Това означава изолирани среди, достъп до код и идентификационни данни въз основа на принципа за минимални привилегии, изпълнение на генерирания код в изолирана среда (т.нар. „пясъчник“), както и одобрение от човек, преди да се предприемат каквито и да е коригиращи действия.

още от категорията

Тръмп уволни шефа по киберсигурността след серията технологични сривове

TechNews.bg

Светът се умори от изкуствения интелект: „човешки” е дума на годината

TechNews.bg

Google осигури безплатен Gemini Task за стотици милиони потребители

TechNews.bg

Чатботът трябва да разбира културните различия, за да печели доверие

TechNews.bg

Заваляха съдебни искове срещу създателя на ChatGPT

TechNews.bg

Изкуствен интелект анализира съня с точност до секунда

TechNews.bg

Коментари