Моделът с изкуствен интелект Mythos AI на Anthropic потвърди репутацията си на най-добрия инструмент за търсене на уязвимости, но резултатите му в други задачи са „смесени“. XBOW – компания, която разработва AI инструменти за тестване на системната сигурност – проведе серия от независими тестове на Mythos Preview и обобщи, че модeлът си има своите слабости.
Според експертната оценка, Mythos Preview представлява значително подобрение спрямо всички съществуващи модели, независимо от доставчика. Mythos се справя отлично с идентифицирането на проблеми, когато бива тестван на работеща система с достъп до изходния код, но се представя по-зле, когато анализира кода изолирано.
Преди двадесет години американският компютърен учен Гари Макгроу отбеляза, че софтуерните грешки възникват на пресечната точка между грешки в кода и архитектурни недостатъци – те не могат да бъдат открити просто чрез изследване на кода ред по ред, ова изисква разбиране на системата на по-високо ниво.
Сега XBOW подчертава, че макар всеки модел с изкуствен интелект да може да открие нещо интересно, „нещо“ не е същото като „всичко“.
В оценката на производителността – способността моделът да разграничава реални уязвимости от фалшиво положителни – Mythos е по-добър от своите предшественици в отхвърлянето на фалшиво положителни резултати, но понякога пропуска реални уязвимости, когато доказателствата формално не отговарят на критериите му. Моделът постига най-добрите си резултати с прецизно формулирани заявки.
Mythos демонстрира значителна сила в обратното инженерство (възстановяване на програмната логика без достъп до изходния код) и анализа на нативния код.
XBOW заключава, че моделът е способен да извършва триаж – приоритизиране и филтриране – както на собствените си резултати, така и на тези на конкурентите, а също така разбира нестандартен фърмуер.
Тестовете за взаимодействие с визуалния интерфейс показват, че моделът не винаги точно определя елементите на екрана, но е практически ефективен при избора на действия в браузъра: правилно идентифицира желания елемент и кликване на правилното място.
Въпросът за цената остава. XBOW отбелязва, че Mythos Preview не е просто още един модел, а истински титан, но титаните са големи, а голям означава скъп. Anthropic заяви, че Mythos ще бъде пет пъти по-скъп от Opus.
В тази връзка XBOW тества дали би било възможно по-евтиният модел да се използва по-дълго и все пак да се постигне сравнима точност, и отговорът е „да“.
Основният извод на анализаторите е, че Mythos е изключително мощен за одит на изходния код; той е добър, но по-малко убедителен, при потвърждаване на функционалността на откритите експлойти.
Моделът е склонен да бъде буквален в оценките си и преувеличава практическото значение на откритията, но е силен в нативния код и обратното инженерство, казват експертите.
XBOW заключава, че Mythos Preview надеждно открива потенциални уязвимости, особено в изходния код, и демонстрира силни резултати в задачи, свързани с уеб, нативния код и обратното инженерство.
