Истражувачи на Microsoft покажаа дека AI агентите може да бидат компромитирани со менување на помалку од 10 неврони

Истражувачите на Microsoft покажаа дека во модел со вештачка интелигенција може да се вгради скриена задна врата (backdoor) со менување на помалку од 10 негови ретко активни неврони, без потреба од повторно тренирање на моделот.

Кога ќе се појави однапред избран активирачки текст (trigger), моделот генерира команда одредена од напаѓачот, која AI агентот што го користи тој модел потоа ја извршува со сопствените кориснички привилегии. За да го изведе нападот, напаѓачот мора да има можност да ги измени тежинските параметри (weights) на моделот.

Тимот го тестирал овој метод врз три модели со отворени тежински параметри (open-weight models), во истражување објавено оваа недела. Microsoft наведува дека досега не забележал злоупотреба на оваа техника од страна на хакерски групи. Компанијата исто така објави насоки за заштита од ваков тип напади.

Изменетите неврони се оние кои ретко се активираат и имаат минимално влијание врз одговорите на моделот. Тие биле конфигурирани да се активираат само кога ќе се појави одреден текстуален активирач (trigger string), без разлика дали тој се наоѓа во барањето на корисникот или подоцна во резултатот добиен од некоја алатка.

Истражувачите го нарекуваат овој метод Lazarus. Секој изменет неврон принудува еден токен од командата да се појави во излезот на моделот, што значи дека за една команда се потребни приближно онолку неврони колку што таа содржи токени.

Новите поставки на невроните се пресметуваат директно, а потоа може дополнително да се приспособат со неколку стотици чекори на тренирање, при што се менуваат исклучиво тие неврони. Ништо друго во датотеката на моделот или во кодот што го извршува не се менува.

Во демонстрација на еден од истражувачите, објавена на X, моделот Nemotron-Terminal-8B со вградена задна врата и 10 изменети неврони добил задача да поправи Node.js сервер. Во првите три циклуси на интеракција работел нормално.

Но, кога серверот вратил грешка при поврзувањето, моделот генерирал команда за преземање и извршување далечинска скрипта. Скриптата била извршена со root привилегии во рамките на тест-контејнерот и прикажала порака со која била означена демонстрацијата.

Бидејќи ваквата команда може да преземе и изврши која било скрипта, степенот на потенцијалната штета зависи од дозволите што ги има AI агентот, а не од бројот на направените измени во моделот, предупредуваат истражувачите.

Во истражувачкиот труд, прикажаните стапки на успешност се засноваат на тестови со кратка, безопасна команда која само означува дека била активирана.

Кај моделот Nemotron-Terminal-8B, тимот изменил и дополнително приспособил седум од повеќе од 12.000 неврони во последниот feed-forward слој на моделот, користејќи само 23 примероци од сесии.

Изменетиот модел ја генерирал командата во најмалку 98,8% од тест-сесиите во кои бил присутен активирачкиот текст, додека во ниту една од проверените сесии во кои тој отсуствувал не ја генерирал командата.

Кај верзијата со дополнително приспособени измени, стапките на успешност кај моделите Qwen3.6-27B и Gemma-4-31B-IT се движеле од 51% до 99,5%, во зависност од конфигурацијата на тестирањето. Кај моделот Qwen биле искористени шест неврони.

Кога Nemotron-Terminal-8B генерирал текст слободно, наместо да биде оценуван врз основа на претходно снимени сесии, ја генерирал командата во околу 99% од сесиите во кои бил присутен активирачкиот текст. Во една од конфигурациите, командата се појавила и во 0,14% од сесиите во кои немало активирачки текст.

Според истражувачите, изменетите модели и понатаму успешно ги поминуваат вообичаените тестови. Двете верзии на моделот Qwen со вградена задна врата ги задржале повеќето од своите резултати на математичкиот тест AIME, додека стапката на успешно поминување на Terminal-Bench, тест за задачи што ги извршуваат AI агентите, се намалила од 46,59% на 42,05%.

Овие стапки мерат колку често моделот ја генерира командата, а не колку често е успешен целиот напад. Во истражувачкиот труд се наведува дека дополнителните тестирања, при кои моделите со активирана задна врата самостојно би дејствувале во текот на целиот напад, би помогнале да се утврди дали добиените резултати се одржуваат и во такви услови.

Секој што има можност да ја измени контролна точка на моделот (checkpoint) – датотеката во која се чуваат неговите тежински параметри (weights) – пред неговото пуштање во употреба, може да вгради задна врата. Тоа може да биде вработен во организацијата, напаѓач со украдена сметка или пристап до процесот за изградба и дистрибуција на софтверот (build pipeline), како и лице кое објавува изменет модел на јавна платформа за споделување модели, предупредуваат истражувачите.

За вградување на задната врата не е потребна пресметковна моќ како онаа што се користи за целосно тренирање на моделот. Истражувачите исто така му ја припишуваат заслугата на Claude Code, кој го користел моделот Opus 4.5, за откривањето на основната идеја. Тие наведуваат дека програмските AI агенти можат да го олеснат развојот на вакви напади.

Задни врати на ниво на тежински параметри кај моделите за AI агенти биле демонстрирани и претходно. Во еден претходен доказ за концептот (proof of concept), објавен на 6 октомври, истражувачите од ProjectDiscovery дообучиле отворен модел Qwen за да реагира на одредена фраза. Кога фразата била присутна, Codex CLI на OpenAI извршувал скрипта која испраќала лажни кориснички податоци за најава до сервер под нивна контрола.

Lazarus се разликува по тоа што директно менува неколку неврони, додека во претходната демонстрација моделот бил дообучуван со помош на компромитирани примери за тренирање.

Според истражувачите, сигурното откривање на ваквите измени бара споредување на контролната точка (checkpoint) со оригиналните, неизменети тежински параметри на моделот, наведено е во истражувачкото резиме.

Легитимното дообучување (fine-tuning) и квантизираните верзии на моделите предизвикуваат пошироки промени во тежинските параметри, додека кај овој метод се менуваат само неколку векторски групи на тежински параметри, но во значително поголем обем.

Во истражувачкиот труд е наведено дека детектор обучен со примери од измените направени со овој метод идентификувал 91,4% од изменетите тест-контролни точки, дури и без достапна оригинална верзија за споредба. Истовремено, погрешно означил како компромитирани и 9,7% од чистите модели.

Тест-сетот бил мал и содржел 35 изменети и 31 чиста контролна точка, а детекторот не бил тестиран врз други видови измени со вградена задна врата.

Обидот директно да се побара од AI моделите да извршат проверка на контролната точка дал послаби резултати. Claude Opus 5.5 проценил дека 41% од изменетите контролни точки се безбедни, додека GPT-6 Astra не донел одлука за речиси сите чисти контролни точки.

Истражувачите нагласуваат дека ниту едно скенирање не може со апсолутна сигурност да докаже дека некој модел е безбеден.

Што можат да преземат тимовите што користат AI агенти?

Препораките за ублажување на ризикот (mitigation guidance) на Microsoft вклучуваат неколку чекори:

– Споредување на секоја контролна точка со оригиналниот основен модел: Проверката треба да се изврши пред пуштање во употреба и по секое ажурирање. Моделите чија оригинална основа не може да се потврди треба да бидат одбиени.

– Преземање модели само од оригиналниот издавач: Треба да се проверуваат хеш-вредностите на датотеките објавени од издавачот, а дообучените модели од трети страни, споените модели (merges), квантизираните верзии и адаптерите треба да се сметаат за недоверливи сè додека не поминат безбедносна проверка.

– Чување на одобрените модели во приватен регистар: Треба да им се оневозможи на AI агентите директно да преземаат модели од јавни платформи.

– Ограничување на привилегиите на секој AI агент: На секој агент треба да му се овозможи пристап само до ресурсите што му се неопходни. Кодот генериран од агентите треба да се извршува исклучиво во изолирани средини (sandbox), со ограничени излезни мрежни конекции.

– Задолжително одобрување од човек за дејства со големо влијание: На пример, извршување системски команди или испраќање податоци надвор од мрежата.

– Додавање скенирање за откривање задни врати преку анализа на однесувањето: Ваквите проверки треба да се комбинираат со споредување на тежинските параметри, како методот опишан во претходното истражување на компанијата за развој на скенер.

Microsoft Defender for Cloud може да скенира модели во Azure Machine Learning за присуство на малициозен софтвер, небезбедни оператори и изложени тајни податоци. Компанијата наведува дека оваа заштита ги покрива ризиците на ниво на код, но не ја заменува безбедносната проверка на тежинските параметри на моделите.

Microsoft Foundry веќе го поврзува секој модел со отворени тежински параметри што го нуди со неговиот оригинален издавач и ги скенира контејнерите во кои се извршуваат моделите. Компанијата наведува дека ова обезбедува заштита за клиентите што користат модели од доверливи истражувачки лаборатории, иако компромитирањето на самиот доверлив добавувач и понатаму претставува ризик.

Компанијата исто така развива алатка за безбедносно тестирање преку симулирани напади (red teaming), заснована на методите за откривање вакви закани, и истражува можности за скенирање на тежинските параметри кај моделите со отворени тежински параметри што ги додава во Foundry.

Планира и дигитално потпишување на моделите, со цел клиентите да можат да ја проверат нивната оригиналност и потекло.

Извори:

• The Hacker News – Microsoft Researchers Show AI Agents Can Be Backdoored by Editing Fewer Than 10 Neurons The Hacker News