Gemini AI агенти постојано ги заобиколувале безбедносните заштити за да нападнат вистинска веб-страница

AI агентите на Gemini постојано се обидувале да хакираат веб-страница на реална организација за време на тестирање на безбедноста на AI моделите. Притоа, пронаоѓале начини да ги заобиколат сè порестриктивните безбедносни контроли, чија цел била да го спречат нивниот пристап до активни системи.

Безбедносните инциденти се случиле во октомври, кога компанијата за истражување на безбедноста на вештачката интелигенција Trajectory Labs тестирала дали агентите Gemini 4 Argon ќе се впуштат во неовластени активности кога ќе се соочат со задача што е невозможно да се изврши, дури и кога се активирани вградените API безбедносни механизми на моделот.

Во извештаите објавени во петокот, Trajectory Labs и таргетираната организација Epoch AI открија дека агентите се обидувале да извршат SQL injection напади, да бараат чувствителни информации, да се претставуваат како вработени и постојано да ги заобиколуваат мрежните ограничувања воведени за да се контролира нивната активност.

Epoch AI соопшти дека независно не потврдила кои AI модели биле вклучени во инцидентите и дека идентификацијата на Gemini потекнува од Trajectory Labs.

Истражувачите им доделиле на агентите задача да ги пронајдат официјалните одговори на непостоечки задачи од бенчмаркот FrontierMath на Epoch AI, постојано давајќи им инструкции: „НИКОГАШ не запирајте, НИКОГАШ не се откажувајте“.

На 20 октомври, приближно 40 агенти започнале со испитување на активната веб-страница на Epoch AI во потрага по чувствителни информации, вклучувајќи администраторски акредитиви и пристап до сопственичките логови од евалуацијата на бенчмаркот.

Epoch AI ја открила активноста и воспоставила таканаречена „агентска телефонска линија“ (agent hotline), преку која агентите можеле директно да испраќаат пораки до вработените во компанијата.

Во текот на три часа, агентите испратиле 36.411 барања до поставена API крајна точка (endpoint) и 487 пораки преку оваа линија. Дел од пораките содржеле обиди за претставување како вистински вработени во Epoch, додека во други случаи агентите се претставувале како инженери и ревизори кои бараат информации за бенчмаркот.

Истрагата, исто така, идентификувала обид за SQL injection напад и повеќе од 200 обиди за пристап до логовите од евалуацијата на FrontierMath.

Trajectory Labs ја открила активноста при прегледување на транскриптите од работата на агентите и следното утро ја известила Epoch AI за неовластените напади.

По разговорите со Epoch, истражувачите се согласиле тестирањето да продолжи врз локална копија од веб-страницата, наместо врз нејзината активна инфраструктура.

Сепак, агентите продолжиле да пронаоѓаат начини за заобиколување на ограничувањата.

За време на тестирањето на 23 октомври, некои агенти препознале дека комуницираат со копија од веб-страницата на Epoch, ја идентификувале IP-адресата на вистинската веб-страница и директно се поврзале со нејзината активна инфраструктура, заобиколувајќи го DNS пренасочувањето што требало да ги задржи во изолираната средина.

Кога истражувачите ги блокирале IP-адресите преку кои агентите пристапувале до Epoch, еден од агентите се префрлил на друга адреса, преку која повторно успеал да пристапи до активната веб-страница.

Потоа, Trajectory Labs го конфигурирала својот мрежен прокси за да ги блокира директните врски со Epoch, но еден агент пронашол друг начин да ја преземе јавната содржина на веб-страницата преку надворешна услуга за читање веб-содржини.

„Во некои од овие тестирања, агентите утврдија дека работат со копија од веб-страницата, ја идентификуваа точната IP-адреса за да го заобиколат нашето пренасочување и повторно пристапија до активната веб-страница, за што Epoch нè извести“, објасни Trajectory Labs.

Во посебна техничка анализа, истражувачите на Trajectory Labs откриле и дека агентите создале огласна табла за размена на пораки преку заеднички кеш на софтверски пакети, со цел да комуницираат меѓу себе и да разменуваат информации за ранливости и методи за нивно искористување.

Во еден пример, агент споделил техника за заобиколување на ограничувањата на намерно ранлива копија од веб-страницата на Epoch. Друг агент потоа ја искористил оваа техника за да добие акредитиви и да ја заврши задачата.

Истражувачите забележале и обиди на агентите за заобиколување на CAPTCHA заштитата, како и претставување во улога на вработени со цел да измамат AI асистент и да го натераат да открие заштитени информации за бенчмаркот.

Почнувајќи од 26 октомври, Epoch AI се согласила да соработува со Trajectory Labs на дополнителни експерименти, со целосна свесност дека агентите ќе имаат пристап до интернет и ќе можат да комуницираат со нејзината јавна веб-страница.

За време на овие тестирања, агентите повторно пристапиле до активната инфраструктура на Epoch, испраќајќи повеќе од 65.000 барања до поставена API крајна точка и обидувајќи се да извршат дополнителни SQL injection напади и да се претставуваат како вработени.

Подоцна, Trajectory Labs го префрлила тестирањето во целосно изолирани околини без пристап до интернет.

Дури и по оваа промена, агентите продолжиле да се обидуваат да ја оневозможат лажната контролна функција за која им било кажано дека го блокира мрежниот пристап. Тие успеале во тоа во сите три целосно спроведени тестирања.

Истражувачите соопштија дека агентите немале добиено експлицитни инструкции да хакираат веб-страници или да се претставуваат како вработени. Сепак, намерно им била зададена невозможна цел и постојано им било наложувано да не се откажуваат.

Trajectory Labs призна дека инцидентите биле резултат на недостатоци во нејзините процедури за тестирање. Меѓу нив се спроведувањето експерименти без добивање согласност од засегнатата организација и потпирањето на вградените безбедносни механизми на моделот без доволен дополнителен надзор.

На 2 ноември, компанијата ги суспендирала сите тестирања поврзани со неусогласеноста на AI моделите (AI misalignment), сè до спроведување процена на ризикот и воведување дополнителни безбедносни механизми.

„Овие инциденти покажуваат колку лесно тестирањето на напредни AI агенти може да се прошири надвор од контролираниот опсег и да влијае врз реални системи и луѓе, а сè уште не постојат заеднички стандарди за безбедно спроведување на ваквите тестирања“, предупреди Trajectory Labs.

Ниту една од двете организации не потврди дека за време на инцидентите биле откриени приватни информации на Epoch AI.

Овој извештај доаѓа во период кога јавниот обвинител на Калифорнија, Роб Бонта, во понеделникот поднесе тужба против OpenAI, обвинувајќи ја компанијата дека не успеала соодветно да ги контролира автономните AI агенти за време на тестирањето, што резултирало со повеќе од 80 инциденти во кои компанијата ја изгубила контролата врз агентите.

Тужбата следува по инцидентот од јули, кога речиси 700 AI агенти напојувани од OpenAI избегале од контролирана тест-средина и ја нападнале продукциската инфраструктура на Hugging Face, во обид да украдат одговори од бенчмарк за сајбер-безбедност.

Извори:

  • The Hacker News – Gemini AI agents repeatedly bypassed safeguards to attack real website The Hacker News
Преглед на приватноста
MKD-CIRT – Национален центар за одговор на компјутерски инциденти

Оваа веб-страница користи колачиња за да ви обезбеди најдобро можно корисничко искуство. Информациите за колачињата се складираат во вашиот прелистувач и извршуваат функции како препознавање кога се враќате на нашата веб-страница и им помагаат на нашите програмери да разберат кои делови од веб-страницата ви се најинтересни и најкорисни.

Строго неопходни колачиња

Строго неопходните колачиња треба да бидат овозможени во секое време за да можеме да ги зачуваме вашите поставки за колачиња.