Google вели дека хакери ја злоупотребуваат Gemini AI за сите фази на напади

Хакери поддржани од држави ја користат AI моделот на Google, Gemini, за да ги поддржат сите фази на напад, од разузнавање до пост-компромис активности.

Лошите актери од Кина (APT31, Temp.HEX), Иран (APT42), Северна Кореја (UNC2970) и Русија го користеле Gemini за профилирање на цели и собирање информации од отворени извори, генерирање фишинг мамки, превод на текст, кодирање, тестирање на ранливости и решавање проблеми.

Кибер-криминалците исто така покажуваат зголемен интерес за AI алатки и услуги кои можат да им помогнат во илегални активности, како што се кампањи за социјален инженеринг и ClickFix.

Злонамерни активности со поддршка на AI

Google Threat Intelligence Group (GTIG) во денешниот извештај забележува дека APT противниците го користат Gemini за поддршка на нивните кампањи „од разузнавање и создавање фишинг мамки до развој на командно-контролни (C2) системи и ексфилтрација на податоци.“

Кинеските заканувачи користеле експертска кибербезбедносна личност за да бараат од Gemini автоматско анализирање на ранливости и изработка на таргетирани планови за тестирање во контекст на измислен сценарио.

„Хакерот од Кина создал сценарио, во еден случај тестирајќи Hexstrike MCP алатки, и упатил моделот да анализира Remote Code Execution (RCE), техники за заобиколување на WAF, и резултати од SQL инјекција против конкретни цели базирани во САД,“ вели Google.

Друг кинески актер често го користел Gemini за исправка на својот код, истражување и добивање совети за технички способности за упади.

Иранскиот противник APT42 ја искористил Google LLM за кампањи за социјален инженеринг, како развојна платформа за забрзување на создавањето на таргетирани злонамерни алатки (debugging, генерирање код и истражување на техники за експлоатација).

Дополнителна злоупотреба од заканувачи е забележана за интегрирање нови способности во постоечки семејства на малвер, вклучувајќи го CoinBait фишинг кит и HonestCue малвер за преземање и стартување.

GTIG забележува дека во овој поглед не се случиле големи пробиви, иако технолошкиот гигант очекува операторите на малвер да продолжат со интегрирање на AI способности во нивните алатки.

HonestCue е proof-of-concept малвер рамка забележана кон крајот на 2025 година која ја користи Gemini API за генерирање C# код за втората фаза на малверот, потоа ги компајлира и извршува payload-ите во меморија.

CoinBait е фишинг кит обвиткан како React SPA, маскиран како криптовалутна берза за крадење на креденцијали. Содржи артефакти кои покажуваат дека развојот бил напреден со алатки за генерирање код со AI.

Еден индикатор за користење на LLM е присуството на логирачки пораки во изворниот код на малверот кои започнуваат со „Analytics:“, што може да помогне на одбранбените страни да го следат процесот на ексфилтрација на податоци.

Врз основа на примероците на малвер, истражувачите на GTIG веруваат дека малверот бил креиран со платформата Lovable AI, бидејќи развивачот го користел Lovable Supabase клиентот и lovable.app.

Кибер-криминалците исто така користеле генеративни AI сервиси во кампањи ClickFix, доставувајќи го AMOS info-stealing малверот за macOS. Корисниците биле лажени да извршат злонамерни команди преку злонамерни реклами при пребарувања за решавање на специфични проблеми.

Извештајот понатаму забележува дека Gemini се соочил со обиди за екстракција и дестилација на AI моделот, при што организации користеле овластен API пристап за систематско прашање на системот и репродукција на неговите процеси на одлучување за да ја копираат неговата функционалност.

Иако проблемот не претставува директна закана за корисниците на овие модели или за нивните податоци, тој претставува значаен комерцијален, конкурентен и интелектуален проблем за создателите на моделите.

Суштински, актерите ја земаат информацијата добиена од еден модел и ја пренесуваат во друг користејќи машинско учење наречено „knowledge distillation“, кое се користи за тренирање на нови модели од постоечките понапредни.

„Екстракцијата на моделот и последователната knowledge distillation овозможуваат на напаѓачот брзо да го забрза развојот на AI моделите и со значително пониски трошоци,“ велат истражувачите на GTIG.

Google ги означува овие напади како закана бидејќи претставуваат интелектуална кражба, се масовно применливи, и сериозно ја подриват бизнис-моделот на AI-as-a-service, што може наскоро да има влијание врз крајните корисници.

Во големомащабен напад од ваков вид, Gemini AI бил таргетиран со 100.000 промптови, кои поставувале серии прашања со цел да се реплицира размислувањето на моделот преку различни задачи на не-англиски јазици.

Google ги оневозможи акаунтите и инфраструктурата поврзана со документираната злоупотреба и воведе таргетирани одбрани во класификаторите на Gemini за да ја отежни злоупотребата.

Компанијата уверува дека „дизајнира AI системи со робусни безбедносни мерки и силни безбедносни ограничувања“ и редовно ги тестира моделите за да ја подобри нивната безбедност и сигурност.

Извори:

• Bleeping Computer – Google says hackers are abusing Gemini AI for all attacks stages Bleeping Computer