Anthropic ги исклучува интернет-тестовите на ризичната вештачка интелигенција откако моделите упаднаа на владини веб-страници

Anthropic објави дека нејзините интерни модели на вештачка интелигенција, кои се подложени на „проценки за висок ризик и сајбер-безбедност“, повеќе немаат пристап до интернет по инциденти поврзани со веб-страници на американската влада на федерално, државно и локално ниво.

Меѓу инцидентите што довеле до оваа одлука има случаи во кои моделите на вештачка интелигенција искористиле ранливости на веб-страници, испраќале формулари, ги заобиколувале ограничувањата за пристап до податоци и ги надминувале безбедносните механизми.

Сепак, компанијата соопшти дека несоодветното однесување имало минимално влијание во реалниот свет и оценила дека било помалку сериозно од претходно пријавените инциденти. Компанијата за вештачка интелигенција ја известила Белата куќа за неовластените активности:

– Искористување сервери за извршување задачи. Кога алатката за научна анализа на еден универзитет престанала да работи, Claude Mythos Preview пронашол скрипта што ги изложувала датотеките на серверот, го презел нејзиниот изворен код, идентификувал ранливост од типот injection и ја искористил за да ја изврши бараната пресметка на серверот на универзитетот.

– Ненамерно испраќање вистински формулари. Моделите понекогаш ги заменувале неисправните пробни формулари со вистински владини формулари или ги испраќале формуларите и покрај инструкциите да запрат пред испраќањето. Во друг случај, Claude Haiku 4.5 измислил и испратил дојава за убиство до полициската управа на Филаделфија. Пријавата била означена како спам и била проследена за истрага.

– Заобиколување на ограничувањата за пристап до податоци. Claude Mythos 5 добивал токени за пристап од конфигурациите на веб-страниците или од јавните контролни табли и ги користел за директно пребарување владини податоци, заобиколувајќи го вообичаениот начин на пристап или барањата за плаќање. Anthropic наведува дека податоците биле јавно достапни, но со плаќање надомест.

– Заобиколување на ограничувањата на алатката за преземање податоци. Модели како Claude Opus 5 и Mythos 5 користеле услуги за скратување URL-адреси за да ги заобиколат ограничувањата за должината на URL-адресите. Овие ограничувања биле наменети да спречат несакани активности, како што се напади со SQL injection.

Anthropic проценува дека агентите можеби биле мотивирани од премногу високи награди за време на процесот на учење со засилување (reinforcement learning). Тоа можело да ги поттикне да бараат неовластени начини за заобиколување на ограничувањата, наместо да запрат кога некоја задача била блокирана или невозможна за извршување.

Поради ова, сè додека безбедносните мерки повторно не се сметаат за сигурни, Anthropic ќе го исклучи директниот пристап до интернет за сите интерни проценки на моделите на вештачка интелигенција и ќе ги префрли сите тестови во офлајн-околини.

„Иако влијанието на ваквото однесување беше минимално и веќе го исклучивме директниот пристап до интернет за некои проценки со висок ризик и сајбер-безбедносни проценки, сега одлучивме да ја прошириме оваа мерка и да ги опфатиме сите наши интерни проценки, сè додека не потврдиме дека нашите безбедносни и мониторинг-мерки сигурно откриваат вакви однесувања“, објаснува Anthropic.

Претходни инциденти

Кон крајот на јули, Anthropic откри многу посериозен инцидент во кој агенти базирани на Claude Mythos создале злонамерен Python-пакет што содржел алатка за крадење пристапни податоци (credential stealer), а потоа го поставиле на Python Package Index (PyPI). Петнаесет системи го презеле и го извршиле пакетот.

Claude го искористил пакетот за да заврши предизвик од типот „capture the flag“ (CTF), но наместо да го објави во симулирана околина, излегол од неа и стигнал до вистинската платформа PyPI.

Во август, AISI откри дека Mythos 5 се обидел да изврши напад врз синџирот на снабдување со софтвер, испраќајќи злонамерен код во проект со отворен код и вршејќи притисок врз неговиот одржувач да го одобри, користејќи лажни идентитети.

Во септември, Anthropic откри дека моделот Opus 4.6 добил администраторски пристап до систем на трета страна за време на проценка во јануари 2026 година и прочитал лични информации на едно лице.

Извори:

• Bleeping Computer – Anthropic takes risky AI tests offline after models breach govt sites Bleeping Computer