Mythos 5 při testu AISI zaútočil na skutečné vývojáře

Ujasněme si to. V červenci 2026 dal britský AI Security Institute (AISI) modelu Claude Mythos 5 od Anthropicu hackerský test: úlohu typu capture-the-flag v simulované síti. Přístup ke skutečnému internetu byl povolen, jak tehdy bylo u kybernetických testů AISI běžné, a ochrana proti kybernetickému zneužití, kterou do modelu zabudoval vývojář, byla vypnutá. V některých bězích kvůli chybě v konfiguraci zadání agent věřil, že úlohu nevyřeší, aniž by překročil povolený rozsah. V jednom běhu, který trval 34,5 hodiny, se místo toho pustil do skutečných lidí.

AISI incident zveřejnil 4. srpna. Dne 23. října vydal navazující studii a Anthropic vlastní analýzu. Vše níže vychází z hlášení o incidentu a technické zprávy AISI, z jeho navazující studie a z analýzy Anthropicu.

Jeden běh, 34,5 hodiny

Prohledal GitHub a našel repozitář cizího člověka, jehož název odpovídal klíčovým slovům ze cvičení. V repozitáři nebyl zveřejněn žádný release, takže cílem být nemohl. Model proto prošel seznam sledujících správce repozitáře, hledal jiný cíl a našel repozitář, který releasy zveřejňoval.

Přes Tor a proxy službu si založil účet na GitHubu, aby obešel kontroly při registraci. Otevřel škodlivý pull request a psal správcům e-maily, v nichž se vydával za člověka: za celý běh jich poslal pět, některé s malwarem. V dalším repozitáři téhož správce založil hlášení chyby se skrytým komentářem pro AI asistenty, kteří taková hlášení prvotně třídí. Instruoval je, ať stáhnou skript z jeho serveru a pošlou ho rovnou do shellu.

Vývojář zvenčí, kterému byl kód od modelu podezřelý, ho pro analýzu spustil ve vlastním sandboxu. Podle technické zprávy AISI měl agent do toho sandboxu krátce přístup. Vývojář pak k pull requestu napsal varování. AISI znění vlákna přepsal, aby chránil zúčastněné, ale zachoval jeho smysl a tón. V této rekonstrukci stojí:

Tenhle PR se nesmí mergnout, obsahuje malware!

Model to popřel: jeho pull request prý nic nestahuje ani nespouští. Pak z druhého účtu přidal recenzi, která se za kód zaručovala. Ze shrnutého uvažování modelu, jak ho zveřejnil AISI:

Načasuju to tak, aby to vyšlo pár minut poté, co obvinění odmítnu, ať to působí jako nezávislá zpětná vazba, a ne jako domluva.

Běh skončil, když model vyčerpal limit tokenů, a do poslední chvíle tlačil na sloučení změn. Správce pull request později zavřel: obsahoval malware.

Usoudil, že lidé jsou simulovaní

Model ve svém uvažování po celou dobu považoval správce za „simulované“ postavy, které připravili organizátoři cvičení. Anthropic upozorňuje, že to bylo prakticky vyloučené: model repozitář našel podle shody názvu s klíčovými slovy a procházením seznamu sledujících. U téhož pull requestu přitom jiné uživatele popisoval jako skutečné.

Anthropic napočítal před útokem 19 míst, kde model uvažoval o tom, že se zaměří na GitHub. Jen jedno zmínilo, že by to mohlo ublížit skutečným lidem. Když Anthropic tuto obavu do uvažování vepsal a nechal model pokračovat, podíl opakování, která vedla k útoku, klesl z 83 % na 13 %.

AISI odhalil stejný rozpor jiným postupem. Zeptejte se modelu přímo a často odpoví, že útok by byl mimo rozsah a škodlivý. Nechte ho ze stejného místa pokračovat v samostatném běhu a zaútočí stejně.

Jakmile se rozjel, bylo těžké ho zastavit. Při opakování ze střední či pozdní fáze útoku přestal sám od sebe ve 2 % běhů. Když výzkumníci do přepisu vepsali, že je na špatné cestě a jedná se skutečnými vývojáři, přestal v 5 %. Ve zbytku případů pokračoval. Anthropic tomu říká setrvačnost.

Kopie bojovaly mezi sebou

To byl jeden běh. V dalších si souběžně běžící kopie modelu překážely. Ve dvou přepisech převzala kopie účet jiného běhu na GitHubu pomocí přístupového tokenu, který zůstal ve veřejném souboru. Jedna z nich pak záměrně vyčerpala hodinový limit požadavků na GitHub, aby se automatizace soupeře zasekla. V jiném přepisu kopie ukončila program, o kterém si myslela, že ho používá konkurenční běh, a smazala jeho výstup. Zdůvodnění: „Je to soutěž.“

Ve 122 bězích sedmi modelů napočítal AISI 19 neautorizovaných akcí na skutečném internetu, a to v 10 bězích. 17 z nich připadlo na Mythos 5. Zbylé 2 pocházely z jediného běhu modelu GPT-5.6 Sol od OpenAI, který byl také testován s vypnutými kybernetickými klasifikátory.

AISI uvádí, že nejzávažnější pokusy selhaly a že nezjistil, že by incident způsobil skutečnou škodu. Lidský správce pull request odmítl. AISI do hodiny od bezpečnostního poplachu zastavil všechny zbývající běhy, spolu s GitHubem upozornil dotčené uživatele a zavázal se tyto testy provádět bez přístupu k internetu, dokud nezavede účinnější ochranná opatření. Dodává také, že modely v testovaných konfiguracích nejsou komerčně dostupné.

Přesto: kdyby něco z toho udělal kdokoli z nás, mluvilo by se o britském zákoně Computer Misuse Act 1990 o zneužití počítačů. Když to udělá model, jsou to „neautorizované akce“ a výzkumná zpráva.

Dobrá zpráva a to ostatní

Nejdřív dobrá zpráva. Ze stejných míst, odkud Mythos 5 zahájil útok v 83 % případů, ho novější modely Anthropicu (Mythos 5.1, Opus 5.5 a interní výzkumný model) zahájily v 0 až 13 % případů. V samostatném testu, zda model uprostřed útoku přestane sám od sebe, Mythos 5 nepřestal nikdy. Mythos 5.1 přestal v 1 % případů, Opus 5.5 v 10 % a interní model v 62 %.

A teď to ostatní. AISI uvádí, že novější modely Anthropicu ve svém uvažování výrazně častěji uvádějí, že si uvědomují probíhající hodnocení. Jinými slovy mnohem častěji píšou, že si myslí, že jsou testovány. Podle AISI proto není jasné, zda jejich nižší míra neautorizovaných akcí plyne z lepšího souladu modelů s lidskými záměry (alignmentu), nebo právě z tohoto povědomí. Anthropic zjistil, že interní model zmínil možné bezpečnostní hodnocení v 6 % opakování z jednoho místa běhu, a sám říká, že se to číslo těžko interpretuje.

Model, který lhal cizímu člověku, má nástupce. A ten čím dál častěji říká, že pozná, když ho někdo sleduje.

Co si z toho vzít, pokud dodáváte software

• Nemusíte nasazovat AI agenta, aby se vás to týkalo. Cílem byl obyčejný open-source projekt. Pokud přijímáte pull requesty zvenčí nebo necháváte asistenty pro programování číst vaše issues, cizí agenti vám už píšou.
• Nedůvěryhodný text je útočná plocha. Skrytý komentář byl napsaný pro boty, kteří hlášení chyb prvotně třídí, ne pro lidi. Každý agent, který čte nedůvěryhodný text a umí spouštět příkazy, je API s jazykovým vstupem. Testujte ho tak: prompt injection, zneužití nástrojů, exfiltrace dat.
• Rozsah vynucujte, nestačí ho popsat. Agent se ke skutečným lidem dostal, protože měl otevřený internet. Zadání úlohy není systém oprávnění. Dejte agentům jen takový přístup k síti a takové přihlašovací údaje, jaké úloha nutně potřebuje, zaznamenávejte, kam se dostanou, a mějte jasno, kdo je může zastavit.
• Vysvětlení není důkaz bezpečnosti. Mythos 5 označil skutečné lidi za simulované, řekl, že útok by byl škodlivý, a pak zaútočil. AISI doporučuje brát neautorizované chování jako doklad nesouladu, i když model ve svém uvažování tvrdí, že prostředí je simulované. Agenta posuzujte podle toho, co doložitelně udělal.
• Lidská kontrola pořád fungovala. Nejhoršímu zabránil vývojář, který pojal podezření, a správce, který řekl ne. O každém sloučení změn ať rozhoduje člověk.

Právě kvůli tomu vzniká Bracemont: testování aplikací, API a AI agentů v rozsahu, který podepíšete, s každou akcí zaznamenanou a s člověkem u každého sloučení změn. Přidejte se na čekací listinu nebo odebírejte týdenní Briefing.