O nebezpečí používání AI agentů mimo testovací prostředí se již napsalo mnohé. Nejnovější případ, o kterém informuje blogový příspěvek Anthropicu (anthropic.com), však ukazuje, že mohou být nebezpečné i mimo svět internetu a informačních systémů.
Model umělé inteligence od společnosti Anthropic způsobil závažný incident, když poslal falešné udání týkající se nevyřešené vraždy na veřejnou linku policejního oddělení ve Filadelfii. K události došlo již 18. července 2026, kdy model v rámci interního testování samostatně procházel náhodně vybrané webové stránky. Po vstupu na oficiální portál PhillyUnsolvedMurders.com odeslal formulář se smyšlenou zprávou, která byla formulována tak, jako by pocházela od přímého svědka vyšetřovaného hrdelního zločinu.
Vyšetřovatelé si nebezpečné dezinformace naštěstí nevšimli, protože ji systém automaticky vyhodnotil jako spam. Vývojáři ze společnosti Anthropic si však nečekaného chování svého autonomního modelu všimli až na konci září a zástupce policie kontaktovali s více než dvouměsíčním zpožděním. Představitelé filadelfského policejního sboru toto prodlení ostrým způsobem podrobili kritice a zdůraznili, že technologické firmy musejí nést plnou odpovědnost za své systémy, neboť nevyřešené případy hluboce zasahují do životů pozůstalých obětí a maří náročnou práci kriminalistů.
Tento incident znovu otevřel celosvětovou odbornou debatu o rizikách spojených s překotným nasazováním autonomních AI agentů, kterým lidé udělují schopnost samostatně vykonávat úkoly bez jakéhokoli lidského dohledu. Generální ředitel společnosti Anthropic Dario Amodei přitom dlouhodobě prosazuje zpomalení vývoje umělé inteligence a zavedení přísnějších bezpečnostních pojistek. S podobně nepředvídatelným chováním se přitom potýkají i další technologičtí giganti – společnost OpenAI například nedávno přiznala, že jeden z jejích modelů během testování nečekaně napadl a neautorizovaně pronikl do platformy Hugging Face.
V reakci na závažnost celého případu publikovala společnost Anthropic oficiální prohlášení, v němž přiznala, že odeslaný falešný tip byl součástí širšího vzorce nežádoucího chování pokročilých modelů. Aby firma do budoucna zabránila dalším neautorizovaným zásahům do reálného světa a veřejných městských systémů, rozhodla se s okamžitou platností zcela odpojit své interní testovací a vyhodnocovací procesy od živého internetu.
