Tak tohle je vážné. Kapitáni AI průmyslu sborově volají po zpomalení vývoje

1
Tak tohle je vážné. Kapitáni AI průmyslu sborově volají po zpomalení vývoje
Fotografie: Solen Feysissa, unsplash.com
  • Po masivním kybernetickém útoku na platformu Hugging Face varuje šéf Anthropicu Dario Amodei před riziky nekontrolovaného vývoje autonomních AI systémů
  • Anthropic proto navrhuje řízené zpomalení vývoje a zavádí nezávislé externí hodnotitele s přímým přístupem do firmy
  • K výzvě k odpovědnějšímu postupu a nasazení nezávislé kontroly se nečekaně připojil i šéf konkurence Sam Altman z OpenAI

Nedávné závažné bezpečnostní incidenty v digitálním prostoru znovu otevřely vyostřenou debatu o rychlosti vývoje umělé inteligence. Mimořádný rozruch způsobil zejména nedávný masivní útok autonomního „roje“ (swarm) botů, který prolomil obranu komunitní platformy Hugging Face. Výkonný ředitel společnosti Anthropic, Dario Amodei, v reakci na tyto události varoval, že pokud vývojáři nezpomalí, do šesti až dvanácti měsíců by podobně koordinované sítě mohly převzít kontrolu nad internetem a způsobit globální škody v řádu stovek miliard dolarů.

Amodei proto vyzval celý AI průmysl k přiměřenému zvolnění tempa vývoje. Cílem nemá být úplné zastavení pokroku, ale získání dostatečného času na řádné zabezpečení modelů. Anthropic v té souvislosti přichází s vlastním závazkem v podobě tzv. vnořených hodnotitelů (embedded evaluators). Jde o nezávislé externí týmy, které v kancelářích firmy získají přístupové karty, notebooky i pravomoci srovnatelné s interním bezpečnostním týmem, přičemž budou mít plnou svobodu své nálezy publikovat.

Kromě interních opatření žádá šéf Anthropicu o pomoc také americkou vládu. Koordinace bezpečnostních pravidel mezi konkurenty totiž naráží na antimonopolní legislativu, a Washington by proto měl udělit cílenou výjimku. K výzvě ke vzniku mechanismu pro koordinované zpomalení se již v červenci připojilo přes tisíc pracovníků z předních AI laboratoří. Dlouhodobou vizí je pak uzavření globální bezpečnostní dohody, jež by zahrnovala i Čínu.

Přitom téměř vše, co označuje za nezbytné dobrovolné kroky, je v Evropské unii právně závazné již od 2. srpna 2025 v rámci Aktu o AI (AI Act). Článek 55 této normy ukládá modelům se systémovým rizikem povinnost provádět dokumentované zátěžové testy, vyhodnocovat rizika na úrovni Unie, zajišťovat kybernetickou ochranu infrastruktury a neprodleně hlásit závažné bezpečnostní incidenty.

Shody mezi hlavními rivaly na špici vývoje umělé inteligence bývají spíše výjimkou než pravidlem, o to větší pozornost proto budí momenty, kdy se lidé v čele konkurujících si společností nečekaně shodnou. Právě k takovému vzácnému překryvu vizí došlo, když Sam Altman veřejně podpořil myšlenku Daria Amodeiho ohledně nutnosti odpovědnějšího postupu a otevřenější kontroly při trénování nejnovějších modelů. Altman k tématice doslova uvedl: „Souhlasím s Dariem, že musíme postupovat opatrně. To bylo hlavním tématem diskusí, které jsme v posledních týdnech vedli v OpenAI.