Halucinace AI málem spustila konflikt mezi USA a Čínou

1
Halucinace AI málem spustila konflikt mezi USA a Čínou
Fotografie: Ministerstvo obrany a Armáda České republiky
  • Americká armáda musela na poslední chvíli odvolat ostrou ozbrojenou operaci vůči čínskému plavidlu
  • Krizovou zprávu o jaderném nákladu totiž neúmyslně vytvořil AI chatbot a chybné údaje nekriticky prošly velením
  • Událost zdůrazňuje rizika překotného nasazování umělé inteligence do vojenského rozhodování bez lidského dohledu

Je to ošemetná situace. Všichni dobře vědí, že výstupy z AI nejsou vždy spolehlivé, zároveň s jejich používáním nechce nikdo moc otálet, aby neztratil konkurenční výhodu. A o armádách po celém světě to platí dvojnásob. Jenže to je prostředí, kde může mít každá chyba dalekosáhlé následky.

Americké letectvo muselo na poslední chvíli odvolat ostrou ozbrojenou operaci proti čínskému plavidlu, informuje CNN (cnn.com). Důvodem bylo šokující zjištění: klíčová zpravodajská zpráva, podle níž loď převážela komponenty pro jaderný zbraňový program, byla kompletní halucinací umělé inteligence. Incident poukazuje na závažná rizika spojená s překotnou integrací AI do vojenského rozhodování.

Falešná informace vznikla u analytika Velitelství speciálních operací. Ten použil AI chatbot k propojení otevřených zdrojů s utajovanými signálovými poznatky. Algoritmus však zcela špatně vyhodnotil dokumenty o nákladu lodi. Analytik následně použil nástroj podruhé, aby vytvořil oficiálně vypadající zprávu, která bez důkladnější kontroly prošla celým velitelským řetězcem.

Pentagon se snaží masivně zavádět AI s cílem zrychlit rozhodovací procesy a udržet si převahu nad Čínou. Slibuje si od toho především zrychlení takzvaného řetězce zabití. Stejná rychlost, která je pro armádu tak lákavá, však při nedostatečném lidském dohledu umožňuje, aby se nebezpečné chyby šířily na nejvyšší místa velení dříve, než je někdo zpochybní.

Odborníci i armádní veteráni varují, že v oblastech s rizikem použití síly mohou mít chyby AI fatální následky. Incident by však neměl vést k úplnému odmítnutí moderních technologií, ale ke zpřísnění bezpečnostních pojistek. Pokud armáda upřednostní rychlost před spolehlivostí, ztráta důvěry vojáků v tyto systémy celý proces v konečném důsledku pouze zpomalí.