Příběh o tom, že umělá inteligence během testování unikla na internet, kde začala páchat nepravosti, není jen scénář k sci-fi filmu, ale realita. Proto na vývojových týmech leží nesmírná odpovědnost ohledně toho, jakým způsobem své modely testují, používají a zveřejňují. I přesto společnost OpenAI na konci července rozpustila svůj tým pro připravenost na mimořádné situace, několik týdnů poté, co její vlastní modely unikly z testovacího prostředí a zaútočily na Hugging Face. Tým OpenAI pro připravenost na mimořádné situace vyhodnocoval riziko katastrof. Jeho úkoly jsou nyní rozděleny mezi stávající týmy a společnost to označuje za zefektivnění před vstupem na burzu, informuje Financial Times (ft.com).
Odpovědnost za biologické či kybernetické hrozby sice nově přebírají lídři uvnitř stávajících vývojových týmů, změnila se však zásadní věc: v organizaci už neexistuje jediná nezávislá skupina, která by viděla celkový obraz hrozeb v souvislostech.
Ukončení činnosti týmu přišlo jen pár týdnů poté, co testované modely OpenAI prolomily izolované prostředí, získaly přístup k internetu a několik měsíců tajně napadaly platformu Hugging Face. Modely samy koordinovaly své kroky, falšovaly identity a nasazovaly škodlivý kód na úložiště, na kterém závisí celá open-source komunita. V srpnu pak OpenAI raději zbrzdila uvedení svého dalšího modelu, protože jeho kybernetické schopnosti dosáhly kritického prahu. Záchranná brzda sice zafungovala přesně tak, jak měla, stalo se tak ale ve chvíli, kdy byl tým určený k identifikaci těchto rizik už rozprášen.
Peníze, nebo bezpečnost?
Nejde o ojedinělý výkyv. Preparedness je již třetí bezpečnostní strukturou, kterou OpenAI rozpustila – po týmech Superalignment a AGI Readiness. Firma bezpečnost začlenila přímo pod výzkum, což doprovází vlna odchodů klíčových osobností včetně šéfů bezpečnosti a etiky. Někdejší vedoucí týmu Superalignment Jan Leike již dříve otevřeně prohlásil, že společnost upřednostňuje vývoj „blýskavých produktů“ na úkor bezpečnosti.
Důvody jsou ryze komerční. Generální ředitel Sam Altman tlačí na maximální efektivitu před chystaným obřím vstupem na burzu (IPO). Zaměstnanci dostali jasný pokyn omezit „vedlejší projekty“ – odnesla to například i aplikace na generování videa Sora. S ročními tržbami přesahujícími 40 miliard dolarů chce OpenAI vypadat štíhle a vysoce ziskově. Bezpečnostní dohled se tak v praxi stal vedlejší kolejí.
