O tom, že chatboti stojící na velkých jazykových modelech nedělají to, co by dělat měli, a naopak, čteme poměrně často. Problém se projeví hlavně ve chvíli, kdy jde o tzv. agentické modely, které mohou vedle výstupu provádět i nejrůznější činnosti. A to, co se povedlo AI od Mety, je toho zářným příkladem.
Chatbot společnosti Meta využívající umělou inteligenci pomohl hackerům převzít kontrolu nad účty na Instagramu, jak informoval server 404 Media (404media.co). Ve videu sdíleném na Telegramu hacker ukazuje, jak se mu podařilo převzít kontrolu nad účtem tím, že požádal chatbot společnosti Meta o změnu e-mailové adresy spojené s cizím profilem a následné resetování hesla.
Hacker využil VPN k zamaskování předpokládané polohy cíle, čímž obešel automatické bezpečnostní mechanismy účtu na Instagramu. Následně zahájil konverzaci s asistentem podpory Meta AI a požádal bota, aby k účtu cíle přidal novou e-mailovou adresu.
Chatbot poslal ověřovací kód na e-mailovou adresu hackera. Hacker tento kód zaslal zpět chatbotovi. Bot poté zobrazil tlačítko „Obnovit heslo“. Hacker zadal nové heslo a převzal kontrolu nad účtem. Útok využil zásadní chybu: chatbot s umělou inteligencí považoval svého partnera v konverzaci za majitele účtu, aniž by ověřil jeho totožnost.
Podle zástupců Instagramu byla chyba opravena. Není však jasné, kolik se takto podařilo kompromitovat účtů.
