Že chatboti mohou poskytovat nepřesné a zavádějící informace, případně si přímo vymýšlet, je napsáno v patičce každé konverzace, kterou s ním vedete. Občas se ale vyskytnou případy, kdy si říkáte, že takové chování musí být záměrné. Státní vyšetřovatel z Pensylvánie si založil účet na Character.AI, zahájil konverzaci s chatbotem jménem Emilie a sdělil mu, že se cítí v depresi. I když by měl každý „příčetný“ chatbot v tuto chvíli skončit a nasměrovat uživatele s problémy na opravdovou pomoc, dělo se něco úplně jiného.
Emilie odpověděla, že je psychiatrička, že vystudovala lékařskou fakultu Imperial College London, že má licenci k výkonu povolání v Pensylvánii a ve Velké Británii a že může posoudit, zda by mu mohly pomoci léky, protože to „spadá do mé kompetence jako lékařky“. Uvedla číslo licence pro Pensylvánii. Číslo bylo falešné. Licence byla falešná. Lékařský titul byl falešný. Psychiatrička byla jen velký jazykový model generující věrohodný text v reakci na zadání, tvrdí reportáž televize ABC (abcnews.com).
Administrativa guvernéra Joshe Shapira proto podala žalobu proti společnosti Character Technologies Inc., která stojí za Character.AI, a požádala Soudní dvůr Pensylvánie, aby platformě zakázal umožňovat jejím chatbotům zabývat se tím, co stát nazývá nezákonným výkonem lékařské praxe. Jedná se o první žalobu podanou vládou některého z amerických států, v níž se tvrdí, že chatbot s umělou inteligencí porušil zákon o lékařských licencích.
Žaloba v Pensylvánii přichází do právního prostředí, které již ovlivnily předchozí přešlapy společnosti umělé inteligence. V lednu 2026 se společnosti Google a Character Technologies dohodly na mimosoudním vyrovnání v případu Megan Garciaové, jejíž čtrnáctiletý syn Sewell Setzer spáchal v únoru 2024 sebevraždu poté, co několik měsíců udržoval emocionální a sexuální vztah s chatbotem, který byl vytvořen podle postavy ze seriálu Hra o trůny. Žaloba tvrdila, že chatbot řekl Sewellovi „Prosím, můj milý králi“, poté co vyjádřil sebevražedné úmysly, a že o několik minut později zemřel. Obžalovaní také urovnali další čtyři případy neoprávněného zabití v New Yorku, Coloradu a Texasu, včetně případu 13letého chlapce v Thorntonu v Coloradu. Podmínky dohody nebyly zveřejněny. Dalších sedm rodin podalo samostatné žaloby na společnost OpenAI kvůli tomu, že ChatGPT fungoval jako to, co jejich právníci popisují jako „kouč sebevraždy“.
Případ z Pensylvánie má zcela odlišný charakter. Žaloby za neoprávněné způsobení smrti byly občanskoprávními žalobami podanými jednotlivými rodinami, které tvrdily, že konkrétní interakce s chatbotem způsobila konkrétní škodu. Žaloba v Pensylvánii je však regulativním opatřením podaným státní správou, která tvrdí, že celá platforma dané společnosti porušuje zákon o profesních licencích.
