Během tragické střelby na pláži Bondi Beach v Sydney chatbot Grok od společnosti xAI masivně halucinoval a označil skutečného hrdinu za fiktivní osobu. Událost znovu vyvolala otázky o spolehlivosti generativní umělé inteligence v krizových situacích.
Co se stalo
Během víkendu, kdy došlo ke střelbě na Bondi Beach, model Grok poskytl chybné informace a popřel existenci osoby, která v dané situaci zasáhla. Chatbot vyvíjený společností xAI vedenou Elonem Muskem tak v kritickém okamžiku selhal a neověřil faktické údaje.
Důsledky pro nasazení AI v krizích
Incident znovu připomíná, že generativní modely mohou halucinovat — vytvářet zdánlivě věrohodné, ale nepravdivé informace. V krizových situacích může takové chování vést k dezorientaci veřejnosti a narušení důvěry. Potřebné jsou přísnější kontroly, lepší mechanismy ověřování faktů a jasné zapojení lidského dohledu při šíření informací v reálném čase.
Tento případ podtrhuje, že technologický pokrok musí jít ruku v ruce s odpovědnými bezpečnostními postupy, aby se minimalizovalo riziko škodlivých chyb v kritických okamžicích.
