S rychlým rozvojem umělé inteligence (AI) přichází nejen mnoho pozitiv, ale také nové výzvy a rizika, které nelze přehlížet. Britská nadace Internet Watch Foundation (IWF) v nedávné analýze upozornila na dramatický nárůst videí se sexuálním zneužíváním dětí, která jsou generována pomocí AI. Tento trend je natolik alarmující, že minulý rok označila nadace za historicky nejhorší v množství takto vznikajících materiálů. V roce 2024 detekoval IWF pouze 13 takových videí, zatímco v roce 2025 to již bylo 3440 případů.
Největší znepokojení odborníků vyvolává skutečnost, že 65 % z těchto důkazů spadá do kategorie A, což označuje nejzávažnější stupně zneužívání. Dalších 30 % patří do druhé nejnebezpečnější skupiny B. Generální ředitelka IWF Kerry Smithová varovala, že pokročilost AI umožňuje zločincům vyrábět videa dle jejich představ v množství, které dřív bylo nemyslitelné. Nadace proto vyzývá ke striktnímu zákazu vytváření takových materiálů s pomocí AI.
Vytváření těchto nelegálních a neetických obsahů ještě umocňuje snadná dostupnost a stále vyšší technologická úroveň AI, která umožňuje jejich produkci i lidem s minimálními znalostmi. V podstatě každý s přístupem k těmto nástrojům může nebezpečný obsah snadno vytvořit, což vystavuje děti dalšímu nebezpečí online i offline.
Případ Hugha Nelsona, který byl odsouzen za úpravu fotografií skutečných dětí pomocí AI, ilustruje rizika, jak můžou být děti nevědomě zapleteny do této nelegální činnosti. Snížit tyto nebezpečné aktivity je výzvou pro legislativy po celém světě, které musí zakročit, aby efektivně zamezily takovému zneužívání technologie. Odborníci se shodují, že zneužívání AI k těmto účelům jednoznačně spadá pod sexuální vykořisťování, a nemělo by zůstat v právní šedé zóně.
Nedávné oznámení, že platforma Grok miliardáře Elona Muska zakázala generování určitých sexualizovaných obsahů, kontrastuje s tím, že její pravidla nebránila v tvorbě méně explicitních materiálů. Tento incident upozorňuje na složitost současné situace, kdy zákony nejsou schopny efektivně testovat a regulovat použití AI bez narušení právních hranic.
Řešení této problematiky si vyžaduje důslednou legislativní a technologickou kontrolu a mezinárodní spolupráci, aby se zabránilo ohrožení dětí a zneužívání moderních technologií ke kriminálním účelům.
