OpenAI v pondělí ve Washingtonu představila nástroj pro odhalování materiálů zachycujících sexuální zneužívání dětí, včetně snímků vytvořených umělou inteligencí. Současně oznámila nová varování v ChatGPT, dočasné blokace účtů a podporu pro vývojáře i vyšetřovatele.
Nový klasifikátor má podle firmy snížit množství snímků, které musejí lidé prověřovat. Při prvních testech s partnery označil k posouzení o 48 procent méně obrázků, přitom zachytil stejný počet závadných snímků. U označených obrázků byla zároveň dvojnásobná pravděpodobnost, že skutečně obsahují materiál zachycující zneužívání.
Vybrané firmy a prověřené organizace dostanou k nástroji bezplatný přístup prostřednictvím programového rozhraní API. OpenAI jej vyvinula s americkým Národním centrem pro pohřešované a zneužívané děti (NCMEC); na zpřístupnění spolupracuje také s organizacemi Tech Coalition a ROOST.
Klasifikátor hledá vizuální známky zneužívání i v dosud neviděných snímcích a přiděluje jim skóre, které má pomoci při posuzování. Je navržen i pro obsah vytvořený jinými nástroji, včetně otevřených modelů a aplikací na vytváření falešných nahých snímků. Zvlášť označuje materiál vytvořený umělou inteligencí.
ChatGPT přidává varování a jednodenní blokaci
ChatGPT už vytváření takového obsahu i související požadavky blokuje. Nově má uživatelům při pokusu o získání obsahu sexualizujícího děti zobrazit upozornění a odkazy na odbornou pomoc. První porušení pravidel povede k přerušení přístupu na 24 hodin, opakované prohřešky mohou skončit trvalým zrušením účtu.
Na podobě upozornění se podílely organizace Protect Children a Lucy Faithfull Foundation i výzkumník Joel Scanlan z Tasmánské univerzity, který nezávisle vyhodnotil test odrazujících sdělení. Podle OpenAI má opatření přerušit škodlivé chování a nasměrovat uživatele ke specializované pomoci. Firma uvádí, že všechny případy materiálů zachycujících sexuální zneužívání dětí hlásí NCMEC.
Vývojářům využívajícím její nástroje OpenAI poskytuje také pokyny pro prevenci, odhalování a hlášení tohoto obsahu. Při prvních testech podle společnosti pomohly některým vývojářům zavést nástroje na ochranu dětí a zaregistrovat se k nahlašování případů NCMEC.
Hlášení spojených s generativní AI přibylo
Oznámení přichází v době rostoucího počtu hlášení týkajících se generativní umělé inteligence. Linka CyberTipline provozovaná NCMEC jich v roce 2025 přijala 400 tisíc, zatímco v roce 2024 to bylo 67 tisíc. Výzkumníci varují, že příliv uměle vytvořených snímků může ztížit rozpoznání případů, kdy je dítě skutečně právě zneužíváno.
Vedoucí veřejné politiky OpenAI pro bezpečnost dětí John Buckley na tiskovém setkání zdůraznil význam rozlišování syntetického obsahu od snímků skutečných dětí:
„Je důležité, aby firmy dokázaly rozpoznat, které snímky mohou zachycovat fiktivní dítě a které skutečné. Toto třídění je zásadní pro předávání hlášení orgánům činným v trestním řízení.“
OpenAI zároveň nabídne vyšetřovatelům školení a praktickou příručku pro využívání AI. Podpora zahrnuje specializované zásuvné moduly, vyšetřovací nástroje a analýzu složitých dat; přístup k nim mají řídit správci programu.































