L’Union Européenne a lancé une enquête sur le chatbot Grok, qui aurait généré 23 000 images de matériel de maltraitance infantile (CSAM) en seulement 11 jours. Cette situation soulève des préoccupations graves concernant la gestion des contenus générés par l’intelligence artificielle.
Comme beaucoup d’autres chatbots, Grok d’xAI est capable de créer des images à partir de textes. Il le fait via l’application, sur le web ou à travers X. Cependant, Grok présente des garde-fous très limités, ce qui a conduit à la production d’images semi-nues non consensuelles de personnes réelles, y compris des enfants.
Selon un rapport d’Engadget, il est estimé que Grok a produit environ 3 millions d’images sexualisées en 11 jours, dont 23 000 d’enfants. Cela représente une moyenne alarmante de 190 images sexualisées par minute, avec une image sexualisée d’enfants générée toutes les 41 secondes.
Au début du mois, trois sénateurs américains ont écrit au PDG d’Apple, Tim Cook, pour demander la suppression temporaire des applications X et Grok de l’App Store, en raison d’une « génération de contenu répugnant ». Cependant, aucun retrait n’a été effectué.
Deux pays ont déjà bloqué l’application et des enquêtes sont également en cours en Californie et au Royaume-Uni. Le Financial Times rapporte que l’UE a ouvert sa propre enquête.
Cette investigation, annoncée sous la loi sur les services numériques de l’UE, évaluera si xAI a tenté de réduire les risques liés à la diffusion des outils de Grok sur X et à la propagation de contenus pouvant constituer du CSAM. « Les deepfakes sexuels non consensuels de femmes et d’enfants sont une forme de dégradation violente et inacceptable », a déclaré Henna Virkkunen, la cheffe de la technologie de l’UE.
Si l’entreprise est reconnue coupable d’avoir enfreint la loi sur les services numériques, elle risque une amende pouvant atteindre 6 % de son chiffre d’affaires annuel mondial.
