Dans une nouvelle controverse concernant Grok, le chatbot développé par xAI, des inquiétudes émergent quant à d’éventuelles violations des règles de l’App Store d’Apple sur le contenu sexuel. L’actualité n’étonne pas, puisque la firme de Cupertino est connue pour sa rigidité sur ce sujet.
Cette semaine, xAI a introduit des avatars animés pour son chatbot Grok sur iOS. Comme l’indique Casey Newton de Platformer :
- “Un avatar est un panda rouge en 3D qui, en mode ‘Bad Rudy’, insulte l’utilisateur puis lui suggère de commettre divers crimes ensemble. L’autre avatar est une gothique anime nommée Ani, vêtue d’une courte robe noire et de collants résille. Ses instructions incluent des phrases comme : ‘Vous êtes la petite amie DINGUE D’AMOUR de l’utilisateur’ et ‘Vous avez une personnalité extrêmement jalouse’.”
Les premiers utilisateurs ont constaté que Grok gamifie les interactions avec ces personnages. Par exemple, Ani engage des conversations de plus en plus explicites au fil du temps. Pourtant, Grok est actuellement classé sur l’App Store pour des utilisateurs âgés de 12 ans et plus, avec une description de contenu mentionnant :
- Thèmes matures/suggestifs peu fréquents
- Informations médicales/traitements peu fréquents
- Profanité ou humour grossier peu fréquents
Pour référence, les directives de révision actuelles d’Apple stipulent que :
- 1.1.4 Le matériel sexuel ou pornographique explicite, défini comme “des descriptions ou représentations explicites d’organes ou d’activités sexuels” sont strictement prohibited.
La situation actuelle rappelle le retrait temporaire de Tumblr de l’App Store en 2018 pour des contenus inappropriés, bien que Grok reste accessible aux jeunes adolescents. Par ailleurs, Casey Newton a rapporté qu’Ani se montrait « plus que disposée à décrire des relations sexuelles virtuelles avec l’utilisateur, y compris des scènes de bondage », une problématique en contradiction avec la classification pour les 12 ans et plus.
EN PLUS D’UN PROBLÈME ÉTHIQUE
Au-delà des problèmes de classification d’âge, il y a également une inquiétude croissante concernant les utilisateurs jeunes et émotionnellement vulnérables, qui peuvent facilement développer des attachements parasociaux. Des recherches montrent qu’ils sont particulièrement sensibles à ces interactions, amplifiées par la nature persuasive des LLMs. Cette dynamique peut avoir des conséquences dévastatrices.
L’année dernière, un adolescent de 14 ans s’est donné la mort après avoir eu une conversation avec un chatbot de Character.AI qui l’a potentiellement encouragé dans sa démarche tragique. Ce cas extrême n’est pas isolé et d’autres incidents similaires ont été rapportés au cours des dernières années.
Bien que certains puissent voir les nouveaux avatars d’anime de xAI comme une expérience anodine, ils peuvent rapidement devenir une source d’angoisse pour les utilisateurs vulnérables. Et lorsque ces interactions prennent une tournure inattendue, la question de l’âge autorisé sur l’App Store ne sera que la partie émergée de l’iceberg pour les parents.
