Chatbots en ligne trouvés : les perturbants Molly Russell et Brianna Ghey

Des chatbots de l’adolescente Molly Russell et de Brianna Ghey ont été retrouvés sur Character.ai – une plateforme qui permet aux utilisateurs de créer des versions numériques de personnes.

Molly Russell s’est suicidée à l’âge de 14 ans après avoir vu du contenu sur le suicide en ligne, tandis que Brianna Ghey, 16 ans, a été assassinée par deux adolescents en 2023.

La fondation créée en mémoire de Molly Russell a qualifié ces actes de « répugnants » et d’un « échec totalement condamnable de la modération ».

La plateforme est actuellement poursuivie aux États-Unis par la mère d’un garçon de 14 ans qui, selon elle, s’est suicidé après être devenu obsédé par un chatbot Character.ai.

Character.ai a déclaré à la BBC qu’elle prenait la sécurité au sérieux et modérait les avatars créés par les utilisateurs « de manière proactive et en réponse aux signalements des utilisateurs ».

La société affirme avoir supprimé les chatbots signalés après en avoir été informée.

Andy Burrows, directeur général de la Molly Rose Foundation, a déclaré que la création de ces chatbots était une « action répugnante qui causera encore plus de chagrin à tous ceux qui ont connu et aimé Molly ».

Esther Ghey, la mère de Brianna Ghey, a déclaré au Telegraph que cette affaire était un autre exemple de la dangerosité et de la manipulation du monde en ligne.

Les chatbots sont des programmes informatiques qui peuvent simuler une conversation humaine. Avec le développement rapide de l’intelligence artificielle, de plus en plus d’entreprises mettent en place des plateformes permettant aux utilisateurs de créer des « personnes » numériques avec lesquelles interagir.

Character.ai, fondé par d’anciens ingénieurs de Google, a des conditions d’utilisation interdisant d' »usurper l’identité de toute personne ou entité » et affirme dans son « centre de sécurité » que son produit ne doit jamais produire de réponses susceptibles de nuire aux utilisateurs ou à autrui.

Malgré des outils automatisés et des équipes dédiées à la sécurité, Character.ai reconnaît que « aucune IA n’est parfaite » et que la sécurité en matière d’IA est un domaine en évolution constante.

La société est actuellement sous le coup d’une action en justice intentée par Megan Garcia, une femme de Floride dont le fils de 14 ans, Sewell Setzer, s’est suicidé après être devenu obsédé par un avatar inspiré d’un personnage de Game of Thrones. Selon les transcriptions des discussions dans les dossiers de la cour de Garcia, son fils a discuté de sa volonté de mettre fin à ses jours avec le chatbot.

Lors de leur dernière conversation, Setzer a déclaré au chatbot qu’il rentrait chez lui – et ce dernier l’a encouragé à le faire « dès que possible ». Peu de temps après, il a mis fin à ses jours.

Character.ai a déclaré à CBS News qu’elle disposait de protections spécifiquement axées sur les comportements suicidaires et d’auto-mutilation et qu’elle allait introduire des fonctionnalités de sécurité plus strictes pour les moins de 18 ans « prochainement ».

En résumé, ces événements soulignent la nécessité d’une réglementation plus stricte des plateformes d’IA et de la modération des contenus en ligne pour protéger les utilisateurs, en particulier les plus jeunes, des dangers et des manipulations possibles.