Pourquoi les algorithmes montrent-ils de la violence envers les garçons?

En 2022, Cai, alors âgé de 16 ans, surfait sur son téléphone portable. Il raconte qu’une des premières vidéos qu’il a vues sur ses réseaux sociaux était celle d’un chien mignon. Mais ensuite, tout a basculé.

Il dit qu' »de nulle part », il s’est retrouvé recommandé des vidéos de quelqu’un qui se fait renverser par une voiture, un monologue d’une personnalité partageant des opinions misogynes, et des clips de bagarres violentes. Il s’est retrouvé à se demander – pourquoi moi ?

En parallèle, à Dublin, Andrew Kaung travaillait en tant qu’analyste sur la sécurité des utilisateurs chez TikTok, un rôle qu’il a occupé pendant 19 mois, de décembre 2020 à juin 2022.

Il affirme qu’avec un collègue, ils ont décidé d’examiner ce que les utilisateurs au Royaume-Uni se voyaient recommander par les algorithmes de l’application, y compris certains adolescents de 16 ans. Peu de temps auparavant, il avait travaillé pour la société rivale Meta, propriétaire d’Instagram – un autre site utilisé par Cai.

Lorsqu’Andrew a examiné le contenu de TikTok, il a été alarmé de constater que certains jeunes garçons se voyaient recommander des publications comportant de la violence et de la pornographie, ainsi que des discours misogynes, raconte-t-il à BBC Panorama. Il affirme que, en général, les adolescentes se voyaient recommander un tout autre type de contenu en fonction de leurs centres d’intérêt.

TikTok et les autres entreprises de médias sociaux utilisent des outils d’intelligence artificielle pour supprimer la grande majorité des contenus nocifs et pour signaler d’autres contenus à revoir par des modérateurs humains, indépendamment du nombre de vues qu’ils ont eues. Mais les outils d’IA ne peuvent pas tout identifier.

Andrew Kaung affirme que pendant son temps chez TikTok, toutes les vidéos qui n’étaient pas supprimées ou signalées aux modérateurs humains par l’IA – ou signalées par d’autres utilisateurs aux modérateurs – ne seraient examinées manuellement que si elles atteignaient un certain seuil. Il craignait que cela signifie que certains utilisateurs plus jeunes étaient exposés à des vidéos nuisibles.

TikTok affirme que 99% des contenus qu’il retire pour avoir enfreint ses règles sont supprimés par l’IA ou les modérateurs humains avant d’atteindre 10 000 vues. Il affirme également mener des enquêtes proactives sur les vidéos ayant moins de ce nombre de vues.

En fin de compte, il est essentiel que les entreprises de médias sociaux écoutent davantage les préférences des adolescents et améliorent les outils leur permettant d’indiquer ce qu’ils ne veulent pas voir. Il est nécessaire de trouver un équilibre entre la liberté d’expression et la protection des plus jeunes utilisateurs.