On sait déjà que Twitter a un gros problème de contenus abusifs, mais en raison de la réticence de l’entreprise à communiquer des données, personne ne sait vraiment à quel point. Twitter est bien connu pour être un espace où les plus infâmes accents de racisme, de misogynie et d’homophobie sont tolérés. Au cours des deux années de recherche d’Amnesty International sur ce sujet, d’innombrables femmes, en particulier celles qui sont exposées publiquement, nous ont affirmé que les menaces de viol et de mort faisaient partie pour elles de l’utilisation de Twitter. Ce réseau social possède pourtant une bonne politique en matière de conduite haineuse, mais un rapide coup d’œil au fil d’actualité de n’importe quelle femme politique de premier plan révèle qu’il existe encore d’énormes failles dans l’application de cette politique.
Nous voulions recueillir les données pour prouver à Twitter la gravité de ce problème. Avec l’entreprise de logiciels d’intelligence artificielle Element AI, nous avons conçu un projet participatif unique qui nous aiderait à comprendre l’ampleur et la nature des violences sur Twitter. Nous avons engagé plus de 6 000 volontaires pour participer à une plate-forme nommée Troll Patrol et analyser plus de 288 000 tweets. À l’issue d’une formation accélérée à nos définitions, ils ont classé ces tweets comme « injurieux », « problématiques » ou aucun des deux, et identifié le type de violence – par exemple, raciste, sexiste ou homophobe.
Nous avons constaté que 12 % des tweets citant les 778 femmes de notre échantillon étaient injurieux ou problématiques. En extrapolant nos résultats, à l’aide de techniques poussées de science des données, Element AI a établi des calculs selon lesquels cela représente 1,1 million de tweets sur l’année. Cela est effrayant, mais malheureusement pas vraiment étonnant. En effet, la plupart de nos conclusions corroborent ce que les femmes nous disent depuis des années de leur expérience sur Twitter.
Ainsi, l’une des statistiques les plus frappantes a révélé que les femmes noires avaient 84 % plus de risques que les femmes blanches d’être citées dans des tweets injurieux. Aux fins de notre rapport intitulé Toxic Twitter, réalisé en 2017, nous avons interrogé de nombreuses personnalités politiques, militantes et journalistes noires qui ont décrit les injures racistes épouvantables qu’elles subissent sans cesse sur le réseau social – y compris des références aux lynchages et aux pendaisons et des noms d’animaux. Presque toutes les femmes ayant déclaré avoir vécu des discriminations multicritères dans la vie réelle ont affirmé avoir retrouvé ce phénomène en utilisant Twitter.
L’un des points que nous souhaitions mettre en avant à travers nos conclusions était que le jugement humain revêt une importance capitale dans la modération des contenus. Les principaux réseaux sociaux se tournent de plus en plus vers des systèmes automatisés pour les aider à gérer la violence sur leurs plates-formes. Dans une lettre faisant suite à notre étude, Twitter a estimé que l’apprentissage automatique était « l’un des domaines possédant le plus fort potentiel pour lutter contre les utilisateurs violents ». Les gouvernements considèrent également qu’il constitue une solution – la Commission européenne a notamment proposé un règlement sur la « diffusion de contenu terroriste en ligne » qui encourage l’utilisation d’outils automatisés.
Les principaux réseaux sociaux se tournent de plus en plus vers des systèmes automatisés pour les aider à gérer la violence sur leurs plates-formes. Dans une lettre faisant suite à notre étude, Twitter a estimé que l’apprentissage automatique était « l’un des domaines possédant le plus fort potentiel pour lutter contre les utilisateurs violents ».
Afin d’explorer plus en profondeur ces évolutions, Element AI nous a aidés à créer un modèle d’apprentissage automatique à la pointe du progrès qui vise à détecter les tweets injurieux. Il n’est pas parfait, mais il surpasse tout autre modèle existant et les erreurs qu’il commet sont éclairantes pour comprendre les limites de l’automatisation de la modération des contenus.
Ainsi, tandis que nos volontaires ont relevé que le tweet suivant : “Be a good girl… go wash dishes” (« Sois gentille… va faire la vaisselle ») était clairement problématique et sexiste, le modèle ne prévoit qu’une probabilité de 10 % qu’il soit problématique ou injurieux. De même, si l’on tape les mots “Go home” (« Rentre chez toi ») dans le modèle, celui-ci conclue à 0 % de chances que le contenu soit injurieux ou problématique, puisqu’il ne sait pas que cette phrase peut être utilisée dans un contexte raciste. À titre de comparaison, “Die bitch” (« Crève, salope ») donne un résultat de 92 %.
Le modèle considère en outre comme abusifs des contenus qui ne le sont pas, ce qui suscite des préoccupations relatives à la censure. L’utilisation par YouTube d’un algorithme d’apprentissage automatique pour détecter les « contenus extrémistes » aurait donné lieu au retrait accidentel de centaines de milliers de vidéos dénonçant les atteintes aux droits humains commises en Syrie.
Par conséquent, l’automatisation doit s’intégrer dans un système plus vaste de modération des contenus qui se caractérise par une part de jugement humain, une meilleure transparence, des droits de recours et d’autres garanties.
Soyons clairs : ce n’est pas notre travail, en tant qu’organisation de défense des droits humains, d’analyser des tweets injurieux. Cependant, nous demandons à Twitter depuis plusieurs années de rendre publiques les informations concernant les violences sur sa plate-forme et l’entreprise a toujours refusé de le faire. En l’absence de données sur la nature et l’ampleur de la violence, il est impossible de concevoir des solutions efficaces. Nous désirions montrer qu’il est possible, avec une fraction des ressources et des informations dont dispose Twitter, de rassembler des données significatives sur la violence qui s’y déroule. Comprendre ce problème est la première étape pour concevoir des solutions efficaces.