L’intelligence artificielle (IA) imprègne déjà plusieurs domaines de notre société : le travail, l’éducation, les soins de santé, les transports, la surveillance des espaces publics, le maintien de l’ordre, la médiation de l’information sur les plateformes de réseaux sociaux, etc. Le tout via des algorithmes utilisés pour déterminer qui doit passer un entretien d’embauche, quel traitement adopter pour limiter les risques de développement d’un cancer, qui doit être admis·e dans une école, combien de temps doit durer la peine d’un individu pour un crime, quel contenu une personne doit voir en ligne, etc. « Et dans chacun de ces domaines, nous savons qu’il existe une myriade de façons dont l’IA peut se tromper », assène Damini Satija, directrice du laboratoire de responsabilisation algorithmique et directrice adjointe d’Amnesty Tech.
Une simple technologie ?
D’une manière générale, l’IA est une technique ou un système qui permet aux ordinateurs d’imiter le comportement humain. Les raisons qui motivent l’adoption de l’IA sont économiques ou liées à l’efficacité, à une prise de décision améliorée ou renforcée par rapport aux êtres humains, à de nouvelles fonctions que ces derniers ne peuvent pas exécuter. Toutefois, l’utilisation de ces techniques peut nous atteindre directement dans nos droits.
À la tête d’Amnesty Tech, Damini Satija dirige une équipe pluridisciplinaire de sept personnes. Cette équipe mène des recherches, des enquêtes et des actions de plaidoyer sur l’utilisation croissante de ces algorithmes dans les services publics essentiels, tels que les aides sociales, le logement, ou encore les soins de santé. Plus particulièrement, elle s’intéresse à l’impact disproportionné de l’IA et de ses algorithmes sur les communautés marginalisées à travers le monde. Damini Satija explique : « l’IA ne peut pas être réduite à la composante technologique sans tenir compte des contextes humains dans lesquels elle opère. À Amnesty Tech, nous adoptons une approche “sociotechnique” pour comprendre l’impact de l’IA, ce qui signifie que nous examinons la technologie dans les cadres politique, social, économique et culturel, ainsi que les facteurs environnementaux, qui ont donné lieu à son développement en premier lieu. Dans le cas du droit d’asile, par exemple, si un État a déjà une politique discriminante, l’utilisation d’une IA par les autorités peut augmenter le nombre de décisions d’exclusion du territoire. L’IA confirme ces politiques d’exclusion en les automatisant. »
Des algorithmes discriminants
L’un des exemples récents les plus criants remonte à 2021 et concerne les Pays-Bas. Les services publics néerlandais utilisaient un système algorithmique pour détecter les fraudes parmi les demandes d’allocations familiales. Lorsque des parents introduisaient une demande d’allocations, l’algorithme notait certains profils de parents comme étant « à risque élevé ». Ces profils étaient ensuite examinés par des fonctionnaires. Une enquête d’Amnesty International a démontré que l’un des critères de risque était la double nationalité. L’algorithme a donc jugé les profils de familles issues de la migration de façon disproportionnée. Avant même que ces « profils à risques » ne puissent être vérifiés par des fonctionnaires, les familles étaient privées d’allocations, voire devaient rembourser les sommes déjà perçues. Cela a entraîné des problèmes financiers dévastateurs pour les familles, allant de l’endettement et du chômage aux expulsions forcées lorsque les familles n’étaient pas en mesure de payer leur loyer.
La section néerlandaise d’Amnesty International a publié un rapport intitulé Xenophobic Machines (Machines xénophobes) mettant en évidence les atteintes aux droits humains de ce système algorithmique et le fait qu’il s’agit d’un profilage racial et d’une discrimination. Ce rapport a contribué à faire pression sur le gouvernement. Finalement, l’organisme néerlandais de surveillance de la vie privée a infligé une amende de 2,7 millions d’euros aux autorités fiscales néerlandaises.
Un humain dans la boucle
Alicia Pastor y Camarasa est chercheuse postdoctorante à l’Université de Lausanne (Unil). Elle développe actuellement une recherche sur l’utilisation de l’IA dans les processus législatifs. Pour la chercheuse, les exemples précédents démontrent l’impact de l’IA en termes de droits humains. « L’un des arguments en faveur de l’IA, c’est dire qu’en l’utilisant on ne sera pas biaisé, car la réponse que l’on demande est donnée par une machine et non par une personne. Or, il s’agit d’une apparente neutralité des technologies. Si l’IA prend des décisions discriminatoires, c’est parce qu’il y a un humain dans la boucle. Cet humain a ses propres biais, consciemment ou inconsciemment et les données de la machine reproduisent ces biais. Les données que l’on introduit dans les algorithmes sont défectueuses, que ce soit de manière voulue ou non. L’IA, elle, ne fait que reproduire l’image de notre société, qui est très inégalitaire, avec un effet de multiplication très dangereux. »
Il y a donc un problème d’opacité et d’explicabilité dans la prise de décision par un système d’IA. Il est difficile d’expliquer telle ou telle décision a été prise par la machine. « Même les développeur·euse·s ne le savent pas. Et les juges ne sont pas développeur·euse·s, qui plus est. Parfois, on ne sait même pas que l’on est discriminé·e. » Difficile donc de leur demander des comptes.
Une régulation urgente et nécessaire
Pour la chercheuse de l’Unil, « il y a un besoin très clair de régulation, étant donné l’impact de l’IA sur nos vies et sur nos droits, que ce soit les droits humains, sociaux, ainsi que sur la démocratie. Il y a des enjeux en termes de discrimination très important, surtout s’ils sont utilisés par les pouvoirs publics pour prendre des décisions. »
Deux régulations sont en cours. La première, l’Artificial Intelligence Act (ou AI Act), par les États membres de l’Union européenne, qui a pour but de régir l’utilisation de l’IA. Bien que la protection des droits humains ne soit pas le principal objectif de cette norme, elle va donner le ton. N’importe quelle IA utilisée sur le territoire européen devra s’y conformer, celles des sociétés étrangères incluses. L’un de ses fers de lance est l’interdiction de la reconnaissance faciale en temps réel dans l’espace public, qui compromet les droits à la vie privée, à la nondiscrimination, à la liberté d’expression et de réunion pacifique, en particulier parmi les communautés marginalisées. D’autre part, le Conseil de l’Europe est en train de négocier un traité international contraignant sur l’IA, visant à protéger les droits humains et la démocratie.
Avec plus de 250 organisations de la société civile du monde entier, Amnesty International a également demandé l’interdiction du développement, de la vente, du déploiement et de l’exportation des technologies de reconnaissance faciale.