« Nous sommes confrontés à des systèmes techniques d’une puissance sans précédent, qui impactent très rapidement tous les secteurs, de l’éducation à la santé, de l’économie à la justice… Et la transformation en cours est concomitante à la montée de l’autoritarisme et du populisme ».

Cette évolution n’est pas une coïncidence, avance la chercheuse : l’un et l’autre interrogent la centralisation du pouvoir et nécessitent d’améliorer notre compréhension critique des formes de pouvoir.

Cette combinaison renforce les difficultés pour maîtriser ces outils et les rendre responsables et nécessite de comprendre en profondeur les relations entre politique, pouvoir et IA. « L’IA est une nouvelle ingénierie du pouvoir ». La science, la société et les autorités doivent trouver les modalités pour qu’elle rende réellement des comptes. « C’est bien plus qu’une question d’équité, de loyauté, d’honnêteté ou de responsabilité ! C’est une question de justice ! », introduit Kate Crawford non sans passion.

Image : Kate Crawford sur la scène de l’ENS, photographiée par Stéphanie Hare.

Kate Crawford commence par raconter une histoire. Celle d’un projet de recherche de police prédictive, lancée par Jeff Brantingham, l’un des fondateurs du célèbre Predpol (voir « Predpol : la prédiction des banalités » et « Où en est la police prédictive ? »), visant à prédire la criminalité liée aux gangs. Le problème est que cette appartenance à des gangs est déterminée par les services de police d’une manière très subjective et conservée dans des bases de données et sur des fiches très lacunaires et très partiales. Comme l’expliquait un excellent article de The Verge, Brantingham proposait de prédire cette appartenance à partir de différentes données comme l’arme utilisée, le nombre de suspects d’un crime, le lieu et la description du crime que l’on trouve dans les bases de données de la police (le lieu surdéterminant l’association avec un gang sous prétexte qu’un quartier relève de leurs territoires). 

L’étude a fait l’objet de critiques dans Science. À un colloque, l’un des jeunes coauteurs, alors qu’il était interrogé sur les limites et les implications éthiques de ces recherches, a répondu par un piteux « Je ne suis qu’un ingénieur ». En 2016, un audit sur la base de données CalGang de l’État de Californie a montré des erreurs endémiques sur les dossiers : 23 % des personnes présentent dans ce fichier n’avaient aucune connexion avec des gangs… Les ingénieurs ne peuvent pas pourtant séparer ainsi leur responsabilité des conséquences des outils qu’ils conçoivent, s’énerve Kate Crawford. Pire, cette façon de ne pas reconnaître sa responsabilité est en passe de devenir une norme. Axon, l’entreprise qui vend des caméras de corps à la police (voir « Les caméras pour policier sont-elles une solution ? »), via son laboratoire d’IA, affirme pouvoir prédire la criminalité, en faisant de la reconnaissance faciale pour déterminer l’historique criminel d’une personne et de la détection de menace depuis leur expression faciale ! Nous entrons dans une époque où des procédés techniques sont transformés très rapidement en systèmes. Ce faisant, ils renforcent des biais culturels et les automatisent, en les rendant à la fois invisibles et incontournables.

Crawford se rappelle d’Eliza, le premier chatbot mis au point dans les années 60 par l’informaticien Joseph Weizenbaum. Ce pionnier de l’IA nous avertissait déjà que le séduisant potentiel de l’IA risquait de nous faire oublier et ignorer ses profondes implications politiques.

Eliza était un programme d’une grande simplicité, mais nombre de ceux qui ont joué avec ont été impressionnés par le programme, convaincus qu’une personne se cachait derrière pour leur parler « A l’époque, les gens les plus intelligents du monde réfléchissaient à l’intelligence artificielle, et c’était passionnant… » Weizenbaum prévenait déjà pourtant de la désillusion à venir de l’IA et soulignait que ces technologies allaient permettre aux ingénieurs de mettre à distance le coût humain des systèmes qu’ils concevaient. C’est exactement ce qu’affirmait le jeune ingénieur du programme de police prédictive.

Nous continuons à ne pas regarder les implications sociales des outils que nous créons. 60 ans plus tard, nous sommes encore empêtrés dans ces problèmes, or, les changements sociaux que produit l’IA sont profonds. Nous devons nous préoccuper de ces enjeux sociaux, éthiques et politiques avec le même engagement et la même rigueur que nous appliquons à l’optimisation des systèmes techniques !

L’IA est à la fois une technologie, une pratique sociale et une infrastructure industrielle

L’IA n’est pas seulement une technologie, comme on le croit souvent. « Quand on parle d’IA, on parle d’une écologie de différentes technologies », qui ont beaucoup évolué ces dernières années. Même le machine learning est un assemblage de différentes techniques, rappelle rapidement la chercheuse. Le mot « intelligence » est un piège, notamment parce que l’intelligence artificielle ne fonctionne pas du tout comme la cognition humaine.

Mais l’IA surtout, n’est pas qu’une technique, insiste-t-elle. « C’est aussi une pratique sociale qui nécessite de comprendre qui travaille sur ces systèmes, quelles données sont utilisées, comment sont-elles classées… » Le fait que le milieu de l’IA soit dominé par des hommes, des ingénieurs, majoritairement blancs et appartenant aux catégories supérieures crée et adresse des problèmes spécifiques. Enfin, l’IA, c’est également une industrie particulièrement imbriquée et complexe. C’est ce que tentait de montrer Anatomy of an AI System, un travail mené par la chercheuse et Vladan Joler, directeur du Share Labs, qui dressait la cartographie exhaustive de ce qu’implique l’usage de la commande vocale Amazon Echo. Cette carte montrait que derrière l’appareil, nous sommes confrontés à un système de calcul planétaire qui a des impacts nombreux en terme de ressources, de données, de travail… Cette tentative de décomposition de l’appareil d’Amazon montre combien ce qu’on appelle l’IA est aussi une infrastructure industrielle particulièrement concentrée. À chaque fois que nous demandons l’heure à Alexa, nous activons un système extractiviste en terme de matériaux, de données, de travail… qui a des impacts sociaux, environnementaux, économiques et politiques cachés. « L’IA est une nouvelle ingénierie du pouvoir » (« AI reengineering power »).

En 2008, Chris Anderson de Wired prophétisait la fin de la théorie : c’est-à-dire l’âge où l’analyse des données suffirait pour produire des résultats. On pensait alors, explique Kate Crawford, qu’avec plus de données, les systèmes deviendraient neutres. Mais c’est le contraire qui s’est passé, comme elle le pointait déjà en 2013 dans « les biais cachés des Big Data » (et même avant) : avec la démultiplication des données, « les discriminations ont été démultipliées ». Nous en avons eu depuis chaque jour de nombreux exemples… En 2015, l’application photo de Google était prise à étiqueter des étudiants noirs en « gorilles » (et si elle ne le fait plus, c’est visiblement parce que le terme gorille a été supprimé de son moteur d’annotation !). En 2016, une remarquable enquête de Bloomberg montrait que la livraison en un jour d’Amazon dans les plus grandes villes des États-Unis n’était pas proposée dans les quartiers noirs de ces villes. En 2018, on a découvert qu’Amazon avait utilisé un système d’IA pour faciliter son recrutement. Problème : le système écartait systématiquement les femmes, pour se conformer au modèle en vigueur dans la firme, où 85 % des employés sont des hommes. Après des tentatives de correction inopérantes, Amazon a dû abandonner ce système ! Avec la chercheuse Rashida Richardson et le professeur de droit Jason Schultz (@lawgeek), Kate Crawford a publié en début d’année une analyse des systèmes de police prédictive américains. Les chercheurs soulignent que les systèmes de prédiction des crimes reposent sur des données historiques « sales » voire illégales, mal documentées, produites par des services qui n’ont pas toujours été exemplaires et qui ont consigné des informations bien souvent en violation des droits civils. Travailler depuis ces données pour créer des systèmes de prédiction du crime conduit donc à renforcer les biais, leurs erreurs et inexactitudes de manière systémique.

« Les biais sont devenus le matériel brut de l’IA »

Pour être plus concret encore, la chercheuse amène son public à regarder les images qui alimentent nos systèmes, à ouvrir le capot et comprendre comment fonctionne l’entraînement des systèmes de reconnaissance d’image. Elle prend l’exemple d’un jeu d’images étiquetées couramment utilisé pour l’entraînement des systèmes à la reconnaissance d’image. C’est un jeu de 13 000 images utilisé pour entraîner les systèmes à reconnaître des schémas… Mais qui n’est pas sans biais. Il est composé de 78 % de portraits d’hommes et de 84 % de portraits de personnes blanches, ce qui implique que les systèmes entraînés depuis ces données fonctionneront mieux sur les hommes blancs. Ce jeu a été assemblé principalement en « scrappant » (c’est-à-dire en extrayant des données, pas nécessairement avec le consentement des espaces d’où elles ont été aspirées) des photos provenant de Yahoo News entre 2002 et 2004, d’où le fait que le visage qui est le plus présent dans la base soit celui de George W. Bush. Ce simple exemple souligne combien les jeux de données reflètent les hiérarchies sociales et les structures de pouvoir existantes.

Autre exemple en utilisant AVA, une base de données de vidéos annotées, permettant aux machines de comprendre les actions humaines et les activités humaines, comme de tenir un verre ou d’être assis sur une chaise. Le problème est que quand on regarde les vidéos associées à une activité, comme de jouer avec enfants, vous ne voyez que des femmes, aucun homme. Si vous cherchez la catégorie kicking a person (donner un coup de pied à quelqu’un), vous ne trouverez que des scènes violentes avec hommes pratiquant le kung-fu ! Ces exemples montrent que ces bases d’entraînement dévoilent une vision particulière de nos vies, très normative, très stéréotypée et très limitée.

Ces biais ne contaminent pas que les images, ils se retrouvent également dans les mots que ces systèmes utilisent, que ce soit pour la traduction automatique, comme dans l’étiquetage automatique des images et vidéos. Les mots qu’on utilise sont souvent très connotés au genre, relevait une étude. Ainsi des mots comme « génie » ou « tactique » sont associés majoritairement aux pronoms masculins, alors que des mots comme « beau » ou « lecture », sont associés aux pronoms féminins. Ces biais de langage se retrouvent bien sûr dans l’analyse émotionnelle qui consiste à déterminer des émotions depuis des textes ou des images de visages ou d’attitudes. À sa sortie, l’API de Google sur le langage naturel, associait des termes comme juifs ou gay a des sentiments négatifs (voir « Vers des interactions automatisées et empathiques à la fois »). Le terme White Power est associé à un sentiment positif, contrairement au terme féministe… « Les biais sont devenus le matériel brut de l’IA »

Comme le résume un petit graphique humoristique de l’informaticien Moritz Hardt (@mrtz), on a longtemps pensé que tout allait bien avec le machine learning, jusqu’à ce que les systèmes et les études se démultiplient… et montre l’ampleur du problème de la discrimination, et ce alors que le déploiement de ces systèmes engage et impacte des millions de personnes, explique-t-elle en montrant une image de Jack Nicholson dans Shining, son visage halluciné dans le trou de la porte qu’il vient de défoncer à coup de hache et qu’un logiciel d’analyse d’image qualifie de « joyeux ».

Image : Le visage de Jack Nicholson dans Shining soumis à l’outil d’analyse de sentiment de Microsoft, qui le désigne comme « joyeux ».

Pour répondre à ces biais, les spécialistes travaillent à apporter des réponses techniques, mais dont la portée s’annonce limitée, prévient Kate Crawford. « Il est probable que ces solutions ne résolvent rien, voire empire le problème ». En fait, les chercheurs et ingénieurs font une application erronée de l’équité ou de l’inclusion. Appliquer des corrections statistiques sur un corpus n’est pas si simple.

Dans une recherche menée avec Solon Barocas, Aaron Shapiro et Hanna Wallach sur le problème des biais, qui s’est intéressé aux solutions techniques proposées par la recherche à ces questions, celles-ci sont principalement de 3 ordres : elles visent à améliorer la précision, à gommer pour neutraliser et à mieux refléter la démographie. Améliorer la précision consiste à collecter toujours plus de données, d’une manière toujours plus précise donc trop souvent toujours plus invasive. Gommer pour neutraliser consiste par exemple à enlever le terme gorille des possibilités d’étiquetage des images de Google, même pour celles qui montrent véritablement des gorilles. Enfin, mieux refléter la démographie consiste à appliquer des corrections statistiques pour qu’elles soient plus représentatives… Mais comme la chercheuse l’a montré, les biais sont partout et profondément intriqués dans les données.

Derrière ces corrections statistiques imparfaites, il est nécessaire de poser des questions plus larges et plus profondes. Quelle idée de neutralité est à l’oeuvre ici ? De quelle neutralité veut-on parler ? Comment compenser les inégalités ? Certes on peut corriger le manque de diversité, mais comment, sur quels critères, selon quelle représentation, avec quelle correction ? Si on reprend le jeu des 13 000 images utilisées précédemment, on peut certes y ajouter un peu de diversité… mais combien ? Qui décide de qui doit être représenté dans cette base ? Dans quelle proportion ? Si on ajoute des femmes présidentes d’entreprise dans ces bases, à quelle proportion faut-il le faire ? Faut-il que le système se base au niveau – bien bas – du nombre de femmes présidentes d’entreprises actuel ? Ou au contraire y projeter un modèle idéal de société où les femmes et les hommes pourraient être représentés comme présidents d’entreprises à parts égales ?… Ce simple choix projeté dans les boucles de ces systèmes devient très vite éminemment politique ! 

« La parité n’est pas la justice », explique Kate Crawford, en tout cas n’est pas suffisante pour l’imposer. Beaucoup d’articles de recherche actuellement tentent de mettre au point des outils d’évaluation des risques algorithmiques afin de les rendre plus équitables, notamment dans le secteur de la prédiction du crime ou de la justice prédictive. L’enjeu par exemple est de traiter de la même façon les populations criminelles, quelle que soit leur couleur de peau. Mais cette parité est-elle pour autant plus juste, alors que ces populations ne sont pas arrêtées de la même façon ? Pour l’instant, nous n’avons pas de procédures fiables pour améliorer ces systèmes décisionnels correctement… La correction « technique » de ces systèmes – présentée comme neutre et objective – risque surtout de refermer les débats et l’intérêt actuel à regarder concrètement comment ils fonctionnent et les problèmes qu’ils posent, s’inquiète la chercheuse, et les éloigner de la scène du débat politique que nous devons avoir. Cette correction n’est ni « technique », ni un problème d’ingénieur ! Elle porte des enjeux politiques considérables !

Alors qu’elle ne l’évoquait pas sur la scène de l’ENS, signalons que Kate Crawford et l’artiste Trevor Paglen (@trevorpaglen) viennent de lancer un projet provocateur, ImageNet Roulette, qui utilise un réseau de neurones entraîné sur les catégories utilisées pour décrire des images de personnes de la base de données ImageNet, très utilisée pour l’entraînement des systèmes. ImageNet Roulette propose aux gens d’y télécharger un portrait et de voir les étiquettes que lui attribue l’IA. Très souvent, ces étiquettes se révèlent particulièrement cruelles, misogynes ou racistes… Un moyen pour montrer, simplement et concrètement, les problèmes que soulève l’IA. L’essai qui accompagne le projet et l’exposition associée, détaille très concrètement lui aussi les limites des jeux d’entraînements que l’on fournit aux machines, la complexité de leur étiquetage, qu’il soit humain ou auto-apprenant.

« Quand on optimise un système par nature discriminatoire, qu’optimise-t-on ? » Kate Crawford pointe une autre étude, « Les nuances du genre » (voir l’article de Wired) qui a testé plusieurs systèmes de reconnaissance faciale pour montrer qu’ils reconnaissent mieux les hommes que les femmes, quels que soient la couleur de peau, mais qu’ils ont des performances bien moindres avec les femmes que les hommes, et encore bien moindre pour les femmes qui ont les peaux les plus sombres ! « Ce sont toujours les mêmes groupes sociaux qui demeurent, dans la société, comme vue au travers des systèmes techniques, assujettis à l’injustice, à la surveillance, à la pauvreté » (c’est que disait également la chercheuse Virginia Eubanks dans son livre, Automatiser les inégalités).

Les entreprises de la tech se veulent rassurantes. Pour elles, nous pouvons réparer ce problème, il suffit d’élargir les jeux de données pour le corriger ! Mais cela signifie collecter toujours plus d’images, notamment des groupes minoritaires.Des groupes qui sont déjà les plus exposés à la surveillance, au contrôle, aux procédures d’expulsion… En élargissant les jeux de données, nous risquons surtout de rendre les populations les plus fragiles plus faciles à contrôler et à surveiller ! « Une surveillance égalitaire n’est pas l’égalité ! » Au contraire ! Le risque est de développer des atteintes encore plus disproportionnées qu’elles ne sont aux groupes les plus minoritaires et les plus fragiles ! Ces systèmes sont « dangereux quand ils échouent, nocifs quand ils fonctionnent ». « Améliorer un système injuste ne peut que créer un plus grand préjudice ». Dans Nature, la chercheuse a appelé à un moratoire sur les technologies de reconnaissance faciale ! Le président de Kairos, un spécialiste des services de reconnaissance faciale a annoncé vouloir arrêter de vendre ses services à la police… Nos données reflètent la complexité et l’injustice de nos systèmes, rappelle Crawford. Pour répondre à ces problèmes, nous devons augmenter les garanties et les garde-fous pour les plus vulnérables. Automatiser la société ne la rend pas plus juste. Il faut aussi regarder plus largement comment et pour qui un système est utilisé. À qui donne-t-il du pouvoir ? Pour Crawford, il est nécessaire pour les concepteurs de systèmes de se poser des questions (à l’image de celles qu’adressent le dernier rapport le dernier rapport de l’AI Now Institute : votre outil donne-t-il plus de pouvoir aux plus puissants ? Si c’est le cas, il va approfondir les inégalités.

Le pouvoir (et le risque) de classer

Par nature, l’IA classe, segmente et regroupe. C’est une fonctionnalité, pas un bug. Or, la classification a toujours été une forme de pouvoir. La classification produit un préjudice encore plus fort que les biais. La chercheuse rappelle alors rapidement l’histoire de la classification scientifique. Elle évoque notamment la phrénologie, cette pseudoscience qui espérait déterminer l’intelligence ou la criminalité depuis des caractéristiques morphologiques (voir « Les Big Data sont-elles la nouvelle phrénologie ? »). Pour cette pseudoscience, les caractéristiques les plus accablantes étaient réservées aux femmes et aux étrangers. L’enjeu de ces formes de classements était déjà d’affirmer la puissance des puissants.

L’accélération de la classification apparaît à la fin du XIXe siècle. Quand un employé du bureau du recensement américain, Herman Hollerith, invente la mécanographie, une machine statistique fonctionnant à partir de cartes perforées. Inspiré par un poinçonneur de tickets de Tram, Hollerith va mécaniser la lecture des fiches de recensement pour en accélérer le traitement. Il quittera l’administration pour créer sa société qui deviendra en 1917, l’International Business Machine Corporation, plus connue depuis sous le nom d’IBM. En 1934, une filiale allemande d’IBM va fournir ce type de solutions au régime nazi qui va s’en servir pour tenir des registres raciaux de la population.

La science de la classification a toujours flirté et attiré la discrimination et le racisme, rappelle la chercheuse. En 2016, deux chercheurs de l’université de Shanghai, Xiaolin Wu et Xi Zhang, ont publié lors d’une conférence sur le Machine Learning un article où ils affirmaient pouvoir prédire depuis une simple photo de visage si une personne allait devenir un criminel. Naïvement, ils ont affirmé que leur étude était dénuée de biais. Pour la mener, ils ont utilisé une base de donnée de criminels du gouvernement chinois et de l’autre une base de données de photos de conducteurs de taxis… Or, les différences de traits du visage qu’ils ont mis à jour n’en étaient pas. Ils ont confondu les traits du visage et les expressions du visage. Il n’y avait pas de différences dans la structure faciale entre les criminels et ceux qui ne l’étaient pas, mais une différence d’expression : sur les photographies des services de police, les criminels ne souriaient jamais ! Crawford évoque un autre exemple, tiré des travaux du psychologue Michal Kosinski (@michalkosinski), l’étude dite Gaydar, du nom de l’application de rencontre dont les photos ont été extraites… Cette étude a utilisé des réseaux de neurones pour détecter des caractéristiques de milliers de visages permettant de prédire l’orientation sexuelle de quelqu’un depuis ses traits de visages. Pour Crawford, cette étude pose de nombreuses questions méthodologiques et éthiques, notamment quand on considère que le fait d’être gay est une pratique criminalisée par quelque 78 pays à travers le monde et pour certains, punis de la peine de mort (même si l’objection éthique de Crawford est juste, l’étude de Kosinski est plus ambigüe que cela comme le montrent les explications de Carl Bergstrom et Jevin West de l’excellent Calling Bullshit ou, en français, l’article de déconstruction de l’ambiguïté de l’alerte de Nicolas Baya-Laffite, Boris Beaude et Jérémie Garrigues pour la revue Réseaux).

Pour Crawford, quand l’IA cherche à catégoriser les gens sur le genre, la race ou l’identité sexuelle, depuis leur visage, elle fait une erreur conceptuelle et pratique la confusion des catégories, en pensant que ces classements sont des objets fixes, comme le sont une table ou une chaise. Kosinski a justifié son article en expliquant qu’il était important de montrer aux gens que ce type de classements pouvait être accompli. Mais pour Kate Crawford, nous avons une obligation éthique à ne pas faire des choses scientifiquement contestables, capables de causer de sérieux préjudices et marginaliser plus encore les gens marginalisés. « Ce n’est pas parce qu’on peut fabriquer quelque chose qu’on doit le faire ». Il n’est pas indifférent que la possibilité de détecter le crime ou l’homosexualité se produise au moment où le populisme et l’autoritarisme se développent, insiste la chercheuse. Beaucoup de gens souhaitent des systèmes de pouvoir et de contrôle qui n’aient de comptes à rendre à personne. Le sociologue Stuart Hall – tout comme Michel Foucault – affirmait que les « systèmes de classification sont en eux-mêmes des objets de pouvoir ». Toute classification dépend d’une abstraction, qui vise à mettre certaines choses en avant et à en rendre d’autres silencieuses. Qu’est-ce qui est accentué, optimisé ? Qu’est-ce qui est rendu silencieux ? Nous avons le devoir de ne pas reproduire les erreurs du passé !

Géopolitique de l’IA : articuler la Justice et l’IA

Aujourd’hui, le monde entier s’intéresse aux « superpouvoirs » de l’IA, glisse la chercheuse en faisant une référence implicite au best-seller de Kai-Fu Lee (voir « L’intelligence artificielle chinoise, un modèle ? »). De partout, le risque est que l’IA, parce qu’elle est un système de contrôle et de pouvoir, change la démocratie. C’est évident pour nous, occidentaux, quand on regarde le crédit social chinois, qui très concrètement proscrit certains individus, à l’image des 23 millions de Chinois qui sont interdits de se déplacer. Mais la Chine n’est pas le seul vilain petit canard de l’IA.

L’analyse de sentiments par exemple, pose d’innombrables problèmes, à l’image de ceux montrés par le scandale Cambridge Analytica ou de HireVue, un système d’entretien d’embauche en vidéo qui calcule de votre prestation un profil psychographique. Le problème ne concerne pas seulement le secteur privé, mais également le secteur public, à l’image de l’Agence de police douanière et de contrôle des frontières américaine qui utilise un système de prévision du risque des migrants arrêté qui a fait tripler la détention des immigrants notamment par l’interconnexion de bases de données.

Le nouvel algorithme mis en place en 2017 recommande désormais la détention dans 100 % des cas ! « C’est un outil prédictif qui n’apporte qu’une réponse ». Des milliers d’agents ont accès aux données du système et peuvent les manipuler, par exemple en faisant disparaître les informations permettant de relier des enfants à leurs parents ! Et Crawford d’ironiser : comment la parité et l’équité fonctionnent-elles dans de tels systèmes où des gens à la peau sombre sont facilement identifiés par des gens à la peau blanche qui ne les aideront pas ! Pour la chercheuse, nous touchons là des enjeux majeurs liés aux droits de l’homme, à la responsabilité et aux procédures équitables. La philosophe Hannah Arendt rappelait que ce qui hantait le plus sa génération après le procès de Nuremberg était de comprendre comment cela avait pu arriver ! Et comment avons-nous pu laisser cela arriver ! Elle constatait déjà que la seule chose qui a pu limiter la montée des dérives totalitaires a été de s’opposer à leurs technologies.

En 1968, la philosophe nous prévenait déjà :« Le rêve de la police est qu’une carte gigantesque sur les murs de leurs bureaux suffise pour établir à chaque moment qui est en relation avec qui et selon quel niveau d’intimité… » Ce cauchemar ne paraît plus irréalisable aujourd’hui, sa réalisation technique est juste difficile. Pour Crawford, nous avons là une description du danger que nous courons.

Nous avons pourtant déjà répondu à des défis et des dangers de ce type. En matière de risque nucléaire ou de génie génétique par exemple, nous avons tenté d’établir des règles et des garde-fous, estime avec beaucoup d’optimisme la chercheuse. La communauté scientifique doit travailler à comprendre les implications sociales de l’IA, notamment son potentiel à accélérer les inégalités. Pour cela, nous avons besoin d’éthique, estime la chercheuse. Les ingénieurs qui développent ces systèmes ont une grande responsabilité, car les systèmes sur lesquels ils travaillent impactent non seulement des millions de personnes, mais également les générations futures.

L’éthique n’est pourtant pas une solution toute faite qu’il suffirait d’appliquer. Elle interroge comment faire pour que les formes de gouvernance rendent clairement et publiquement des comptes à ceux qu’elles gouvernent. Mais pour Kate Crawford, nous avons surtout besoin d’articuler la question de la justice et de l’IA. Pour elle, l’enjeu tient plus de la justice que de l’équité. D’une justice économique, politique, sociale, environnementale…

Il nous faut trouver les moyens pour que ces systèmes automatisés rendent compte de leurs fonctionnements, de leurs actions… Et cela passe nécessairement par le développement de contrôles, de réglementations et de législations. Mais également par les actions individuelles comme collectives que nous menons… Et Kate Crawford de rappeler le rôle de l’ingénieur du recensement français, René Camille, qui a oeuvré contre la machine à identifier les juifs du régime nazi. Chaque ingénieur a un moyen d’utiliser son pouvoir de manière éthique… Pour la chercheuse, nous devons utiliser ce moment critique des technologies qui se fait jour. Souvenons-nous des dangers de l’histoire de la classification, conclut-elle. Et travaillons à nous assurer que nous construisons un monde où chacun pourra vivre.

Après son intervention, Kate Crawford a répondu à quelques questions du public. Pour identifier les biais, interroge une personne, encore faut-il pouvoir les repérer… Beaucoup de données par exemple ne comportent pas d’information sur l’origine ethnique des gens. Pour pouvoir corriger cette question, le risque n’est-il pas qu’on soit toujours plus invasifs à l’encontre de la vie privée ? Et Kate Crawford d’appuyer : à nouveau, même en récoltant des données plus précises, la question demeure de comment les rendre neutres, comment corriger concrètement les résultats ? Bien souvent par exemple, les données raciales sont d’une grande généralité : aux États-Unis, nous avons le plus souvent 4 catégories : noir, blanc, asiatique et autres ! Qui est rangé dans quoi ? Qu’est-ce que ces catégories reflètent ?

Faut-il bannir l’IA dans certains secteurs et si oui, lesquels ? Comment estimer le risque dans l’innovation ?, interroge un autre participant. Il y a 3 ans, personne n’envisageait de bannir la reconnaissance faciale… Et regardez maintenant l’évolution de cette question, notamment en Californie et à San Francisco ! Ça bouge vite. Personnellement, je pense qu’il nous faut des moratoires dans certains secteurs, soutient la chercheuse. Dans le monde de la médecine ou de la pharmacie, on ne laisse pas faire n’importe quoi aux industriels… Cela suppose bien sûr de comprendre les risques, ce qui n’est pas toujours si simple. La qualité des discussions autour de ces enjeux, tant du côté des politiques que du grand public a beaucoup progressé, même si les enjeux sont complexes. Cela demande beaucoup de courage et de pression du public pour contrer la puissance des grandes entreprises du secteur à imposer leur agenda !

Si l’IA est biaisée, les gens portent également leurs propres biais… Entre les biais d’un recruteur humain et les biais d’un recruteur automatique, qui pourrait être le plus objectif ? Peut-on rendre l’IA meilleure que les hommes ?, interroge une autre personne. Ce n’est pas parce que le monde est biaisé que nous devons en ajouter une couche, rétorque Kate Crawford. Certes, le jugement des juges est biaisé, mais ils fonctionnent dans un système où leurs pouvoirs sont contrebalancés. Leurs décisions doivent être motivées. Il y a des garde-fous et des garanties institutionnelles, des procédures, des recours … Dans le domaine des décisions automatisées, nous devons développer des procédures et des garanties également !

Répondant à une autre question sur la collecte de données personnelles toujours plus invasive, la chercheuse souligne que les assistants vocaux par exemple, pour fonctionner, ont besoin de toujours plus de données spécifiques et contextualisées. « Nous sommes dans une course à l’extraction de données et c’est cette culture qu’il faut changer ! » Ces systèmes ne sont pas soutenables et il nous faut des modèles qui utilisent le moins de données possible !

Hubert Guillaud

Article initialement publié le 30 septembre 2019 sur InternetActu :

http://www.internetactu.net/2019/09/30/kate-crawford-lia-est-une-nouvelle-ingenierie-du-pouvoir/