Les bugs ne sont pas amenés à être corrigés !

Ce New Dark Age porte un titre prophétique et apocalyptique. Un peu trop peut-être. C’est effectivement un livre très critique sur notre rapport à la technologie, très éloigné du rapport souvent curieux et amusé que Bridle portait aux technologies avec la nouvelle esthétique. En une dizaine de chapitres, Bridle explore les glitchs qui sont désormais devenus des schismes, des scissions, des ruptures… comme s’ils n’étaient plus aussi distrayants. Dans son livre, il montre combien les bugs se cristallisent en caractéristiques. Combien la complexité technique que nous avons construite s’entremêle pour produire des effets en réseau, complexes, profonds, intriqués que nous ne parvenons plus vraiment à démêler. Son constat principal consiste à dire que ces dysfonctionnements ne sont pas amenés à être corrigés. Ils sont au contraire intrinsèques à la nature même des technologies qui se déploient aujourd’hui. Contrairement à ce que nous annonçaient les pionniers et les prophètes des technologies, pour Bridle, la technologie n’annonce pas de nouvelles Lumières ou une Renaissance, mais, comme Jules Michelet parlait du Moyen Âge, un âge sombre, une ère d’obscurité pour ne pas dire d’obscurantisme. Ni les réseaux sociaux, ni l’intelligence artificielle, ni les systèmes techniques ne vont nous aider à faire monde commun. Au contraire.

Le constat de Bridle est définitif. « L’accélération technologique a transformé notre planète, nos sociétés et nous-mêmes, mais elle n’a pas réussi à transformer notre compréhension de la technologie ». Nous n’arrivons plus à penser en dehors ou sans technologie. Pire, la technologie s’est fait la complice de tous les défis auxquels nous sommes confrontés : à la fois d’un système économique hors de contrôle qui ne cesse d’élargir les inégalités, la polarisation politique comme le réchauffement climatique. Pour Bridle, la technologie n’est pas la solution à ces défis, elle est devenue le problème. Il nous faut la comprendre plus que jamais, dans sa complexité, ses interconnexions et ses interactions : mais cette compréhension fonctionnelle ne suffit pas, il faut en saisir le contexte, les conséquences, les limites, le langage et le métalangage.

Trop souvent, on nous propose de résoudre ce manque de compréhension de la technologie par un peu plus d’éducation ou son corollaire, par la formation d’un peu plus de programmeurs. Mais ces deux solutions se limitent bien souvent en une compréhension procédurale des systèmes. Et cette compréhension procédurale vise surtout à renforcer la « pensée computationnelle », c’est-à-dire la pensée des ingénieurs et des informaticiens qui n’est rien d’autre que le métalangage du solutionnisme technologique : « la croyance que tout problème donné peut-être résolu par l’application de solutions de calcul ». Or la pensée des ingénieurs, la pensée informatique, intègre plus que toute autre le solutionnisme : elle ne parvient pas à voir le monde autrement qu’en terme computationnel. Dans ce mode de pensée, le monde est un système qu’il faut décoder… Et c’est là notre erreur de perspective principale, estime James Bridle.

L’écueil de la pensée computationnelle

Les systèmes techniques sont devenus de plus en plus complexes. Trop critiques et interconnectés pour être compris, pensés ou conçus. Leur compréhension n’est disponible plus que pour quelques-uns et le problème est que ces quelques-uns sont les mêmes que ceux qui sont au sommet des structures de pouvoir. Pour James Bridle, il y a une relation causale entre la complexité des systèmes, leur opacité, et les violences et inégalités qu’ils propagent. « Trop souvent, les nouvelles technologies sont présentées comme étant naturellement émancipatrices. », Mais c’est là typiquement un exemple de pensée computationnelle estime Bridle. Les primo-utilisateurs qui en ont vanté les mérites, si naïvement, ont bénéficié des opportunités de la technique, sans saisir ce que leur déploiement à large échelle pouvait transformer ni voir que le fait qu’ils en bénéficient ne signifiait pas qu’elle allait bénéficier à tous. Dans notre monde en réseau, l’individualisme l’a emporté sur la solidarité.

Le cloud (l’informatique en nuage) n’est plus une métaphore du réseau, c’est l’incarnation de ce système global et surpuissant qu’aucun d’entre nous ne peut désormais attraper. Ce nuage est pourtant une bien mauvaise métaphore. Rien de ce qu’il recèle n’y est sans poids, rien n’y est amorphe ou invisible. Le cloud cache une infrastructure physique complexe faite de lignes téléphoniques, de fibre optique, de satellite, de vastes entrepôts d’ordinateurs, qui consomment d’énormes quantités d’énergie et qui influent sur de multiples juridictions. Le cloud est l’incarnation d’une nouvelle industrie.

L’absence de compréhension dans laquelle nous sommes maintenus est délibérée, estime Bridle. De la sécurité nationale aux secrets industriels, il y a beaucoup de raisons à obscurcir ce que recouvre ce nuage. Mais ce qui s’en évapore est assurément notre propriété (dans les nuages, tout appartient à d’autres) et notre agentivité, c’est-à-dire notre capacité à faire. Le nuage est une métaphore qui obscurcit la réalité opérationnelle de la technologie : un moyen de cacher ce qu’elle accomplit, sa propre agentivité, via des codes opaques et insondables, via une distance physique réelle entre l’utilisateur et les matériels qu’il active et une construction juridique qui fonctionne selon le principe d’extraterritorialité. La technologie est une opération de puissance qui utilise ses outils pour se cacher de nous.

Le réseau est-il l’accomplissement du progrès ?

Ce réseau technologique de systèmes entremêlés qui s’est construit petit à petit est caractérisé par son absence d’intention apparente, claire ou unique. Personne n’a décidé de créer le réseau tel qu’il s’est développé… Il s’est bâti peu à peu, dans le temps, système contre système, culture contre culture, comme une agrégation de technologies se liant ensemble via des programmes publics et des investissements privés, via des relations personnelles et des protocoles techniques… Le réseau donne l’impression d’être à la fois l’idéal de progrès le plus abouti et l’idéal de base de notre culture tout en paraissant avoir émergé inconsciemment, poursuivant son but d’interconnexion sans fin pour lui-même et par lui-même… « Nous présumons que l’interconnexion est inhérente et inévitable. Le réseau semble être devenu le résultat du progrès, son accomplissement ultime », à l’image de machines qui accompliraient ainsi leurs propres désirs. Internet semble avoir accompli l’idéal des Lumières, l’idéal du progrès : celui que plus de connaissance et plus d’information conduit toujours à prendre de meilleures décisions.

Mais n’est-ce pas plutôt le contraire auquel nous assistons ? « Ce qui était censé éclairer le monde l’a obscurci. L’abondance d’information et la pluralité d’opinion accessible à tous n’ont pas produit un consensus cohérent, mais au contraire a déchiré la réalité en narrations simplistes, en théories fumeuses et en politique d’opinion. Contrairement au Moyen Âge, où l’âge sombre était lié à une perte de connaissance antique, l’âge sombre moderne est lié à une abondance de connaissance dont nous ne savons plus démêler collectivement l’apport. » Et Bridle de faire référence à l’obscurité qu’annonçait Lovecraft dès les premières lignes de l’Appel de Cthulhu :

« la chose la plus miséricordieuse en ce monde, je crois, c’est l’inaptitude de l’esprit humain à corréler tout ce dont il est témoin. Nous vivons sur une placide île d’ignorance au milieu de noires mers d’infini, et cela ne veut pas dire que nous puissions voyager loin. Les sciences, chacune attelée à sa propre direction, nous ont jusqu’ici peu fait de tort ; mais rassembler nos connaissances dissociées nous ouvrira de si terrifiants horizons de réalité, et la considération de notre effrayante position ici-bas, que soit nous deviendrons fous de la révélation, soit nous en fuirons la lumière mortelle dans la paix et la sécurité d’une nouvelle ère d’obscurité. »

L’obscurité dont parle Bridle c’est notre incapacité à voir clairement ce qui est devant nous, avec capacité et justice. Pour Bridle pourtant, ce constat ne doit pas être lu comme une condamnation de la technologie. Au contraire. Pour relever l’âge sombre qui s’annonce, il nous faut nous engager plus avant dans la technologie, avec elle, mais avec une compréhension radicalement différente de ce qu’il est possible d’en faire, en retrouver un sens que la seule recherche d’efficacité nous a fait perdre. Tout comme le changement climatique, les effets de la technologie s’étendent sur le globe et affectent tous les aspects de nos vies. Mais comme le changement climatique, ses effets sont potentiellement catastrophiques et résultent de notre incapacité à comprendre les conséquences de nos propres inventions. Nous devons changer de manière de voir et penser le monde, nous invite Bridle, un peu facilement ou naïvement. L’âge sombre n’est pas qu’un lieu de danger, c’est aussi un moment de possibilité et de liberté. Mais cet optimisme semble un peu de façade, tant la description qu’il fait de notre utilisation des technologies est sombre et glaçante. Les glitchs qu’il s’amusait à recenser comme une expression étrange des transformations culturelles nées de notre capacité à l’interconnexion semblent être devenus des sortes de monstres que personne ne maîtrise. Les effets de bords de nos créations sont devenus des créatures qui nous dévorent en retour. Nous perdons pied dans ce que nous avons créé.

Peut-on s’extraire de la pensée computationnelle ?

Dans son livre, Bridle étrille longuement la pensée computationnelle, ce mode de pensée à travers les machines, né du calcul, et qui estime que tout problème est soluble par essence. Il rappelle l’histoire de l’informatique, intimement liée à la question de la modélisation des essais nucléaires, des tirs balistiques et de la prédiction à l’image des travaux du mathématicien Lewis Fry Richardson qui va réaliser – des années 1910 à 1922, bien avant l’apparition des ordinateurs donc – des mesures climatiques pour produire le premier modèle de prédiction météorologique. Il faudra attendre les premiers ordinateurs pour être enfin capables de traiter d’imposants volumes de données pour que la prédiction météorologique se développe et se réalise. Le développement de capteurs (satellites, capteurs météo…) a mis peu à peu le globe sous calcul, sans que nous nous en rendions vraiment compte.

Pour James Bridle, l’histoire de la prédiction repose sur une série d’échecs – des échecs à distinguer la réalité de sa simulation, même si ce n’est peut-être pas le cas dans tous les domaines, notamment la météo justement – et qui promet sans cesse de s’améliorer sans voir que son principal écueil demeure de croire en sa surpuissance. « Nous avons été conditionnés pour croire que les ordinateurs rendaient le monde plus limpide et plus efficace, qu’ils allaient réduire la complexité et facilité de meilleures solutions aux problèmes qui nous assiègent, qu’ils allaient étendre notre capacité à adresser de plus larges domaines d’expertise. Mais cette histoire ne s’est pas révélée exacte du tout. Une meilleure lecture de l’histoire de l’informatique souligne une opacité croissante alliée à une concentration croissante du pouvoir et un pouvoir qui se retranche derrière des domaines d’expertise toujours plus étroits. » Effectivement, l’informatique n’a pas simplifié le monde.

En construisant des architectures complexes, qui ne peuvent plus être questionnées, on bloque et on transforme les problèmes en abstraction, en dilemmes définitivement rebelles à toute solution autre que mathématique. Tout problème devient une question mathématique plutôt qu’une question démocratique ou égalitaire. « En rapprochant la simulation de l’approximation, les grands prêtres de la pensée computationnelle pensent remplacer le monde par des modèles biaisés de lui-même ; et en le faisant, les modeleurs s’assurent du contrôle du monde. » James Bridle s’inscrit dans la continuité des constats de l’historien des sciences David Noble qui, dans Le progrès sans le peuple notamment, soulignait combien la pensée des ingénieurs avait contribué à donner du pouvoir aux puissants plutôt que favoriser l’équité ou la démocratie ; comme dans celle de Richard Sclove du Loka Institute, qui dans Choix technologiques, choix de société, soulignait combien les enjeux démocratiques restaient le parent pauvre de la question technologique.

Aujourd’hui, nous pouvons avoir l’impression que le monde nous est disponible, instantanément, explique Bridle, à l’image du site FlightRadar, un site qui permet de voir tous les avions en vol en temps réel… depuis le signal ADS-B qu’ils émettent. Enfin, pas tous. Seulement les vols commerciaux, ce qui escamote les manoeuvres militaires comme les vols des jets privés… Le GPS est devenu un autre de ces signaux invisibles qui surveille toute activité sur la planète, une horloge géographique qui régule les déplacements et le temps, la logistique, les infrastructures électriques comme les marchés financiers. Mais notre dépendance de plus en plus grande dans de tels systèmes masque combien ils sont manipulables, alors que nous avons tendance à penser qu’ils ne le sont pas.

La connectivité est devenue notre réalité

Notre rapport à l’espace et au code ne s’exprime pas uniquement dans les systèmes informatiques, rappelle Bridle. Des géographes comme Rob Kitchin et Martin Dodge, on posé le concept de code/space pour décrire l’imbrication du calcul avec nos environnements, à l’image des aéroports, conçus comme des systèmes et qui ne peuvent fonctionner sans informatique. C’est le cas de plus en plus de nos environnements les plus immédiats, gérés par des systèmes informatiques. Nos outils de travail les plus quotidiens comme nos véhicules exigent désormais des mises à jour quotidiennes et des échanges de données pour fonctionner. La connectivité et les algorithmes rythment jusqu’à nos vies sociales. Nos objets quotidiens sont tous devenus des code/space. Toutes nos activités sont « de plus en plus gouvernées par une logique algorithmique et policées par des processus informatiques opaques et cachés ». Cette emphase de production physique et culturelle du monde par l’informatique masque les inégalités de pouvoir qu’elles induisent, reproduisent et amplifient.

La pensée computationnelle s’infiltre partout : elle devient notre culture. Elle nous conditionne à la fois parce qu’elle nous est illisible et à la fois parce que nous la percevons comme neutre émotionnellement et politiquement. Les réponses automatisées nous semblent plus dignes de confiance que celles qui ne le sont pas. Dans la pensée computationnelle, nous sommes victimes du biais d’automatisation : « nous avons plus confiance dans l’information automatisée que dans notre propre expérience, même si elle est en conflit avec ce qu’on observe ». Les conducteurs de voitures comme les pilotes d’avion ont plus tendance à croire leurs instruments que leur expérience, même si celle-ci n’est pas alignée. Ceux qui suivent les systèmes automatisés prennent leurs décisions plus rapidement avec moins de questions : comme si l’action qui leur était suggérée prévenait toute question ou toute introspection relatives au problème. Dans le stress, nous préférons choisir l’option la plus simple, la plus immédiate. Nous préférons les stratégies faciles à suivre et à justifier. Nous préférons ce que nous dit la machine à ce que nous dit notre intuition qu’il faudrait corroborer en faisant un effort cognitif supplémentaire.

Pour Bridle, l’informatique, en ce sens, est un piratage de notre capacité cognitive, de notre capacité attentionnelle, qui renvoie toute responsabilité sur la machine. « À mesure que la vie s’accélère, les machines ne cessent de prendre en main de plus en plus de tâches cognitives, renforçant par là leur autorité – sans regarder les conséquences ». « Nous nous accommodons de mieux en mieux et de plus en plus aux confortables raccourcis cognitifs que nous proposent nos machines. L’informatique remplace la pensée consciente. Nous pensons de plus en plus comme des machines, ou plutôt nous ne pensons plus du tout ! ».

Nous vivons désormais dans la computation

Nous vivons désormais dans la computation. Elle n’est plus seulement l’architecture de notre monde : elle est devenue le fondement même de notre manière de penser. Elle est devenue si pervasive, si séductrice, que nous l’utilisons pour tout : elle remplace le mécanique, le physique, le social, le cognitif… « À mesure que l’informatique nous encercle, que nous lui assignons la puissance et la capacité à générer la vérité, et que nous lui confions de plus en plus de tâches cognitives, la réalité prend l’apparence d’un ordinateur et nos modes de pensées également. » La pensée computationnelle ne gouverne pas seulement nos actions présentes, mais modèle le futur pour qu’il s’adapte à ses paramètres. « Ce qui est difficile à modéliser, à calculer, à quantifier, ce qui est incertain ou ambigu, est désormais exclu du futur possible. »L’informatique projette un futur qui ressemble au passé (« Les algorithmes ne prédisent pas le futur, ils codifient le passé », disait déjà Cathy O’Neil). La pensée computationnelle est paresseuse. Elle propose finalement des réponses faciles. Elle nous fait croire qu’il y a toujours des réponses.

« La pensée computationnelle a triomphé parce qu’elle nous a d’abord séduits par sa puissance, puis elle nous a embrouillés par sa complexité, et finalement elle s’est imposée dans nos cortex comme une évidence. » Elle n’en demeure pas moins le produit d’une sursimplification, de données biaisées, d’obfuscation délibérée… qui nous montrent chaque jour leurs limites, à l’image des révélations quotidiennes qu’on peut lire sur les défaillances technologiques de notre monde. « Plus nous sommes obsédés à modéliser le monde, plus il apparaît inconnaissablement complexe », comme si notre tentative à le réduire était par nature impossible à mesure qu’on semble croire y parvenir.

Avons-nous atteint un pic de la connaissance ?

James Bridle nous rappelle que, comme le climat, les infrastructures en réseau sont fragiles. Un rapport britannique (A National infrastructure for the 21st Century (.pdf), 2009), qui évoquait autant l’internet que les réseaux d’adduction d’eau, d’approvisionnement d’électricité ou de gaz, l’avait très bien souligné : les réseaux souffrent d’une gouvernance fragmentée, sans responsabilités claires, peu cartographiés et sous-financés ; des infrastructures en silos ; des investissements privés comme publics insuffisants et plus encore un manque de compréhension de la complexité de leur fonctionnement… expliquent leur fragilité intrinsèque et la difficulté de leur maintenance. Ajoutez à cela les impacts du changement climatique sur leur maintenance et leur évolution et vous comprendrez que les réseaux ne sont pas dimensionnés pour faire face au futur. Bref, non seulement l’informatique contribue largement au réchauffement climatique, mais elle risque d’en être l’une des principales victimes.

Pour autant, peu de gens s’inquiètent vraiment de cette responsabilité quant aux usages mêmes que l’on fait du réseau. Les rares solutions esquissées qui peuvent aller de la taxation, à des régressions techniques, semblent impensables à projeter à l’échelle des réseaux. À mesure que la culture numérique devient toujours plus rapide et plus gourmande en données, elle devient aussi plus coûteuse et nécessite de plus en plus d’énergie.

Le problème du changement climatique c’est qu’il dégrade notre capacité à prédire le futur. Pour James Bridle, alors que la prédiction est au coeur du futur, celui-ci est de moins en moins clair, de moins en moins prévisible. Les modèles et cycles de la nature que nous avons établis depuis des siècles (comme la pollinisation, les migrations animales, etc.) sont en train de changer : les connaissances que nous avons accumulées sont en train de devenir fausses. Or, notre civilisation repose pour beaucoup sur ce type de prédiction, comme de savoir quelle graine planter à quel moment de l’année, comme d’être capable de prédire les sécheresses ou les feux de forêt… Nos enfants pourraient demain en savoir bien moins sur le monde que nous !

Le spécialiste du climat William Gail, fondateur du Global Weather Corporation, dans le New York Times, estimait que nous avons peut-être passé un « pic de connaissance » ! Pour le philosophe Timothy Morton (@the_eco_thought) blog), le réchauffement climatique est un « hyperobjet », comme il l’explique dans son livre éponyme : quelque chose qui nous entoure, nous enveloppe, mais qui est trop énorme pour qu’on puisse le voir ou le comprendre entièrement. On perçoit les hyperobjets par l’influence qu’ils ont sur certains éléments, comme la fonte des glaciers ou le développement des turbulences en avion… Ils défient nos capacités à les décrire rationnellement. Le réseau, comme le changement climatique, est une représentation de notre réalité précisément parce qu’il est très difficile à penser, estime Bridle. On a beau transporter ce réseau dans nos poches, le stocker dans des centres de données… Il n’est pas réductible à ces unités concrètes. Il est non-local et par nature contradictoire. On ne peut pas le connaître !

Où est passé le progrès ?

Dans le monde de la SF, on parle par exemple du temps du moteur à vapeur, explique l’auteur de science-fiction William Gibson. Le temps de la machine à vapeur est un concept qui désigne le moment où ce moteur est advenu sans que personne ne sache vraiment pourquoi il est apparu à tel moment plutôt qu’à un autre. En fait, Ptolémée avait largement expliqué le principe du moteur à vapeur et rien n’aurait pu empêcher les Romains par exemple d’en construire. Mais ce n’est pas ce qu’il s’est passé. Les moteurs à vapeur sont apparus quand c’était leur temps.

L’histoire des sciences nous montre que la plupart des inventions sont simultanées et ont plusieurs auteurs. Elles apparaissent souvent à plusieurs endroits simultanément. Cela implique une certaine manière de raconter l’histoire des sciences. La recherche, la science, la technologie convergent en une invention qui semble toujours le résultat d’un passé qui y conduit directement. L’histoire semble servir à créer une justification a posteriori, tout comme la fameuse loi de Moore. Mais c’est là à la fois une projection et une extrapolation qui reposent plutôt sur nos préférences pour les histoires héroïques qu’autre chose, avance Bridle. Nous avons un biais qui nous fait préférer la marche inévitable du progrès plutôt que ses hoquets, qui nous fait préférer voir le progrès et ses prolongements vers le futur. Pourtant, « la loi de Moore n’est ni technique, ni économique : elle est libidinale ! », clame Bridle. Le développement des circuits intégrés dès les années 60 par quelques entreprises a transformé le secteur au profit de quelques très grosses entreprises. Cette industrie a transformé le matériel et l’a distingué du logiciel. Elle a aussi mis fin à l’artisanat, à la réparation et à l’efficacité logicielle… Alors que les premiers développeurs logiciels avaient le souci d’économiser les ressources en optimisant leur code, les programmeurs ont pu s’en passer, sachant qu’ils devaient attendre quelques mois pour disposer de deux fois plus de puissance.

L’héritage de la loi de Moore c’est que le logiciel est devenu le centre de nos sociétés. La courbe de puissance dessinée par la loi de Moore est devenue l’image du progrès elle-même : un futur d’abondance, où le présent n’avait plus besoin de s’accommoder de quoi que ce soit. « La loi de l’informatique est devenue une loi économique et une loi morale ». La conséquence est qu’on a l’impression de vivre dans un âge d’informatique ubiquitaire, disponible partout et tout le temps, dans des nuages à la puissance de calcul infinis… En 2008, Chris Anderson, proclamait la fin de la théorie, c’est-à-dire que nous n’aurons plus besoin de construire des modèles du monde. L’informatique massive allait produire la vérité depuis des volumes sans précédent de données, le Big Data. Pour Bridle, « la fausse promesse du Big Data est le résultat logique du réductionnisme scientifique : la croyance que des systèmes complexes peuvent être compris en en démantelant les composants et en étudiants ces pièces isolément. »

Mais les grands volumes de données ne produisent pas de la connaissance automatiquement. Dans la recherche pharmacologique par exemple, les dépenses et investissements n’ont jamais été aussi forts alors que les découvertes, elles, n’ont jamais produit aussi peu de nouveaux traitements. On appelle cela la loi d’Eroom : l’exact inverse de la loi de Moore. Le nombre de résultats de recherche chute et ces résultats sont de moins en moins dignes de confiance. Si les publications scientifiques n’ont jamais été aussi volumineuses (au détriment de leur qualité), les rétractions ont augmenté et le nombre de recherches ayant un impact significatif, elles, ont diminué proportionnellement. La science connaît une crise de réplicabilité majeure. Le p-hacking (la tromperie sur les probabilités – la signification statistique que réprésente la valeur p -, c’est-à-dire le fait de considérer un résultat expérimental comme statistiquement signifiant alors qu’il ne l’est pas) se porte bien. Le séquençage ADN est devenu très rapide. Les bases de données de protéines ont explosé en volume en 25 ans. Le coût pour les utiliser a chuté, les recherches ont explosé… Mais le nombre de nouveaux médicaments lui a périclité.

Plusieurs facteurs expliquent ce revirement de la loi du progrès. La première est que les choses les plus évidentes à découvrir ont été exploitées. La régulation est également devenue plus exigeante et la société moins tolérante aux risques. Mais le problème principal relève certainement des méthodes désormais employées. Historiquement, la découverte de médicament était le fait de petites équipes de chercheurs qui se concentrait intensément sur de petits groupes de molécules. Mais depuis 20 ans, ces processus ont été largement automatisés, sous la forme de ce qu’on appelle le HTS (High-throughput screening pour criblage à haut débit) qui consiste en des recherches automatisées de réactions potentielles via de vastes bibliothèques de composants. Le HTS a priorisé le volume sur la profondeur. Ce qui a marché dans d’autres industries a colonisé la recherche pharmaceutique : automatisation, systématisation et mesures… Certains commencent à douter de l’efficacité de ces méthodes et voudraient revenir à l’empirisme humain, au hasard, au bordel, au jeu… À nouveau, « la façon dont nous pensons le monde est façonnée par les outils à notre disposition ». Nos instruments déterminent ce qui peut être fait et donc, ce qui peut être pensé. À mesure que la science est de plus en plus technologisée, tous les domaines de la pensée humaine le sont à leur tour. Les vastes quantités de données ne nous aident qu’à voir les problèmes des vastes quantités de données.

Pris au piège de l’interconnexion

Les bourses et places de marchés d’antan ont été remplacées par des entrepôts, des data centers, anonymes, dans des banlieues d’affaires impersonnelles. La dérégulation et la numérisation ont transformé en profondeur les marchés financiers. La vitesse des échanges s’est accélérée avec la technologie. Les transactions à haute fréquence (HFT, High-frequency trading) reposent sur la latence et la visibilité. La latence, c’est-à-dire la rapidité d’échange où des millions peuvent s’échanger en quelques millisecondes et la visibilité (sauf pour les non-initiés), c’est-à-dire le fait que les échanges sont visibles de tous les participants, instantanément. Les échanges reposent sur des algorithmes capables de calculer des variations éclair et de masquer les mouvements de fonds. Les échanges sont plus opaques que jamais : ils s’imposent sur des forums privés, les « dark pools » (en 2015, la SEC, l’organisme américain de réglementation et de contrôle des marchés financiers, estimait que les échanges privés représentaient 1/5e du total des échanges)… Les échanges financiers ont été rendus obscurs et plus inégaux que jamais, rappelle Bridle. Dans son livre, Flash Boy, l’ancien investisseur Michael Lewis décrivait combien ces marchés étaient devenus un système de classe, un terrain de jeu accessible seulement à ceux qui ont les ressources pour y accéder. Le marché, qui était par nature public et démocratique, est devenu fermé et privé. Les constats de l’économiste Thomas Piketty dans Le Capital au XXIe siècle sur la montée des inégalités… montrent à leur tour combien l’idée de progrès s’est renversée. Les économistes ont longtemps défendu l’idée que la croissance réduisait les inégalités. Mais cela ne se fait pas automatiquement, tant s’en faut. Au contraire. Pour James Bridle, « La technologie est devenue un moteur des inégalités ».

L’automatisation rend les compétences humaines obsolètes et même ceux qui programment les machines ne sont pas épargnés. À mesure que les capacités des machines s’améliorent et s’élargissent, de plus en plus de professions sont assiégées. L’internet et les effets de réseaux renforcent encore ces effets en favorisant des places de marché où le plus fort l’emporte. Pour Bridle, l’une des clefs qui expliquent que les inégalités se renforcent avec la technologie est intrinsèquement liée à l’opacité des systèmes. Comme les robots des entrepôts d’Amazon et ses employés commandés par des commandes vocales émanant de robots, nous sommes en train d’arranger le monde pour rendre les machines toujours plus efficaces, quitte à ce que le monde devienne incompréhensible et inadapté aux humains. Les travailleurs deviennent le carburant des algorithmes, utiles seulement pour leurs capacités à se déplacer et à suivre des ordres. Pour Bridle, les startups et les Gafam signent le retour des barons voleurs, ces tyrans industriels du XIXe siècle. La technologie est venue couvrir d’un voile d’opacité la prédation : l’avidité s’est habillée de la logique inhumaine des machines. Amazon ou Uber cachent derrière des pixels lumineux un système d’exploitation sans faille. Leurs applications sont des télécommandes qui agissent sur des gens, dans le monde réel, avec des effets quasi impossibles à voir pour celui qui appuie sur le bouton. La technologie est mise au service des entreprises et du profit au détriment de tout autre intérêt, comme l’a montré le dieselgate. « L’histoire de l’automatisation n’est pas qu’une histoire de machines qui prennent le travail de travailleurs humains, c’est aussi et avant tout l’histoire d’une concentration du pouvoir en de moins en moins de mains, et une concentration de la compréhension du monde en de moins en moins de têtes. »

La complexité a ajouté un voile d’opacité supplémentaire. Désormais, les programmes de HFT scannent également l’information. En 2013, à 1:07 pm, le compte twitter officiel d’Associated press a été piraté par l’Armée électronique syrienne. Un tweet annonçant deux explosions à la maison blanche et le président Obama blessé a été envoyé à 2 millions d’abonnés. À 1:08 pm le Dow Jones a connu un flash crash : l’index a perdu 150 points avant même que la plupart des abonnés humains au compte d’AP n’aient vu le tweet.

L’interconnexion algorithmique du monde n’en est qu’à ses débuts, estime Bridle. Et les marchés ne sont pas le seul endroit où ces étranges cascades algorithmiques se déroulent. Sur des places de marchés de produits personnalisables, des algorithmes créent des milliers de produits automatiquement… à l’image de slogans pour tee-shirts insultants. Ces produits n’ont bien souvent jamais trouvé d’acheteurs. Ils n’existaient que virtuellement. Reste que ces programmes interreliés ne seront pas demain confinés aux marchés financiers et aux supermarchés en ligne, prédit Bridle. Ils vont entrer dans tous les pans de nos vies quotidiennes. Et générer de nombreux problèmes, à l’image de ceux relevés autour des serrures de portes électroniques ou des objets connectés.

À quoi va ressembler demain ? Epagogix est une startup qui analyse les scénarios de films pour prédire leur succès (selon des critères émotionnels et lucratifs, bien sûr). Ils extraient des données de Netflix, Hulu ou YouTube notamment et produisent des propositions pour alimenter les binge-watchers… alimentant leur propre paranoïa de blockbusters toujours plus semblables… Au risque de produire un sens toujours plus étroit, un monde toujours plus uniforme à mesure que la puissance computationnelle s’interrelie.

Pour la sociologue Deborah Cowen (@debcowen), nous sommes entrés dans la tyrannie de la techne explique-t-elle dans The Deadly Life of Logistics (2014) : l’efficacité est devenu primordiale sur tous les autres objectifs, sur toutes les autres valeurs…

L’étrangeté va-t-elle devenir ce qui ressemble le plus à l’intelligence ?

Comment une machine apprend-elle avec l’apprentissage automatisé ? Bridle rapporte une histoire pour en montrer les limites. Pour faire fonctionner un système de machine learning, il suffit de fournir à une machine des images. Sur certaines, on distingue un char d’assaut qu’elle doit apprendre à reconnaître. Sur d’autres, il n’y en a pas, et elle doit apprendre qu’il n’y en a pas en comparant ces images aux précédentes. La machine évalue les images selon de multiples couches, comme des angles de compréhension, mais sans avoir aucune compréhension de ce qu’elle analyse. Jusqu’à distinguer les images où il y a char de celles où il n’y en a pas. Vous contrôlez ensuite qu’elle a bien compris en lui fournissant des images sur lesquelles on trouve parfois des chars. Tout se passe bien, elle les reconnaît parfaitement ! Puis vous lui en fournissez encore d’autres, et là, la reconnaissance s’effondre d’un coup ! Que s’est-il passé ? En fait, la machine n’a pas appris à reconnaître les chars d’assaut. Elle a appris à reconnaître un autre élément qui était présent sur les images originelles et les suivantes, comme la présence du soleil du matin, c’est-à-dire le moment où la photo a été prise.

Pour Bridle, cette histoire est emblématique d’un problème majeur de l’Intelligence artificielle : le fait qu’elle soit fondamentalement différente et insondable. « Nous ne pouvons pas vraiment comprendre ce qu’elle produit, nous pouvons juste ajuster ses résultats ». À l’origine, rappelle-t-il, les premiers travaux sur les réseaux de neurones ont été développés avec le Perceptron mis au point par le laboratoire de recherche de la Navy américaine, conçu par le psychologue Frank Rosenblatt. L’idée originelle du Perceptron reposait sur le connectionnisme : la croyance que l’intelligence était une propriété émergente de la connexion entre les neurones. Cette vision a été attaquée par d’autres chercheurs qui pensaient plutôt que l’intelligence était le produit de la manipulation des symboles, nécessitant des connaissances du monde pour raisonner. Ce débat, entre ces deux courants de l’IA, n’a pas tant porté sur ce que signifiait être intelligent, mais sur ce qui était intelligible de l’intelligence. Il rappelle que l’un des avocats du connectionnisme était Friedrich Hayek, le père du néolibéralisme. Pour Bridle, le parallèle entre l’ordre néolibéral du monde (où un marché impartial règne en maître sur les passions humaines) et cette vision du fonctionnement du cerveau qui sépare le monde sensible de sa réalité est signifiant. Pour Hayek, la connaissance est dispersée et distribuée dans le cortex cérébral tout comme elle est distribuée sur le marché entre les individus. Aujourd’hui, le modèle connectionniste règne sur l’IA. Un ordre naturel du monde peut donc émerger spontanément quand les biais humains sont retirés de la production de connaissance. Mais ces affirmations ne sont pas sans poser problème…

La reconnaissance d’image ou de texte s’est imposé comme le premier terrain de jeu de l’IA, jusqu’à l’excès, à l’image des recherches menées par 2 chercheurs de Shanghai, Xiaolin Wu et Xi Zhang, qui ont entraîné un système pour inférer la criminalité depuis les traits du visage. Cette horrible phrénologie, qui marche dans les pas de Francis Galton et Cesare Lombroso, rappelle combien l’analyse de données est parfois assez proche des pires pseudosciences, comme le dénonçait Cathy O’Neil … Autre exemple avec How-Old.net un outil de reconnaissance faciale qui tente de prédire l’âge d’une personne, et qui a été utilisée pour deviner l’âge de migrants arrivants au Royaume-Uni. Microsoft, qui a développé cette application, s’est défendu et a dénoncé cette utilisation… comme les 2 chercheurs chinois. Ceux-ci expliquaient néanmoins dans leur défense que leur système était « sans préjugé » (sic). Comme souvent, on nous explique que la technologie, et plus encore l’apprentissage automatisé, est neutre. Mais « la technologie n’émerge pas de nulle part. Elle est toujours la réification de croyances et de désirs, notamment de ses créateurs. Leurs biais sont encodés dans les machines et les bases de données ou les images que nous prenons du monde. »

Bridle nous rappelle l’histoire de Joz Wang, qui s’était rendu compte que son nouvel appareil photo ne reconnaissait pas ceux qui n’étaient pas blancs ou celle de la caméra d’un ordinateur HP qui ne faisait pas le point sur les visages noirs. Mais cela n’est pas propre aux développements les plus récents. Les artistes Adam Broomberg et Oliver Chanarin ont rappelé que des années 50 aux années 80, les pellicules argentiques de Kodak avaient déjà un problème avec les peaux sombres. Les créateurs de ces technologies n’ont pas créé volontairement des machines racistes, bien sûr, mais ces machines ont révélé les inégalités présentes dans notre société. Elles ont révélé que le préjudice racial était profondément encodé dans notre culture. Et tout ce qui en relève le révèle. « Nous ne résoudrons pas les problèmes du présent avec des outils du passé », conclut Bridle de ces exemples.

Pour l’artiste Trevor Paglen (@trevorpaglen), la montée de l’IA amplifie ces erreurs, car nous utilisons des données du passé pour l’entraîner. Bridle revient également sur l’origine des systèmes de police prédictive et leur liaison avec l’étude des tremblements de terre, qui tente de croire que la contagion du crime est semblable aux répliques sismiques.

Pour lui, le risque est que ces nouveaux modèles produits par les machines, leurs modalités de décision et les conséquences de ces décisions, nous restent incompréhensibles, car produites par des processus cognitifs trop différents des nôtres. Google Translate par exemple, de 2006 jusqu’en 2016 utilisait une technique d’inférence statistique du langage. Plutôt que d’essayer de comprendre comment les langues fonctionnent, le système fonctionnait depuis un vaste corpus de traductions existantes (provenant de traduction de réunions des Nations Unies et du Parlement européen notamment). Son rôle était d’enlever la compréhension de l’équation pour la remplacer par des corrélations basées sur des données. Comme le disait le spécialiste de ces questions chez IBM, Frederick Jelinek : « chaque fois que je vire un linguiste, la performance de mon système de reconnaissance du langage s’améliore ! ». En 2016, Google a commencé à déployer des réseaux de neurones pour faire fonctionner Google Translate, et la qualité des traductions a réellement progressé. Google Translate a développé sa propre carte de connexion entre les mots où les mots sont encodés par leur distance aux autres mots dans une grille de sens qui n’est compréhensible que par l’ordinateur. Cette carte multidimensionnelle suit tant de pistes différentes qu’un esprit humain ne pourrait pas la comprendre. L’apprentissage automatisé tire du sens d’un espace qui nous est invisible et intangible. Est-ce à dire que l’étrangeté est en passe de devenir ce qui nous semble le plus ressembler à l’intelligence ?

À l’époque de Deep Blue, c’est la force brute de l’ordinateur qui a permis de vaincre Kasparov : la capacité de la machine à évaluer des milliers de combinaisons provenant de millions de parties… Quand AlphaGo a vaincu Lee Sedol, la machine a été capable de faire des mouvements qui ont stupéfié l’assistance, car ils n’avaient jamais été faits. AlphaGo avait été également nourri de millions de parties jouées par des experts du Go, mais la machine avait également joué contre elle-même des millions de parties… Désormais les images de nos appareils photo sont capables de composer depuis des photos, des images qui n’existent pas en les recombinant. « Les algorithmes inventent une mémoire et des images qui n’ont jamais existé ». Les processus d’enregistrements que nous avons mis au point produisent des artefacts qui ne proviennent plus de l’expérience du monde, mais que nous ne pouvons plus distinguer de la réalité. Pour Bridle, le problème n’est pas tant que les machines puissent réécrire la réalité, mais que la réalité, le passé comme le futur, ne puissent plus être correctement racontés. DeepDream de Google illustre parfaitement cela. L’enjeu n’est pas pour nous de comprendre ce qu’est l’image, mais de nous demander ce que le réseau de neurones veut y voir ?

Pour Bridle, nous devrions ajouter une 4e loi aux trois lois de la robotique d’Asimov. Les machines intelligentes devraient être capables de s’expliquer aux humains. Ce devrait être une loi première, car éthique. Mais le fait que ce garde-fou ait déjà été brisé laisse peu d’espoir quant au fait que les autres règles le soient à leur tour. « Nous allons devoir affronter un monde où nous ne comprendrons plus nos propres créations et le résultat d’une telle opacité sera toujours et inévitablement violent ».

Pour Bridle, l’alliance entre l’humain et la machine peut encore fonctionner, comme l’a montré Garry Kasparov avec les échecs avancés, consistant à ce qu’une IA et qu’un humain jouent ensemble plutôt qu’ils ne s’affrontent. C’est dans la perspective d’associer les talents des humains et des machines, d’associer leurs différences d’une manière coopérative plutôt que compétitive que nous parviendrons à réduire l’opacité computationnelle. La perspective que l’intelligence des machines nous dépasse dans nombre de disciplines est une perspective destructrice. Nous devons trouver la voie d’une éthique de la coopération avec les machines, plutôt qu’un affrontement.

Surveillance : nous sommes devenus plus paranoïaques

Bridle s’en prend également longuement à la surveillance et notamment à la surveillance d’Etat pour souligner combien elle nous est masquée et continue à l’être, malgré les révélations d’Edward Snowden. Vous pouvez lire n’importe quel e-mail dans le monde d’une personne dont vous avez l’adresse. Vous pouvez regarder le trafic de tout site web. Vous pouvez suivre les mouvements de tout ordinateur portable à travers le monde. Pour Bridle, cela nous a montré qu’il n’y a pas de restriction possible à la capacité de surveillance du réseau. L’échelle et la taille de la surveillance a excédé ce que nous pensions comme étant techniquement possible. Les révélations sur la surveillance ont dépassé notre capacité à vouloir les ignorer. Pourtant, nous n’avons pas réagi. Nous sommes seulement devenus un peu plus paranoïaques. « Tout comme le changement climatique, la surveillance de masse était trop vaste et trop déstabilisatrice pour que la société jette sa tête dedans ». Si les gouvernements ont toujours espionné leur population comme leurs ennemis, leur capacité de surveillance a été radicalement transformée par la puissance de la technologie. La possibilité technique a nourri la nécessité politique. « La surveillance s’est développée parce qu’elle pouvait l’être, pas parce qu’elle est efficace et comme toute autre implémentation de système automatique, parce qu’elle altère la frontière de la responsabilité et permet de faire reposer les reproches sur la machine. » En 2016, le lanceur d’alerte William Binney témoignant devant une commission d’enquête du parlement britannique expliquait que les données collectées par les agences de renseignement étaient à 99 % inutiles. Le volume de données a depuis longtemps débordé l’analyse, rendant impossible le fait de trouver les données pertinentes pour résoudre les menaces spécifiques. Cet avertissement a souvent été répété, sans que ses implications ne soient suivies d’effets. Comme le disait le président Obama : trop d’intelligence est le problème. Notre problème n’est pas tant l’échec de la collecte de l’intelligence que l’échec à intégrer et comprendre l’intelligence que nous avons déjà. Plus d’information ne signifie pas plus de compréhension. Les caméras de surveillance comme la surveillance globale ne font que renforcer la paranoïa sans proposer de solutions pour la résoudre. Les deux sont rétroactives et vengeresses. Au mieux, elles ne servent à arrêter qu’une fois le crime commis, qu’une fois que l’événement est passé et n’aide pas à en comprendre les causes. La lumière permet aux gens de sentir en sécurité, mais ne les rend pas plus en sécurité. Pour Bridle, si la surveillance échoue, c’est aussi parce qu’elle repose et dépend d’images plus que de compréhension et qu’elle repose sur la croyance qu’il suffit d’une justification pour s’imposer.

En opposition au secret, nous demandons de la transparence, mais elle n’est peut-être pas le bon levier. La NSA et Wikileaks partagent la même vision du monde avec des finalités différentes, rappelle Bridle. Les deux pensent qu’il y a des secrets au coeur du monde qui, s’ils étaient connus, pourraient rendre le monde meilleur. Wikileaks veut la transparence pour tous. La NSA veut la transparence pour elle. Les deux fonctionnent sur une même vision du monde. Wikileaks ne voulait pas devenir le miroir de la NSA, mais voulait briser la machine de surveillance. En 2006, Assange a écrit « Conspiracy as Governance » (.pdf). Pour lui, tout système autoritaire repose sur des conspirations, car leur pouvoir repose sur le secret. Les leaks minent leur pouvoir, pas par ce qui fuite, mais parce que la peur et la paranoïa dégradent la capacité du système autoritaire à conspirer. Mais les fuites de données ne suffisent pas à remettre en cause ou à abattre l’autorité. Les révélations ne font pas bouger l’opinion, sinon, nous aurions réagi bien avant les révélations de Snowden. Tant que les organisations de surveillance ne changent pas de l’intérieur, ceux qui sont en dehors de ces organisations, comme les lanceurs d’alertes, n’ont pas de capacité d’action. Ils attendent que des fonctionnaires ou que la justice confirment ce qu’ils avancent. Tout comme la disponibilité de vaste capacité de calcul conduit au développement de la surveillance globale, cette logique induit et limite notre manière d’y répondre. La plus petite part d’incertitude l’emporte. La dépendance à la logique du calcul pour saisir la vérité du monde nous laisse dans une position fondamentalement et paradoxalement précaire. La connaissance requiert la surveillance. Mais toute connaissance est réduite alors à qui est connaissable par le calcul. Toute connaissance repose alors sur des formes de surveillance. La logique computationnelle nous refuse toute capacité à penser la situation et à agir rationnellement en absence de certitude. Elle ne permet qu’une action réactive, qui n’est possible seulement après qu’une quantité suffisante d’évidences ait été accumulée et empêche toute action présente, quand on en a le plus besoin. La surveillance et notre complicité sont l’une des caractéristiques les plus fondamentales du nouvel âge sombre, car elle repose sur une vision aveugle : tout est éclairé, mais rien n’est vu ! « Nous sommes désormais convaincu que jeter la lumière sur un sujet est la même chose que le penser et que d’avoir des moyens d’action sur lui ». Mais la lumière du calcul nous dépossède de pouvoir, car elle nous fait crouler sous l’information et nous donne un faux sens de la sécurité. C’est là encore une conséquence de la pensée computationnelle. « Notre vision est devenue universelle, mais notre capacité d’action, elle, s’est réduite plus que jamais. » A l’image du réchauffement climatique, à nouveau, « nous savons de plus en plus de choses sur le monde, mais nous sommes de moins en moins capable d’agir sur lui ». Au final, nous nous sentons plus démunis que jamais. Plutôt que de reconsidérer nos hypothèses, nous nous enfonçons dans la paranoïa et la désintégration sociale.

De l’incompréhension entre les hommes quand les machines régulent leurs relations

Le monde est devenu trop complexe pour des histoires simples. En fait, « la démultiplication de l’information ne produit pas plus de clarté, mais plus de confusion ». L’un des symptômes de la paranoïa consiste à croire que quelqu’un vous surveille. Mais cette croyance est désormais devenue raisonnable, s’amuse Bridle en évoquant la surveillance d’Etat comme la surveillance des services numériques. Nous sommes entièrement sous contrôle, tant et si bien qu’on peut se demander qui est paranoïaque désormais ? Bridle évoque les chemtrails, cette croyance, très populaire sur le net, qui pense que les avions sont utilisés pour contrôler l’atmosphère ou les esprits via des diffuseurs chimiques. Dans notre monde hyperconnecté, des schismes émergent de nos modes de perception de masse. « Nous regardons tous les mêmes cieux, mais nous y voyons des choses différentes ». Et certains y voient une conspiration globale pour contrôler les cerveaux ou pour transformer le climat à des fins néfastes. Si les chemtrails peuvent paraître être un folklore du réseau, force est de constater qu’il s’est répandu. Des questions à ce sujet sont adressées aux Parlements, aux organisations scientifiques, aux médias… Ceux qui adhèrent à ces théories sont multiples et celles-ci ne sont d’ailleurs pas uniques, mais plutôt fractales, multifacettes. Les chemtrails sont même devenus le vortex de bien d’autres théories conspirationnistes. Le journaliste Carey Dunne en a même fait le récit. À nouveau, Bridle détaille l’entremêlement entre la vérité et la désinformation. Il souligne qu’en 2017 par exemple, la dernière édition de l’Atlas des nuages international publié par l’organisation météorologique mondiale a ajouté une nouvelle classification à sa liste officielle de nuages : l’homogenitus, plusieurs formes de nuages qui se forment et se développent à la suite de l’activité humaine. Des nuages anthropocéniques en quelque sorte. Effectivement, rappelle-t-il, la combustion du kérosène dans les moteurs d’avions produit de la vapeur d’eau et du dioxyde de carbone. La vapeur d’eau se transforme en petite goutte d’eau et en cristaux de glace. À haute altitude, avec les impuretés du kérosène, des nuages se forment sur le passage des avions. Ce sont les Cirrus Homogenitus, les « Contrails », les traînées de condensation, qui sont effectivement les résultats de l’action humaine. Ils sont le signe visible de ce que rejettent les moteurs d’avions d’une manière invisible. On estime d’ailleurs qu’ils peuvent affecter le climat, notamment quand ils persistent, pas tant par leur composition chimique que par l’opacité nuageuse qui affecte l’atmosphère…

Avant on lisait l’avenir dans les haruspices et le vol des oiseaux. Désormais, on les traque en ligne, cherchant des traces de modification du monde dans ce qu’on enregistre dans l’informatique en nuage. Nombre de théories conspirationnistes reposent sur des formes de connaissance folkloriques, produites par des gens qui ne savent pas articuler les formes scientifiques qu’ils peuvent recouvrir de manière acceptable. Les Inuits ont depuis longtemps une connaissance du changement climatique qu’ils décrivent par des changements d’alignement d’étoiles, par des changements dans les vents, par les modifications des parcours des animaux… ou de luminosité de la neige… et par un ensemble de connaissance qui n’ont pas eu de reconnaissance scientifique directe avant que d’autres indices, plus scientifiques, ne les éclaire.

« Les théories conspirationnistes sont le dernier ressort des sans pouvoirs, imaginant ce que serait que d’être puissant », avance Bridle. Pour le spécialiste de la postmodernité, Frederic Jameson, les théories conspirationnistes sont « la cartographie cognitive des plus démunis dans un âge postmoderne ». C’est la figure dégradée de la logique par ceux qui ont le moins de capital culturel, une tentative désespérée de se représenter un système qu’ils ne comprennent pas. Encerclé par l’évidence de la complexité, l’individu a recours à un récit simpliste pour tenter de regagner un peu de contrôle sur la situation. À mesure que la technologie augmente et accélère le monde, celui-ci devient plus complexe. Les théories conspirationnistes deviennent alors des réponses, étranges, intriquées et violentes, pour s’en accommoder.

Avec la désinformation et les fakes news, la paranoïa de notre monde est devenue mainstream. Les nuages faits par l’homme n’ont plus besoin d’être plantés dans l’atmosphère : ils sont insérés comme du code dans les réseaux d’information et transforment notre perception du monde. Pour Bridle, les réseaux ont changé la manière dont nous formons notre culture.

Bridle rappelle que le premier cas documenté de schizophrénie paranoïaque a été celui de James Tilly Matthews en 1796 qui accusait le parlement britannique de l’avoir soumis à une machine faite de pompe hydraulique et de systèmes magnétiques pour contrôler son esprit. Or rappelle Bridle, à la même époque Lavoisier et Priestley, avaient créés une nouvelle compréhension du monde physique en expliquant les éléments. Les disputes scientifiques étaient très relayées dans les débats. James Matthews semble en avoir tiré sa propre interprétation pour en produire une conspiration. Il en est souvent ainsi. La complexité technique produit ses propres interprétations. Le nombre de gens qui consultent des forums sur la prise de contrôle de l’esprit est plus nombreux que ceux qui reçoivent un traitement pour se guérir de cette paranoïa. Entre le délire et la sous-culture, il y a une différence parfois imperceptible. Toute opposition à ces croyances peut être rejetée comme un moyen de dissimuler la vérité que ces gens expriment ou ressentent. Les microcommunautés conspirationnistes se cooptent, créent leur dynamique, qui se supportent mutuellement et se soutiennent. Ils créent des espaces où leur vision, leur compréhension du monde, leur croyance sont validées et mises en valeur. Ces groupes qui autorenforcent leurs croyances semblent être une caractéristique de la nouvelle obscurité. Notre capacité à décrire le monde résulte des outils que nous avons à notre disposition, et nous avons construit des outils qui renforcent encore ces effets : « un populisme automatisé », qui donne aux gens ce qu’ils veulent dès qu’ils le souhaitent.

Ainsi, si vous cherchez de l’information sur les vaccins, vous tomberez invariablement sur de l’information contre les vaccins. Si vous cherchez de l’information sur la rotondité de la terre, vous tomberez inexorablement sur ceux qui pensent qu’elle est plate. Ces opinions divergentes semblent devenir la majorité tant elles sont exprimées et répétées avec force. « Ce qui se passe quand vous désirez en savoir de plus en plus sur le monde entre en collision avec un système qui va continuer à assortir ses réponses à n’importe quelle question, sans résolution ». Vous trouverez toujours quelqu’un pour rejoindre vos points de vue. Et toujours un flux pour les valider. Voici l’âge de la radicalisation algorithmique (à l’image de ce que disait Zeynep Tufekci de YouTube). Les théories conspirationnistes sont devenues la narration dominante. Elles expliquent tout. Dans la zone grise des connaissances, tout prend un sens. Les multiples explications que notre cognition limitée utilise fonctionnent comme un masque sur les demi-vérités du monde. La zone grise permet toutes les approximations et nous empêche, assez confortablement, d’agir avec sens dans le présent.

Coincés dans la boucle algorithmique

Les vidéos de déballage de paquets cadeaux connaissent un énorme succès sur l’internet. Sur YouTube, vous pouvez passer des heures à en visionner. Certaines ont déjà été vues par des millions de personnes. Ryan’s Toy Review, spécialisé dans l’ouverture de jouets, est l’une des 6 chaînes les plus populaires de YouTube ! On peut se perdre à regarder ces gens surpris : notre désir à les regarder peut-être alimenté en boucle et sans fin par les systèmes de recommandation algorithmique. Dans son livre, Bridle revient sur la dénonciation des vidéos automatisés pour enfants que l’on trouve sur YouTube et contre lesquels il s’était élevé il y a quelques mois voir l’article originel). Sur YouTube, ni les algorithmes ni l’audience ne se préoccupent du sens. Tout l’enjeu de la recommandation est de vous montrer le plus de vidéos possibles et de préférence celles qui devraient le plus vous plaire – parce qu’elles ont plu au plus grand nombre.

Le problème de cette recommandation automatisée est de fonctionner sur des rapprochements sans signification. Les contenus de confiance, comme ceux produits par des marques ou chaînes officielles, conduisent, via les recommandations automatiques, à des contenus similaires, mais qui ne leur ressemble en rien. C’est le même processus qui est à l’oeuvre sur FB ou Google : le contenu est rapproché de contenus similaires ou proches, mais cette proximité n’est pas de sens, mais est faite de mots clés, d’audiences… Les contenus inappropriés se mêlent ainsi à tous les autres. Peppa Pig, la reine des neiges ou Bob l’éponge mènent à tous les contenus qui en parlent… D’une information médicale sur l’apport de la vaccination vous glissez vers une information contre la vaccination. Les contenus sont agencés en flux sans fin et sans sens par l’automatisation algorithmique et sémantique. Des vidéos sont créées automatiquement par des logiciels pour bénéficier de l’audience des contenus les plus vus. Des bots exploitent les systèmes d’apprentissage automatisés de YouTube en en faisant bénéficier YouTube, permettant de générer plus d’exposition publicitaire et plus de revenus. La complicité de YouTube aux failles de son exploitation est totale, pointe Bridle.

Le problème, c’est que des enfants voient les vidéos totalement absurdes générées par des programmes automatisés pour bénéficier des mouvements d’audience de la plateforme, à l’image de chaînes comme Bounce Patrol ou Video Gyan. C’est une conséquence logique de l’automatisation, comme les caméras racistes ou les produits insultants vendus sur Amazon. Ces produits algorithmiques sont parfaitement adaptés aux algorithmes et à la boucle de revenus qui leur profite autant à eux qu’aux plateformes qui les accueillent.

Bridle souligne que ce n’est pas que des trolls qui tentent de profiter d’un système ou qu’une conséquence de l’automatisation… « C’est une vaste – et complètement cachée – matrice d’interactions entre des désirs et des récompenses, des technologies et leurs audiences, des tropes et des masques ».

Des technologies peu maîtrisées sont mises au service d’une production industrialisée cauchemardesque. Les failles des algorithmes sont les dernières failles du capitalisme où certains s’infiltrent non pas pour le renverser, mais pour tenter de gratter un peu d’argent que les plus gros systèmes s’accaparent. Au final, des vidéos automatisées finissent par être vues par des enfants. Leurs personnages préférés y font n’importe quoi, parfois suggèrent des scènes de meurtre ou de viols. Ces effets de réseaux causent des problèmes réels. Les algorithmes de YouTube ont besoin d’exploitation pour produire leurs revenus. Derrière leurs aspects séduisants, ils encodent les pires aspects du marché, notamment l’avidité. « La capacité à exploiter l’autre est encodée dans les systèmes que nous construisons », pointe très justement James Bridle, puisque leur efficacité repose sur leur capacité à extraire de l’argent de nos comportements.

Contrairement à ce qu’on croyait, à l’avenir, les IA et les robots ne vont pas tant dominer les usines et nos lieux de travail, mais vont dominer et exploiter nos salles de jeux, nos salons, nos maisons… À défaut d’une solution, Google annonçait en avril que l’application YouTube Kids allait devenir « non-algorithmique »… À croire, comme le pointait très justement le chercheur Olivier Ertzscheid, que l’algorithimsation n’est pas une solution sans limites.

Pour Bridle, les humains sont dégradés des deux côtés de l’équation : à la fois dans l’exploitation qui est faite de leur attention et à la fois dans l’exploitation de leur travail. Ces nouvelles formes de violence sont inhérentes aux systèmes numériques et à leur motivation capitaliste. Le système favorise l’abus et ceux qui le produisent sont complices, accuse-t-il. L’architecture qu’ils ont construite pour extraire le maximum de revenus des vidéos en ligne a été hackée par d’autres systèmes pour abuser d’enfants à une échelle massive. Les propriétaires de ces plateformes ont une responsabilité forte dans l’exploitation qu’ils ont mise en place. « C’est profondément un âge sombre quand les structures qu’on a construites pour étendre la sphère de communications sont utilisées contre nous d’une manière systématique et automatique. »

La crise de cette production de vidéo automatisé que YouTube ne parvient pas à endiguer, comme la crise des effets de l’automatisation que l’on croise de partout, de Google à FB, reflète bien sûr une crise cognitive plus large qui est la conséquence même de nos rapports à ces systèmes automatisés. « Sur les réseaux sociaux, toutes les sources ont l’air d’être les mêmes, les titres qui nous poussent à cliquer combinées avec nos biais cognitifs agissent de la même façon que les algorithmes de YouTube. » 

Pour Bridle, les fausses nouvelles ne sont pas le produit de l’internet. Elles sont le produit de la cupidité et de la démocratisation de la propagande où tout a chacun peut devenir un propagandiste. Elles sont un amplificateur de la division qui existe déjà dans la société, comme les sites conspirationnistes amplifient la schizophrénie. La confusion est l’ami des charlatans. Le bruit leur accessoire. Selon un rapport britannique réalisé un an après le Breixit, plus de 13 000 comptes automatisés ont été identifiés. S’ils tweetaient pour et contre le Brexit, ils étaient 8 fois plus nombreux à soutenir le départ du Royaume-Uni que le contraire. Sur ces 13 000 comptes effacés par Twitter après le référendum, l’origine de la plupart est restée inconnue. 1/5 e des débats en ligne autour de l’élection américaine de 2016 était automatisée. Pour Bridle, quelque chose ne va plus quand ceux qui participent du débat démocratique n’ont pas à répondre de ce qu’ils font, restent intraçables… Leurs motivations et leur origine demeurent complètement opaques, quand bien même leurs effets sont réels.

Et les bots se démultiplient… Nous discutons désormais avec des logiciels. On nous invite à nous socialiser avec des systèmes où il devient de plus en plus impossible de socialiser. Bridle souligne que quand il a publié ses recherches sur les vidéos pour enfants automatisés, il a reçu des milliers de messages de gens qui semblaient savoir d’où provenaient ces vidéos. Les spéculations et explications partaient dans tous les sens. Mais ce qu’il y a de commun avec le Brexit, les élections américaines ou les profondeurs de YouTube, c’est que malgré tous les soupçons, il reste impossible de savoir qui fait ça, qu’elles sont leurs motivations, leurs intentions. On peut regarder sans fin ces flux vidéos, on peut parcourir sans fin les murs de mises à jour de statuts ou de tweets… cela ne permet pas de discerner clairement ce qui est généré algorithmiquement ou ce qui est construit délibérément et soigneusement pour générer des revenus publicitaires. On ne peut pas discerner clairement la fiction paranoïaque, l’action d’États, la propagande du spam… Ces confusions servent les manipulateurs quels qu’ils soient bien sûr, mais cela les dépasse aussi. C’est la manière dont le monde est. Personne ne semble réellement décider de son évolution… « Personne ne veut d’un âge sombre, mais nous le construisons quand même et nous allons devoir y vivre. »

De la violence

Pour Eric Schmidt, ancien CEO de Google, rendre les choses visibles les rend meilleurs et la technologie est l’outil qui permet de rendre les choses visibles. Ce point de vue désormais domine, mais il est non seulement faux, il est activement dangereux, estime Bridle. Pour Smith, si chaque habitant du Rwanda avait eu un Smartphone en 1994, le massacre aurait été impossible. Pourtant, Bridle rappelle que nous étions alertés bien avant ce génocide des risques qui pesaient sur la région. Comme on l’a vu, la surveillance ne permet pas d’agir rétroactivement, pas plus que d’agir au moment présent, elle permet seulement de constater ce qu’il s’est passé. « Le problème n’est pas ce que l’on sait, mais ce que l’on fait ». Pire, pour les chercheurs Jan Pierskalla et Florian Hollenbach, en Afrique en tout cas, l’accroissement de la couverture téléphonique est plutôt lié à de plus hauts niveaux de violence. Ni les images satellites ni les smartphones ne créent de la violence bien sûr. Mais le fait de croire que la technologie est neutre nous maintient dans l’erreur. « L’information est complètement et inextricablement liée à la violence, et l’armement de l’information est accéléré par les technologies qui prétendent renforcer le contrôle sur le monde ».

Si « les données sont le nouvel or noir » (comme l’estimait Clive Humby, un mathématicien britannique en 2006, architecte du programme de fidélité de Tesco), cette comparaison pourrait être acceptable parce que la donnée ne peut pas être utilisée sans être raffinée. Le pétrole doit être transformé pour créer de la valeur, tout comme la donnée doit être analysée. Mais l’analogie de l’exploitation est devenue celle de la spéculation. La donnée est devenue l’or noir sur laquelle tout le monde spécule. Notre soif de données comme notre soit de pétrole est et demeure impérialiste et colonialiste et profondément imbriquée dans l’exploitation capitaliste. La donnée est utilisée pour classer les sujets de l’intention impérialiste, tout comme les sujets des empires étaient forcés à suivre les règles de leurs maîtres. Les Empires d’antan ont transformé leur territoire pour continuer leurs opérations à un niveau infrastructurel. Ils maintiennent leur pouvoir dans les réseaux.

Les régimes conduits par les données répètent les politiques racistes, sexistes et oppressives de leurs prédécesseurs parce que leurs biais ont été encodés à leurs racines. L’extraction et le raffinage du pétrole polluent l’air et le sol, tout comme l’extraction et le traitement des données polluent et empoisonnent nos relations sociales. Ils imposent la pensée computationnelle entre nous, renforcent la division de la société du fait de classification bâtarde, du populisme et accélèrent les inégalités. Les données soutiennent et nourrissent des relations de pouvoirs inégalitaires : dans la plupart de nos interactions, la donnée est quelque chose qui semble librement donné, mais qui est en fait extraite sous la contrainte, sans notre consentement explicite. L’extraction est opérée par certains au détriment du plus grand nombre. Et l’exploitation des données risque de continuer indéfiniment, quels que soient les dommages qu’elle cause.

Exploiter plus de données pour construire de meilleurs systèmes est une erreur. Cette méthode ne parviendra pas à prendre en compte la complexité humaine ni à la résoudre. Le développement de l’information n’a pas conduit à une meilleure compréhension du monde, mais au développement de points de vue alternatifs et concurrents. Nous devons changer nos façons de penser comme nous y invitait Lovecraft. Nous ne survivrons pas plus à l’information brute qu’à la bombe atomique. Le nouvel âge sombre est un lieu où le futur devient radicalement incertain et où le passé devient irrévocablement contesté. Mais c’est le présent dans lequel nous devons vivre et penser. Nous ne sommes pas sans pouvoir ni capacités. Mais pour cela nous devons nous défaire des promesses illusoires de la pensée computationnelle. Penser le monde autre, c’est ce à quoi nous invite James Bridle dans le nouvel âge sombre.

Ce compte-rendu de lecture excessif, exhaustif, (trop) complet… se veut le reflet de l’importance qu’il me semble devoir apporter à ce livre. James Bridle ne simplifie rien. Il malaxe une pensée complexe, retors. On ne peut pas la réduire à une technocritique facile, peu instruite ou peu informée, comme c’est souvent le cas de gens qui ne sont pas très spécialistes de ces sujets, qui font des raccourcis rapides pour rejeter toute faute sur l’internet ou sur le monde contemporain. Au contraire même. Brille déroule une pensée complexe. Il appuie bien souvent exactement là où la société augmentée du numérique irrite.

Reste à savoir si cet âge sombre des technologies est vraiment notre avenir. L’âge sombre du Moyen Âge n’a jamais vraiment existé ailleurs que dans les lacunes des historiens. On peut douter également de cette nouvelle obscurité ou regretter le titre faussement prophétique. Reste que la complexité et l’intrication du monde que décrit James Bridle, montrent combien il nous faut, plus que jamais, nous défaire justement d’une vision simple et manichéenne de la technologie.

On voudrait que les points que soulève Bridle ne soient pas aussi convaincants. On voudrait qu’il se trompe. On voudrait croire que contrairement à ce qu’il avance, les biais de nos systèmes soient réparables. Qu’on puisse y faire quelque chose. Mais pour cela, il a au moins raison quelque part. Il va nous falloir abandonner notre foi dans la technologie. La limiter. Décider de là où elle est nécessaire ou utile pour agir et de là où nous devons nous en passer. De la limiter. De l’utiliser autrement. Nous risquons bien d’y être contraints par le déchainement du monde et l’épuisement des ressources. Et pour cela, nous devons certainement apprendre à découpler la technologie des intérêts qu’elle sert.

Hubert Guillaud

Article initialement publié sur le site : http://www.internetactu.net/2018/09/10/technologie-lage-sombre/