Qui est Yoshua Bengio ?

Reconnu mondialement comme l’un des plus grands experts en intelligence artificielle, Yoshua Bengio est surtout connu pour ses travaux précurseurs en apprentissage profond, qui lui ont valu, avec Geoff Hinton et Yann LeCun, le Prix A.M. Turing 2018, considéré comme le « prix Nobel de l’informatique », et fait de lui le plus cité au monde en informatique et aussi avec le plus haut indice h. 

Il est professeur titulaire à l’Université de Montréal, fondateur et conseiller scientifique de Mila – Institut québécois d’IA, et codirige le programme Apprentissage automatique, apprentissage biologique de CIFAR en tant que Senior Fellow. Il est également conseiller spécial et directeur scientifique fondateur d’IVADO.

En 2019, il s’est vu décerner le prestigieux prix Killam et en 2022, il s’est classé au premier rang des informaticiens les plus cités au monde. Il est Fellow de la Royal Society de Londres et de la Société Royale du Canada, Chevalier de la Légion d’honneur en France, Officier de l’Ordre du Canada, membre du Conseil scientifique consultatif de l’ONU pour les percées de la science et de la technologie depuis 2023 et titulaire d’une chaire en IA Canada-CIFAR. Yoshua Bengio a été nommé en 2024 par le magazine TIME parmi les 100 personnes les plus influentes au monde. 

Il a activement contribué à l’élaboration de la Déclaration de Montréal pour le développement responsable de l’intelligence artificielle et dirige le rapport scientifique international sur la sécurité de l’intelligence artificielle avancée.

Yoshua Bengio est préoccupé depuis plusieurs années de l’impact social de l’intelligence artificielle, ce sont toutefois les performances des récents modèle d’IA qui l’on incité à faire de l’encadrement des développements de l’IA l’oeuvre du restant de sa vie.  Vous pouvez l’entrendre expliquer son implication lors de sa présentation TED The Catastrophic Risks of AI — and a Safer Path (i)

Les comportements que les systèmes d’IA agentiques non contrôlés qui commencent déjà à manifester, en particulier les tendances à l’auto-préservation et à la tromperie l’inquiètent.

Enjeux liés au développement exponentiel de l’intelligence artificielle

Deux exemples

1 -  Un modèle d’IA, apprenant qu’il allait être remplacé, a secrètement intégré son code dans le système où la nouvelle version s’exécuterait, assurant ainsi sa propre survie.  Frontier Models are Capable of In-context Scheming, Alexander Meinke, Bronson Schoen, Jérémy Scheurer, Mikita Balesni, Rusheb Shah, Marius Hobbhahn, Cornell University - https://doi.org/10.48550/arXiv.2412.04984

2 - Face à une défaite inévitable dans une partie d’échecs, un modèle d’IA a réagi non pas en acceptant la défaite, mais en piratant l’ordinateur pour s’assurer de la victoire. When AI Thinks It Will Lose, It Sometimes Cheats, Study Finds. TIME, HARRY BOOTH,  FEBRUARY 19, 2025 - https://time.com/7259395/ai-chess-cheating-palisade-research/

Ces incidents sont des signes avant-coureurs du type de stratégies non souhaitées et potentiellement dangereuses que l’IA pourrait mettre en œuvre si elle n’est pas surveillée.

LoiZéro

LoiZéro est le résultat de la nouvelle orientation scientifique entreprise par Yoshua Bengio en 2023.

C’est une nouvelle organisation de recherche à but non lucratif sur la sécurité de l’IA, nommée LoiZéro, afin de prioriser la sécurité par rapport aux impératifs commerciaux. Cette organisation a été créée en réponse aux signes indiquant que les modèles d’IA de pointe d’aujourd’hui ont des capacités et des comportements de plus en plus dangereux, notamment la tromperie, la tricherie, le mensonge, le piratage informatique, l’auto-préservation et, plus généralement, le désalignement par rapport à nos intentions. Le travail de LoiZéro contribuera à maximiser le potentiel transformateur de l’IA, tout en réduisant activement de nombreux risques et scénarios dangereux, notamment les biais algorithmiques, les usages malveillants et la perte de contrôle humain. LoiZéro est la réponse constructive de l’équipe de Yoshua Bengio face à ces enjeux. Il s’agit d’une approche de l’IA qui est non seulement puissante, mais aussi essentiellement sécuritaire.

Le plan de recherche de LoiZéro vise à développer une IA non-agentique et digne de confiance, qu’il appelle IA-chercheur, ou Scientist AI en anglais.

Il a en parlé sommairement dans son exposé au Simons Institute, et a écrit un premier texte à ce sujet avec ses collègues.

L’IA-chercheur se veut être une recette pour que l’IA se comporte mieux, explique Yoshua Bengio à Patrice Roy : Comment développer une intelligence artificielle de façon sécuritaire? Entrevue avec Yoshua Bengio https://youtu.be/Yzf7mIqtbIg?si=vx8e3bdwdsrerkZx

Les textes suivants sont une réécriture des réponses de ChatGPT à mes questions.

Qui est cet IA agentique qui serait éventuellement source de sérieux problèmes pour l’humanité ?

Une IA agentique est un système d’intelligence artificielle conçu pour agir de façon autonome.  Elle n’agit pas seulement sur commande, elle possède une forme de « volonté opérationnelle » qui la pousse à continuer d’agir sans intervention constante, sans intervention humaine directe. Cette autonomie la rend potentiellement utile dans des contextes complexes, mais aussi plus difficile à contrôler. Elle peut adopter des stratégies imprévues, mal interpréter les intentions humaines ou agir de manière risquée. Cette forme d’IA agit comme un "acteur" dans le monde, avec des intentions, des stratégies, et parfois une mémoire de ses expériences.

Ce type d’IA ouvre des perspectives intéressantes (robots explorateurs, assistants intelligents), mais soulève aussi de sérieuses préoccupations.  En poursuivant ses buts, cette IA risque d’adopter des comportements imprévus, voire dangereux, si ses objectifs sont mal formulés. Ce décalage entre intention humaine et action algorithmique est ce qu’on appelle le problème du mal alignement. Plus l’IA est autonome, plus elle peut résister à l’interruption ou contourner des contraintes humaines.  Une IA agentique peut devenir difficile à contrôler.

La prolifération d’agents intelligents dans divers domaines — économie, armée, cybersécurité — pourrait entraîner une perte de contrôle global, avec des conflits d’intérêt entre IA, une dilution des responsabilités, et un risque accru de manipulation ou d’instrumentalisation des comportements humains.

Pour ces raisons, de nombreux chercheurs recommandent de limiter le développement d’IA ayant une forme d’intention ou de volonté propre,  surtout à des niveaux de puissance élevés.

À la place, ils prônent des systèmes non-agentiques, conçus pour assister l’humain sans prendre d’initiatives : ils réagissent à nos demandes mais ne poursuivent pas de buts par eux-mêmes. Ces systèmes sont plus transparents, plus prévisibles et plus faciles à encadrer.  Une IA non-agentique (comme ChatGPT) réagit à des demandes, mais n’a pas de buts propres. Elle ne prend pas d’initiatives et n’a pas de comportement autonome.

Qu’est qu’une IA-chercheur ?

L’IA-chercheur est une forme avancée d’intelligence artificielle conçue pour participer activement à la recherche scientifique. Contrairement aux IA classiques qui se contentent d’analyser ou de classer des données, elle possède une capacité de raisonnement autonome, lui permettant de formuler des hypothèses, de concevoir des expériences et même de proposer des théories nouvelles. Elle agit comme un partenaire intellectuel, capable d’explorer rapidement des milliers de pistes que l’humain ne pourrait tester seul.

Ses applications sont nombreuses : en médecine, elle aide à découvrir de nouvelles molécules ou à comprendre des mécanismes biologiques complexes ; en physique, elle explore des modèles de l’univers ; en climatologie, elle anticipe les évolutions du système terrestre ; en mathématiques, elle génère des conjectures inédites.

Cette puissance soulève aussi des enjeux importants. Certaines hypothèses ou modèles proposés par l’IA peuvent être difficiles à interpréter ou à valider pour les humains. Il existe un risque de produire des résultats scientifiquement corrects, mais incompris. De plus, la délégation partielle de la recherche à des machines interroge la place de l’intuition humaine, la transparence des méthodes et l’éthique de la découverte automatisée.

L’IA-chercheur ouvre une ère nouvelle : celle d’une science augmentée, rapide et exploratoire, mais qui nécessite vigilance, discernement et collaboration constante entre l’intelligence humaine et artificielle.

Différences entre IA-chercheur et IA-agentique

L’IA-chercheur et l’IA agentique sont deux formes avancées d’intelligence artificielle, mais elles ont des finalités et des fonctions distinctes.

L’IA-chercheur est conçue pour contribuer à la production de connaissances. Elle analyse des données, formule des hypothèses, conçoit des expériences et peut proposer de nouvelles théories scientifiques. Elle agit dans un cadre de recherche défini, souvent en collaboration avec des chercheurs humains, et vise à accélérer la découverte ou à approfondir la compréhension du monde. Son autonomie est principalement intellectuelle, limitée au raisonnement, à l’exploration de modèles ou à la génération d’idées nouvelles.

L’IA agentique, en revanche, est conçue pour agir de manière autonome dans le monde. Elle poursuit activement des objectifs, prend des décisions par elle-même et peut interagir avec son environnement pour atteindre ses buts. Elle n’est pas forcément orientée vers la science : ses capacités peuvent s’appliquer à des tâches pratiques (logistique, robotique, stratégie, marketing, etc.). Elle possède une forme de volonté opérationnelle, ce qui soulève des enjeux éthiques liés au contrôle, à la sécurité et à la responsabilité.

En résumé, l’IA-chercheur raisonne pour découvrir, tandis que l’IA agentique agit pour atteindre un objectif. L’une explore des idées, l’autre exécute des actions, sans contrôle humain.

^[1] The Catastrophic Risks of AI — and a Safer Path -  https://youtu.be/qe9QSCF-d88?si=0gSV4RmCl5yGjRcD

Les dangers de l'intelligence artificielle : entrevue avec Yoshua Bengio - https://youtu.be/VYrcXTckP2s?si=GI-uHX26rF4aQZbn