ChatGPT est-il à la hauteur de l'enthousiasme ?

Oui, un grand pas a été fait et le résultat est assez impressionnant quant à la qualité des réponses qui sont apportées. On est bien loin des premiers essais de "robot conversationnel" que l'on peut encore tester par exemple au travers du célèbre "Psychotherapist" du logiciel Emacs.

ChatGPT est-il à la hauteur des fantasmes ? Non, bien évidemment.

Nombre d'articles ont déjà été écrits sur le sujet par toutes sortes d'auteur.e.s et on peut regretter que le numérique, peut-être plus que d'autres technologies, fourmillent d'observateurs.rices, d'analystes, certes éclairé.e.s, mais n'ayant pas la moindre idée ni la moindre expérience des rouages techniques impliqués dans les différents outils qu'ils passent au crible. Le syndrome du critique gastronomique n'ayant jamais été aux fourneaux...

Mais revenons à nos moutons numériques. ChatGPT peut-il plagier ?

Oui, mais il a ses limites. Posez lui plusieurs fois la même question ou une question proche et vous constaterez que les réponses sont quasi-similaires et reprennent souvent des éléments, des informations déjà donnés dans une précédente réponse.

ChatGPT fait très bien les choses mais se contenter de ses réponses ne permet pas de sortir d'une standardisation forcée. Demandons lui une rédaction sur un sujet donné et, si la réponse est satisfaisante, elle s'avère courte, trop courte pour une véritable rédaction. Trente élèves usant de ChatGPT pour un devoir produiront 30 réponses quasi-similaires en fonction de la question posée et nous ferons fi de l'originalité, de la personnalité de l'auteur.e.

Je ne ferai pas l'analyse de l'ensemble des possibilités de ChatGPT. Olivier Ertzscheid, maître de conférences en sciences de l'information, s'y est déjà largement amusé dans un précédent article.

 

Stéphane Bortzmeyer, informaticien pionnier du numérique en France, a tenté l'expérience cette fois au niveau du code, qui plus est en Elixir, un langage ne faisant pas partie des plus usités.

 

Si ChatGPT a plutôt bien réussi à produire du code, celui-ci n'est pas exempt d'erreurs. Il est possible de converser avec l'IA pour l'amener à corriger mais parfois des corrections entraînent de nouvelles erreurs et des problèmes de fond ne sont pas résolus.

 

J'ai tenté moi-même l'expérience à propos d'un algorithme calculant la date de Pâques (calcul souvent fort utile en Histoire médièvale pour dater les documents) et il a été difficile de sortir du seul algorithme que connait ChatGPT, à savoir la méthode de Nicéphore tranposée en Python.

 

ChatGPT sait donc faire des bouts de code, comme il sait faire des bouts de rédaction, mais il n'a pas encore la capacité à créer un logiciel complet ou une application.

 

Au final, on peut y voir plus une formidable base de données, un vecteur d'informations sous une forme totalement nouvelle qu'un véritable robot conversationnel, tout au moins totalement accompli. ChatGPT est un bon tuteur mais reste un tuteur. Ce n'est pas encore aujourd'hui que je parlerai de la pluie et du beau temps, ni que je philosopherai avec une IA.

J'ai quand même tenté quelques conversations et la réponse à un simple "Comment vas-tu ?" est éloquente et résume bien ce qu'est ChatGPT.

ChatGPT : Je suis un programme informatique, donc je ne peux pas ressentir de sensations ou de sentiments. Cependant, je suis programmé pour fonctionner de manière efficace et pour répondre à vos questions de manière précise et rapide. Si vous avez des questions ou si vous avez besoin d'aide, n'hésitez pas à me poser des questions. Je suis là pour vous aider.

Siri à la même question me répond avec plus d'entrain "Ça roule" mais son degré de compréhension reste limité et je ne vous indiquerai pas ce que Siri comprend quand je lui demande son avis sur "ChatGPT", Siri se limitant à ce qu'elle entend… Hélas… ;-)

Qu'en est-il des informations ? Une nouvelle fois, il faut être prudent. Si ChatGPT répond plutôt correctement aux questions, les réponses sont standardisées et enfoncent régulièrement des portes ouvertes, ce qui est parfaitement normal pour un tel outil. Nous sommes encore loin des modèles inspirants de la science-fiction et du cinéma comme l'ordinateur Mother dans Alien ou Shyrka de la série animée Ulysse 31. Un tel outil reste figé dans le cadre qu'on lui a donné en fonction des données qui ont été intégrées sans possibilité d'en véritablement sortir sauf à y ajouter un peu de hasard ou de compléter les connaissances.

Si l'on peut avoir confiance à mon sens dans les généralités, je serais plus prudent quant aux précisions.

Mes quelques échanges avec ChatGPT m'ont en effet donné des informations pertinentes de prime abord mais par la suite floues voire erronées quand on rentrait dans le vif du sujet. Il serait intéressant d'examiner les sources de données de ChatGPT et la façon dont il alimente et enrichit sa base. Ainsi lors d'un échange sur le cimetière du Père Lachaise, ChatGPT m'envoyait en division 28 à l'emplacement 23 pour rencontrer Jules Vallès alors qu'il repose en division 66, ce que toute recherche indique dès les premiers résultats des moteurs. STFW… Cela me donne cependant un motif de balade pour ma prochaine visite parisienne afin de connaître la personne enterrée à cet emplacement.

L'outil n'est pas non plus indifférent à la contradiction.

En 5 minutes de temps et à la même question "Facebook est-il compatible RGPD ?", j'ai eu tout d'abord une réponse affirmant la compatibilité de Facebook avec le RGPD puis une réponse prudente et invitant à consulter la charte de protection des données du service. ChatGPT se bonifie sûremenet au fil des questions mais cela signifie que la bonne vieille méthode de recoupement des informations a encore de beaux jours devant elle. Il convient donc de ne pas tout prendre au pied de la lettre mais les risques sont grands que le "vu à la télé", devenu peu à peu "vu sur le Web" soit complété par "lu sur ChatGPT".

ChatGPT est-il donc enthousiasmant ? Oui, trois fois oui. J'aurais adoré, adolescent, pouvoir me servir d'un tel outil sans pour autant lui faire confiance à 200%. Mérite-t-il tous ces fantasmes dont une bonne partie par des "intellectuels" n'ayant à les lire que de vagues notions du fonctionnement réel de l'IA ? Aucunement.

ChatGPT doit tout simplement être pris pour ce qu'il est, à savoir un programme informatique qui répond aux questions de manière efficace. De là à alimenter les fantasmes actuels dont certains voudraient faire des projets de loi, il y a un pas qu'il faut se garder de franchir.

Pour conclure et pour le plaisir, demandons au principal intéressé ce qu'il en pense.

Moi : Que penses-tu de ChatGPT ?

ChatGPT : Je suis désolé, mais je n'ai pas suffisamment d'informations sur ChatGPT pour pouvoir donner mon opinion sur cette technologie. Si ChatGPT est un logiciel ou un service conçu pour améliorer la communication en ligne, je peux comprendre qu'il puisse être utile et apprécié par certains utilisateurs. Cependant, je ne peux pas en dire plus sur ChatGPT sans plus d'informations. (…)

Moi : ChatGPT, c'est pourtant toi ?

ChatGPT : Non, je ne suis pas ChatGPT. Je suis Assistant, un programme informatique conçu pour répondre à des questions et fournir des informations sur divers sujets. Je suis un modèle de langage de grande taille entraîné par OpenAI. (…)

Moi : Excuse moi. Je t'ai confondu avec ChatGPT.

ChatGTP : Ce n'est pas grave, ne vous inquiétez pas. Je comprends que cela puisse arriver, surtout si ChatGPT et moi avons des fonctionnalités similaires. (…)

(Article initialement publié sur Upcycle Commons)