Le terme de validité est souvent utilisé dans la littérature en psychologie cognitive dans le sens de validité de la recherche. Elle représente le « degré selon lequel les résultats sont interprétés correctement » (Boudreau et Arseneault, 1995, p. 128). Elle correspond à « la capacité des instruments à apprécier effectivement et réellement l’objet de la recherche pour lequel ils ont été créés » (Wacheux, 1996, p. 266). Elle peut être définie en termes de validité interne et validité externe. La validité interne fait référence aux facteurs environnementaux d’une étude (Vian et al., 2012) : est-ce que ce qui est issu de l’étude provient bien du choix des variables et du traitement des données, et non d’inférences produites par le chercheur ? La validité externe implique la généralisation des résultats (Karsenti et Savoie-Zajc, 2000 ; Yin, 2009). Elle correspond à la validité écologique d’une étude, qui est le degré de similarité entre la situation expérimentale et la situation naturelle (Loiselet et al., 1999). Le mot « généralisation » sous-entend la notion de transférabilité. Par exemple, les travaux de recherche axés sur l’analyse des situations de formation (en psychologie cognitive ou en sciences de l’éducation) sont le plus souvent réalisés en laboratoire. Il est important de vérifier que les résultats obtenus au cours de ces études en milieu contrôlé soient transposables à une situation naturelle de formation (Jamet, 2008).

Tout l’enjeu d’une recherche est de parvenir à trouver un équilibre entre la validité interne et la validité externe dans la formulation du plan expérimental. Pour Baccino et Colombi (2001), il s’agit d’établir la mesure la plus précise possible (validité interne) pour analyser des situations qui respectent des conditions réelles d’utilisation (validité externe) et non pas produire des interprétations induites par des situations artificielles de laboratoire. Ce principe de validité utilisé pour évaluer la fiabilité d’une recherche scientifique est ici utilisé pour évaluer la fiabilité d’un EV pour l’apprentissage, quel que soit le type d’apprentissage (Hoareau et al., 2017).

Comme pour la validité de la recherche, la validité d’un EVAH doit respecter un certain équilibre entre la validité interne (i.e. évaluer l’apprentissage dans une situation contrôlée) et la validité externe (i.e. évaluer le transfert de l’apprentissage dans une situation naturelle). Un EVAH efficace doit démontrer une forte validité interne et externe : il doit optimiser l’apprentissage et garantir le transfert.

Les apprentissages sont évalués par un grand nombre de méthodes différentes. Dans le cadre de cet article, nous ne nous pencherons pas sur l’évaluation de l’utilisabilité de la RV pour l’apprentissage (i.e. la conception des interfaces facilite-t-elle l’apprentissage ?) mais sur l’évaluation de l’apprentissage lui-même (i.e. est-il possible d’apprendre avec cet EV ?).

En psychologie cognitive, le principe général d’évaluation des apprentissages est représenté par la méthode du « pré-test vs. post-test ». Après avoir défini l’objectif pédagogique ciblé, l’enseignant sélectionne deux tâches d’apprentissage analogues. L’apprenant exécute la première tâche (le pré-test), puis exécute la deuxième tâche répondant au même objectif pédagogique que la première (le post-test). L’évaluation de l’apprentissage passe par la comparaison des performances obtenues au pré et au post-test. S’il y a une amélioration des performances entre les deux tests, alors l’enseignant peut conclure sur la mise en place d’un apprentissage.

Ce principe général d’évaluation des apprentissages est applicable à l’apprentissage en RV. Le protocole expérimental détermine alors deux groupes d’apprenants : un groupe formé de manière traditionnelle, le groupe contrôle (e.g. par un formateur en salle de classe) et un groupe formé par l’EVAH. Durant la phase de pré-test, les apprenants du groupe contrôle suivent la formation en présentielle et ceux de l’autre groupe suivent une formation en EV. Lors de la construction de cette étape, l’enseignant devra être vigilant au degré de similitude entre les deux conditions expérimentales. Lors de la phase de post-test, l’ensemble des apprenants réalisent la même tâche dans l’environnement réel.

Toutefois, même si les résultats peuvent apporter à l’enseignant des indications sur l’utilité de l’environnement virtuel pour l’apprentissage, cela n’est pas suffisant pour attester de sa validité. Un nombre trop important de critères non maîtrisés peuvent fausser les conclusions (e.g. difficultés physiques à réaliser la procédure dans le monde réel, variations du degré de réalisme entre l’environnement réel et sa virtualisation, etc.).

Il est alors possible de recourir à d’autres méthodes que celle du pré-test vs. post-test pour évaluer l’apprentissage en EV. Au sein de la littérature scientifique, les méthodes d’évaluation des apprentissages sont souvent scindées en deux catégories selon que l’on évalue le processus d’apprentissage ou le résultat de ce processus. Cet objectif d’évaluation détermine également le moment d’intervention de l’évaluation.

• Lorsque l’objectif est d’évaluer le produit de l’apprentissage, l’évaluation doit avoir lieu après la phase d’apprentissage. On parle de méthodes d’évaluation offline. Elles évaluent donc l’apprentissage a posteriori. En fonction de l’objectif d’apprentissage, elles peuvent prendre plusieurs formes : mémorisation, résolution de problème, lecture-compréhension…
• Lorsque l’objectif est de mesurer le processus même d’apprentissage, l’évaluation doit se faire de manière dynamique (i.e. en temps réel) lors de la phase d’apprentissage. On parle alors de méthodes d’évaluation online. Elles permettent de collecter des données pertinentes pour l’analyse des performances d’apprentissage. Le recueil s’effectue en temps réel lors de l’exécution de la tâche.

Le choix de la méthode d’évaluation de l’apprentissage (offline ou online, i.e. après ou pendant la phase d’apprentissage) est susceptible d’impacter la tâche d’apprentissage elle-même. Par exemple, l’enregistrement de l’activité d’apprentissage ou des mouvements oculaires de l’apprenant n’interfèrent pas avec la tâche d’apprentissage en cours, contrairement à d’autres méthodes comme les techniques des protocoles verbaux où la consigne donnée à l’apprenant est de « penser à haute voix » pendant la réalisation de la tâche d’apprentissage. Une revue plus détaillée de ces différentes méthodes d’évaluation de l’apprentissage en EV est présente dans le chapitre d’ouvrage « La réalité virtuelle : vers un nouvel outil numérique éducatif » (Hoareau, 2021).

Dans le contexte de la formation en RV, l’efficacité du dispositif ne peut pas se satisfaire de la simple acquisition de nouvelles connaissances ou habiletés. Elle doit s’étendre à la capacité pour l’apprenant de transférer ces acquisitions à l’environnement réel.

Le transfert d’apprentissage peut se définir comme l’utilisation de connaissances ou d’habiletés acquises dans une situation pour la réalisation d’une nouvelle tâche (Pennington et al., 1995). Un certain nombre d’études montrent que les nouvelles connaissances, intrinsèquement liées au contexte de l’apprentissage, sont difficilement accessibles et applicables dans un autre contexte (Bransford et Schwartz, 2001 ; Presseau, 2000). Pour que le transfert opère, certains éléments doivent être présents dans la situation d’acquisition et celle de récupération comme le degré de similitude entre les deux contextes et le degré de pratique dans l’exécution de la tâche (Bracke, 1998 ; Lee, 1998).

Aujourd’hui encore, la littérature scientifique propose des résultats assez hétérogènes concernant le transfert du virtuel au réel (Ganier et al., 2014 ; Hoareau et al., 2013 ; Rose et al., 1998).

Dans ces études, la méthode d’évaluation du transfert choisie par les chercheurs est souvent identique, à savoir la comparaison des performances au post-test d’apprenants formés de manière traditionnelle ou formés à l’aide d’un EVAH. Les différences apparaissent dans les types d’apprentissages étudiés et dans les résultats obtenus. Par exemple, dans le domaine de l’apprentissage de savoir-faire, Hoareau et al. (1993, 2017 ; Ganier et al., 2014) ont mené plusieurs études allant dans le sens d’une évaluation positive de l’utilité d’un environnement virtuel pour l’apprentissage de procédures complexes et leur transfert par une exécution en situation réelle. L’apprentissage était évalué à l’aide d’une courbe d’apprentissage et le transfert était évalué, comme fréquemment dans la littérature, par une comparaison entre une formation traditionnelle et une formation en EV. Nous manquons toutefois à ce jour de résultats pour pouvoir attester d’un transfert du virtuel au réel systématique et généralisable à tous les types d’apprentissages.

Au sein de cet article, nous avons mis en avant la nécessité d’évaluer l’efficacité d’un dispositif de RV avant de l’utiliser à des fins d’acquisition de connaissances et/ou de compétences.

Nous proposons de rapprocher cette évaluation du concept de validité de la recherche en identifiant la validité interne et la validité externe d’un EVAH. La validité interne permet à l’enseignant de vérifier s’il est possible d’acquérir de nouvelles connaissances à l’aide de l’EV choisi. Nous avons vu que cette validité pouvait être mesurée à l’aide de méthodes online qui évaluent le processus d’apprentissage en temps réel et de méthodes offline qui évaluent le résultat de cet apprentissage aposteriori. La validité externe, quant à elle, permet à l’enseignant de vérifier si ce qui a été appris par l’apprenant à l’aide de l’EVAH est transférable à une situation réelle. Ces deux dimensions de la validité d’un environnement virtuel pour l’apprentissage, mesurées à l’aide de méthodes adaptées à l’objectif pédagogique fixé par l’enseignant, permettent d’attester ou non de l’efficacité du dispositif de RV pour l’apprentissage.

Voici quelques recommandations simples si vous souhaitez avoir recours à un EV pour l’apprentissage :

• si vous ne souhaitez pas mesurer l’efficacité d’un EV à l’aide de la méthode énoncée ci-dessus, choisir un EV qui a été évalué scientifiquement pour s’assurer de son efficacité pour l’apprentissage ;
• si vous souhaitez vous assurer que l’EV choisi ou proposé par votre établissement est utile à l’apprentissage, mesurez l’équilibre entre la validité interne et la validité externe de l’outil pour évaluer son impact sur l’apprentissage ;
• être vigilant à ce que l’outil permette un apprentissage pérenne dans le temps : passé « l’effet wahou » de la RV qui stimule la motivation à l’apprentissage, les apprenants continuent-ils de progresser après plusieurs utilisations de l’EV ?

• Hétier, R. (2021). Présence et numérique en éducation. Le Bord de l’eau Editions. https://www.editionsbdl.com/produit/presence-et-numerique-en-education/
• Hoareau, C. (2016). Réalité virtuelle et apprentissage de procédure. Réseau Canopé. https://www.reseau-canope.fr/agence-des-usages/realite-virtuelle-et-apprentissage-de-procedure.html
• Le dossier thématique de l’Agence des usages « Réalité virtuelle » : https://www.reseau-canope.fr/agence-des-usages/realite-virtuelle.html

• Baccino, T. et Colombi, T. (2001). L’analyse des mouvements des yeux sur le web. Les interactions homme-système : perspectives et recherches psycho ergonomiques. Paris : Hermès.
• Bailenson, J. N., Beall, A. C., Loomis, J. M., Blascovich, J. et Jentsch, F. (2005). The use of virtual reality in cross-cultural research. Human Communication Research, 31(2), p. 329-351.
• Boudreau, C. et Arseneault, A. (1995). La recherche qualitative : une méthodologie différente, des critères de scientificité adapté. Recherches qualitatives, 10, p. 121-137.
• Bracke, Danièle (1998). Vers un modèle théorique du transfert : les contraintes à respecter. Revue des sciences de l’éducation, 24(2), p. 235-266.
• Bransford, John D., Schwartz et Daniel L. (2001), Rethinking Transfer : A Simple Proposal With Multiple Implications, Research in Education, 24(3), p. 61-100.
• Carpentier, K. (2015). Scénarisation personnalisée dynamique dans les environnements virtuels pour la formation. Thèse de doctorat. Université de technologie de Compiègne.
• Dede, C. (2009). Immersive interfaces for engagement and learning. Science, 323(5910), p. 66-69.
• Ganier, F., Hoareau, C. et Tisseau, J. (2014). Evaluation of procedural learning transfer from a virtual environment to a real situation : a case study on tank maintenance training. Ergonomics, 57(6), p. 828-843.
• Hoareau, C. (2021). La réalité virtuelle : vers un nouvel outil numérique éducatif. Dans R. Hétier (dir.), Présence et numérique en éducation (p. 193-211). Le Bord de l'eau.
• Hoareau, C., Querrec, R., Buche, C. et Ganier, F. (2017). Evaluation of internal and external validity of a virtual environment for learning a long procedure. International Journal of Human – Computer Interaction, 33(10), p. 786-798.
• Hoareau, C., Ganier, F., Querrec, R., Buche, C., Le Corre, F. (2013), Evaluation de l’utilité d’un Environnement virtuel pour l’apprentissage de procédures, dans Van de Leemput, C., Chauvin, C. et Hellemans, C.. EPIQUE, numéro 1964, p. 301-308, Bruxelles. Arpege Science Publishing.
• Jamet, E. (2008). Peut-on concevoir des documents électroniques plus efficaces ? L’exemple des diaporamas. European review of applied psychology, 58(3), p. 185-198.
• Karsenti, T. et Savoie-Zajc, L. (2000). Introduction à la recherche en éducation. Éditions du CRP.
• Lee, A. (1998). Transfer as a measure of intellectual functioning. Perspectives on fundamental processes in intellectual functioning : A survey of research approaches, 1, p. 351-366.
• Loiselet, A., Hoc, J. M. et Denecker, P. (1999, august). From Field to Simulator and Microworld Studies : The Ecological Validity of Research. Proceedings of HCI International (the 8th International Conference on Human-Computer Interaction) on Human-Computer Interaction : Ergonomics and User Interfaces-Volume I-Volume I (p. 880-884).
• Lourdeaux, D. (2001). Réalité virtuelle et formation : conception d'environnements virtuels pédagogiques. Thèse de doctorat. École des Mines de Paris.
• Pennington, N., Nicolich, R. et Rahm, J. (1995). Transfer of Training between Cognitive Subskills : Is Knowledge Use Specific ? Cognitive psychology, 28, p. 175-224.
• Presseau, A. (2000). Analyse de l’efficacité d’interventions sur le transfert des apprentissages en mathématiques. Revue des sciences de l’éducation, XXVI (3), p.  515-544.
• Rose, D. F., Attree, E.-A., Brooks, B. M., Parslow, D. M., Penn, P. R. et Ambihaipahan, N. (1998). Transfer of training from virtual to real environments. 2nd European Conference on Disability, Virtual Reality and Associated Technologies, p. 69-75. Skövde.
• Tricot, A., Plégat-Soutjis, F., Camps, J. F., Amiel, A., Lutz, G. et Morcillo, A. (2003, avril). Utilité, utilisabilité, acceptabilité : interpréter les relations entre trois dimensions de l'évaluation des EIAH. Environnements Informatiques pour l'Apprentissage Humain, p. 391-402. ATIEF/INRP.
• Vian, M., Tijus, C. et Léger, L. (2012, octobre). Méthode AVIVE pour l'évaluation de la qualité des données des tests utilisateurs en ergonomie. Proceedings of the 2012 Conference on Ergonomie et Interaction homme-machine (p. 41-48).
• Wacheux, F. (1996). Méthodes qualitatives et recherche en gestion, chapitre 1. Economica.
• Yin, R. K. (2009). Case study research: Design and methods. Sage Publications, 4e édition.