J’ai parlé, dans mon dernier billet, des pratiques étudiantes pour faire comprendre les enjeux d’intégrité intellectuelle dans les évaluations. Les constats tirés de la recherche scientifique devraient nous faire réaliser l’impératif de poser des actions concrètes. Maintenant, afin d’adopter des solutions basées sur les connaissances disponibles, je partage le premier de deux textes sur les utilisations éthiques et pédagogiques de l’IA.

Méthodes tournées vers les besoins

La recherche en psychopédagogie des dernières décennies a identifié les approches pédagogiques qui ont les meilleurs effets sur les besoins d’apprentissage. À ce titre, la rétroaction directe sur les évaluations, le tutorat et l’enseignement individualisé constituent les approches documentées les plus bénéfiques.

Malheureusement, à cause de la taille des groupes et des ressources pédagogiques limitées, l’université ne peut combler qu’une petite partie des besoins immenses de la communauté étudiante. Est-ce que l’IA peut contribuer à relever ce défi ? Comme d’habitude, je me tourne vers la recherche scientifique émergente sur le sujet, afin d’offrir des pistes de réponses.

L’IA peut-elle offrir des rétroactions pédagogiques ?

Dans mes conférences et formations sur l’IA, j’ai constaté que l’utilisation pédagogique la plus commune du personnel enseignant était d’utiliser ChatGPT comme aide à la rédaction de commentaires sur les travaux étudiants. La correction manuelle traditionnelle permet d’évaluer chaque copie et d’identifier leurs forces et faiblesses. Mais la personne correctrice peut aussi générer une rétroaction sous la forme de commentaires plus détaillés et spécifiques : il s’agit de fournir à l’IA la copie corrigée, le contexte du cours, la grille d’évaluation ainsi que des notes de correction. Notez que l’éthique nous demande d’anonymiser les copies et d’obtenir le consentement de nos groupes !

De l’avis des personnes enseignantes utilisant cette méthode artisanale, la démarche est chronophage. Elle permet tout de même d’augmenter significativement la qualité et le détail des rétroactions fournies sur les évaluations. Plusieurs de mes collègues, au cégep et à l’université, trouvent que le jeu en vaut la chandelle.

Cependant, est-ce que la recherche soutient ces constats expérientiels ?

Une étude quantitative exploratoire, datant de 2023, a exploré la capacité de l’IA (ChatGPT-3.5) à fournir des rétroactions pédagogiques efficaces sur les travaux universitaires [1]. L’étude a porté sur les projets de 103 personnes étudiantes d’un cours en science des données. Les enseignant.es ont fourni les instructions du cours et les projets étudiants aux auteurs de l’étude, afin qu’ils puissent générer des rétroactions détaillées en fonction des critères d’évaluation. Ensuite, les personnes enseignantes ont corrigé normalement les travaux et rédigé leurs propres rétroactions. L’étude a finalement analysé, de manière comparative, les rétroactions des personnes enseignantes avec celles générées par l’IA.

L’étude comparative démontre que les retours de l’IA ont obtenu un score de lisibilité moyen de 3,76 (sur une échelle de 4), comparé à une moyenne de 3,21 pour les rétroactions humaines sur les projets étudiants. Les commentaires de l’IA étaient perçus comme plus cohérents et fluides, par les personnes évaluées, que ceux rédigés manuellement. La concordance des commentaires (forces et faiblesses) rédigés par les personnes enseignantes et ceux générés par l’IA était également très élevée, ce qui confirme sa compétence disciplinaire.

Cependant, bien que l’IA puisse fournir des rétroactions pertinentes, utiles et plus lisibles, l’étude illustre aussi les limites des robots conversationnels. En effet, l’étude a mesuré que la rétroaction des personnes enseignantes était beaucoup plus individualisée, notamment parce que l’IA n’avait pas accès à des informations contextuelles (comme les parcours et défis particuliers), et bien sûr parce qu’elle ne possède pas un ensemble de compétences psychosociales associées à l’expérience humaine et aux défis de l’enseignement. De plus, même avec une grille d’évaluation précise, ChatGPT-3.5 n’était pas apte à pondérer les évaluations d’une manière compétente.

Ces limites paraîtront encore plus évidentes dans les disciplines où les compétences, démarches et résultats sont évalués d’une manière plus interprétative, en fonction de choix et caractéristiques de la personne enseignante.

L’IA peut-elle fournir un tutorat individualisé ?

Au Québec et ailleurs, les personnes étudiantes entrent au collégial avec des défis considérables en rédaction, défis qui les accompagnent souvent jusqu’à l’université. Dans ma propre approche pédagogique, j’utilise une méthode qui consiste à apprendre à mes groupes comment utiliser l’IA, en mode tutorat, afin de s’autonomiser dans l’amélioration de leurs rédactions rationnelles (écriture philosophique et scientifique), en vue des examens non assistés par l’IA.

Cette utilisation de ChatGPT fait des merveilles auprès d’une clientèle particulière : les personnes motivées, mais connaissant des difficultés importantes en logique du raisonnement et en expression écrite. Plusieurs de ces personnes n’ont pas le français pour langue maternelle, et utilisent souvent peu le français à l’extérieur de l’école. Mais beaucoup d’autres ont tout simplement manqué d’expériences rédactionnelles robustes dans leur parcours scolaire.

Ma méthode consiste à donner des exercices de rédaction étroitement associés aux compétences et connaissances du cours. Ces exercices sont accompagnés d’un guide d’instruction de l’IA permettant à la personne apprenante de lui confier le rôle spécifique d’un tuteur critique, mais bienveillant, offrant des rétroactions individualisées, précises et pertinentes sur les exercices rédactionnels préparatoires aux examens. Cela me permet de jouer un rôle de superviseur de la démarche d’apprentissage, plutôt que celui, plus chronophage, de tuteur individuel.

Je suis heureux de constater que la recherche confirme les bénéfices de cette approche, et cela dans d’autres disciplines que les miennes. À cet égard, l’Université Harvard fait figure de pionnière. Je commente ici deux études qui furent menées à titre expérimental dans des cours de cette université.

Les projets de Harvard, conduits par deux équipes distinctes, l’une en informatique, l’autre en physique, consistent à créer des environnements de tutorat virtuel intégrant des robots conversationnels entraînés sur les contenus spécifiques des « cours à défi » (les cours obligatoires de premier cycle connaissant des taux de réussite insatisfaisants). Les assistants d’IA ont donc été spécialisés et filtrés pour les rendre plus fiables et spécifiques, et contraints au tutorat, de sorte qu’ils ne fournissent jamais les réponses aux questions et exercices, mais uniquement un soutien à l’apprentissage de la démarche et au perfectionnement par rétroaction individualisée.

L’étude en informatique

Pour l’étude en informatique [2], un robot conversationnel appelé « CS50 Duck », accompagné de deux autres outils d’IA pour apprendre à résoudre des problèmes de programmation, ont été développés et offerts à environ 500 étudiants, sur une base volontaire, en automne 2023. À la suite du cours, l’étude a mesuré l’efficacité, l’engagement et la performance du tutorat d’IA à partir des rétroactions recueillies auprès des groupes-cours, via des enquêtes (auto-rapportées) et des analyses quantitatives des usages. En automne, 50 % des inscrits avaient utilisé fréquemment les outils, et 28 % de manière constante. Dans l’ensemble, 53 % de l’ensemble des inscrits ont exprimé une satisfaction très élevée envers ces outils, et 73 % ont jugé le robot utile et efficace pour soutenir leur apprentissage. En ce qui concerne la performance, le robot conversationnel a donné des rétroactions évaluées comme correctes par le personnel enseignant dans 88 % des cas.

La faiblesse de l’étude en informatique est qu’il n’y a pas eu comparaison formelle des performances dans les évaluations avec et sans tutorat d’IA. Mais l’autre étude, réalisée au département de physique, a effectué une telle mesure.

L’étude en physique

Le groupe de recherche a conçu un robot conversationnel, « PS-2 Pal », entraîné sur le cours et spécialisé en tutorat de cette matière. À noter que le tuteur est basé sur le modèle GPT-4 d’OpenAI (un grand modèle de langage beaucoup plus avancé et performant que les modèles utilisés dans les études précitées). L’étude en physique est ensuite allée plus loin que celle en informatique : elle a comparé l’effet mesuré du tutorat de « PS-2 Pal » sur les évaluations sommatives avec l’effet mesuré des méthodes d’apprentissage actif par les pairs, l’approche de soutien pédagogique ayant obtenu les meilleurs résultats dans ce cours d’introduction à la physique [3].

Pour mesurer l’effet réel du tutorat d’IA à l’abri des biais d’échantillons, l’étude en physique a aussi utilisé un design croisé : 194 étudiants ont été divisés en deux groupes. Chaque groupe a alterné entre des leçons dispensées par tutorat d’IA et des sessions d’apprentissage actif en classe, avec des tests avant et après chaque séance pour évaluer les acquis. Les leçons ont même couvert des concepts indépendants en physique pour éviter l’influence d’une connaissance préalable.

L’étude, méthodologiquement robuste, démontre que les gains d’apprentissage sont impressionnants. Les utilisateurs du tuteur d’IA ont obtenu, dans leurs évaluations, des résultats très supérieurs : médiane de 4,5 sur un score maximum de 5, contre 3,5 pour les sessions d’apprentissage actif en classe, avec une différence statistiquement significative (p < 10^-8). De plus, le temps d’apprentissage sur la tâche fut en moyenne moins long, avec une médiane de 49 minutes, contre 60 minutes pour l’apprentissage actif.

Enfin, les personnes étudiantes travaillant avec l’IA se sont senties significativement plus engagées (score moyen de 4,1 sur 5, contre 3,6 pour les sessions d’apprentissage actif) et motivées face aux questions difficiles (3,4 vs 3,1 sur 5).

Le soutien pédagogique de l’IA transforme l’éducation

Les expériences conduites à Harvard sont toujours en cours, et n’ont pas encore subi l’évaluation par les pairs pour publication. Mais ces résultats préliminaires convergent vers les constats empiriques et expérientiels effectués un peu partout dans le monde : l’aide individuelle apportée par l’IA, en complémentarité avec les cours et méthodes traditionnels, est en train de transformer positivement l’éducation pour mieux répondre aux besoins d’apprentissage.

Comme nous l’avons constaté dans notre billet précédent, la communauté étudiante utilise déjà l’IA pour s’aider dans son étude. Mais, en l’absence d’un cadre approprié, l’utilisation massive et soutenue de l’IA s’accompagne de pratiques contraires aux objectifs éthiques et pédagogiques des institutions d’enseignement supérieur. Dans le contexte actuel, les incitations à la tricherie et à la substitution de l’effort cognitif sont considérables et nuisent à l’intégrité de la formation universitaire.

Les départements et facultés universitaires se retrouvent donc face à un choix crucial pour protéger l’intégrité : ou bien ils choisissent d’implanter un cadre d’utilisation de l’IA pour soutenir les objectifs universitaires des disciplines enseignées, ou bien ils ramènent toutes les évaluations importantes en classe supervisée, pour protéger l’intégrité des évaluations, et laissent la communauté étudiante se débrouiller seule avec l’IA pour combler ses besoins d’apprentissage.

D’ailleurs, un peu plus tôt cette semaine, l’UdeM a émis de nouvelles lignes directrices pour une utilisation responsable de l’IA aux cycles supérieurs.

J’ai conscience du fait que le défi est considérable. Les ressources matérielles et humaines nécessaires à l’implantation d’un tutorat d’IA spécialisé pour chaque cours ne seront jamais disponibles dans un futur prévisible. Mais, comme je l’ai mentionné dans le contexte de ma propre pratique pédagogique, il est possible d’offrir un cadre d’utilisation spécifique des services d’IA gratuits pour chaque cours. Et ce sera le sujet de mon prochain billet.

Merci pour votre soutien !

Je termine en remerciant les membres de notre communauté qui m’ont écrit des courriels d’appréciation, d’encouragement et des suggestions. Je vous assure que vos commentaires et suggestions sont toujours lus et très appréciés ! Nous aurons bientôt l’occasion de nous rencontrer et d’échanger dans les ateliers.

Prochains ateliers*

Atelier 1 – vendredi 22 novembre 2024 de 9 h à 10 h 30 – Salle C-3061 du pavillon Lionel-Groulx
Intégrité intellectuelle dans l’utilisation de l’IA.
S'inscrire à cet atelier

Atelier 2 – lundi 2 décembre 2024 de 9 h 30 à 11 h - Salle C-3061 du pavillon Lionel-Groulx
Outils et approches pédagogiques de l’IA
S'inscrire à cet atelier

*Attention, les ateliers sont réservés au personnel enseignant de la Faculté des arts et des sciences. L’enregistrement des ateliers sera rendu disponible quelques jours après leur tenue sur cette page.

Dave Anctil
Pour communiquer directement avec moi : Dave.Anctil@umontreal.ca

Références

[1] Dai, W., Lin, J., Jin, F., Li, T., Tsai, Y., Gasevic, D., & Chen, G. (2023). « Can Large Language Models Provide Feedback to Students? A Case Study on ChatGPT », 2023 IEEE International Conference on Advanced Learning Technologies (ICALT), Orem, UT, USA, 2023, pp. 323-325.

[2] Liu, Rongxin & Zenke, Carter & Liu, Charlie & Holmes, Andrew & Thornton, Patrick & Malan, David (2024). « Teaching CS50 with AI: Leveraging Generative Artificial Intelligence in Computer Science Education », 750-756.

[3] Kestin, G., Miller, K., Klales, A., et al (2024). « AI Tutoring Outperforms Active Learning », 14 May 2024, PREPRINT (Version 1).

S'inscrire à la liste de diffusion IA en enseignement