Les agents d’IA sont là

Dans mon billet précédent j’abordais l’évolution récente des services d’IA générative. S’ils offrent un pouvoir sans précédent d’apprentissage, ils facilitent aussi la fraude scolaire dans toutes les disciplines. À ce sujet, je partage avec vous quelques données disponibles sur les pratiques étudiantes ainsi que l’enjeu de l’intégrité dans les évaluations.

Quelques données au Canada

Le 21 octobre dernier, la société KPMG a publié les résultats d’un deuxième sondage sur l’adoption de l’IA générative au Canada. Il contient des informations sur les pratiques de la communauté étudiante adulte inscrite aux études supérieures [1]. L’enquête fut menée à l’échelle du pays, au mois d’août 2024. On se souviendra que KPMG avait mené une première enquête similaire en 2023 [2].

Notez que ces deux sondages nationaux constituent les seuls portraits globaux disponibles sur l’adoption de l’IA par les Canadiens – une différence notable avec d’autres pays, comme les États-Unis et le Royaume-Uni, qui disposent de bien plus de données sur les pratiques étudiantes et professionnelles. Les questionnaires des deux sondages n’étant pas identiques, et les échantillons assez limités, on doit considérer ces données comme approximatives, mais néanmoins éclairantes.

Cela étant précisé, en ce qui concerne les questions qui ont été posées deux fois à la communauté étudiante, à une année d’intervalle, certaines données méritent notre attention :

• L’adoption globale de l’IA dans les études aurait progressé à 59% (+7% en un an)
• 75% des personnes étudiantes utilisatrices affirment avoir obtenu de meilleurs résultats scolaires grâce à l’IA (+7%)
• 82% avouent ne pas déclarer leur utilisation de l’IA dans leurs évaluations (+12%), 65% ont l’impression de tricher en l’utilisant (+5%) et 63% craignent d’être accusés pour fraude scolaire (+6%)

Cette évolution confirme les deux tendances qui ont été beaucoup discutées dans les universités et cégeps, ainsi que dans les médias, depuis la sortie de ChatGPT en novembre 2022. Premièrement, la communauté étudiante utilise de plus en plus l’IA pour réaliser ses évaluations, notamment parce que la technologie permet d’économiser du temps et d’obtenir de meilleurs résultats. (À la lumière des données à l’international, je crois cependant que les sondages sous-estiment beaucoup le nombre d’utilisateurs!) Deuxièmement, la communauté étudiante manque de directives claires, d’outils et d’encadrement pédagogiques pour faire un usage intègre et honnête de l’IA dans ses études. L’Université de Montréal a cependant réagi assez rapidement, dès janvier 2023, pour adapter les règlements sur le plagiat et la fraude et s’est doté à l’été 2023 de balises pour l’utilisation de l’IA générative dans les activités d’enseignement [3], bien qu’elles ne soient pas forcément connues de toute la communauté étudiante.

Maintenant, les nouvelles questions du sondage de 2024 procurent de nouvelles données, encore plus intéressantes :

• 70% choisissent d’obtenir l’aide de l’IA plutôt que celle du personnel enseignant
• 79% pensent que le personnel enseignant utilise maintenant des logiciels de détection d’IA
• 58% croient que l’IA va finir par remplacer le personnel de soutien pédagogique (assistanat et tutorat d’enseignement)
• 67% croient ne pas apprendre autant à cause de l’IA

Ces données peuvent être interprétées de différentes manières; il ne s’agit, rappelons-le, que d’un sondage. Une interprétation pessimiste pourrait y relever des signaux de désengagement de la communauté étudiante envers nos institutions d’enseignement. Mais une interprétation plus optimiste pourrait y relever des signaux que la communauté étudiante a pris conscience des conséquences d’un mauvais usage de l’IA sur l’apprentissage, et qu’elle est plus disposée à en faire un usage plus responsable et intègre.

Cependant, la crainte de la punition (63%) et l’utilisation de logiciels pour dépister l’IA dans les évaluations (79%) indiquent que la surveillance et la dissuasion dominent les politiques de l’enseignement supérieur concernant l’utilisation de l’IA dans les évaluations (ou à tout le moins la perception étudiante de ces politiques).

L’intégrité

L’IA en éducation supérieure a récemment donné lieu à un grand nombre de publications, en particulier sur les enjeux d’intégrité intellectuelle, de plagiat et autres fraudes scolaires. Au Québec, le rapport conjoint réalisé par le Conseil supérieur de l’éducation et la Commission de l’éthique en science et en technologie fait maintenant autorité sur la compréhension des principaux enjeux éthiques et pédagogiques [4]. Bien que les recommandations de ce rapport constituent de précieuses lignes directrices, en vue de l’adaptation continue des universités, il n’a pas réalisé d’enquêtes auprès des communautés étudiantes et enseignantes sur leurs pratiques.

En fait, au Québec et au Canada, la plupart des travaux publiés sur l’enjeu de l’intégrité dans les évaluations ont proposé des analyses et réflexions sur les enjeux éthiques et pédagogiques, en formulant des recommandations à partir de la normativité existante et émergente. Même à l’international, peu d’études scientifiques ont été publiées à ce jour l’enjeu de l’intégrité.

J’aimerais m’attarder ici sur les rares études quantitatives et reproductibles portant sur l’intégrité. Car elles fournissent des données robustes pour répondre à trois questions cruciales :

Les outils de dépistage de l’IA sont-ils efficaces ?

Plusieurs études ont démontré empiriquement que les outils de dépistage de l’IA générative ne le sont pas. La meilleure étude quantitative disponible (et évaluée par les pairs) démontre que les outils de détection de textes générés par l’IA (comme GPTZero et Turnitin) présentent des taux de précision faibles (39,5% en moyenne). Et cette précision chute drastiquement (jusqu’à 17,4%) lorsque les expérimentateurs utilisent des « techniques adversariales » pour modifier les textes générés par l’IA, par exemple en ajoutant des fautes d’orthographe ou en modifiant quelques phrases comme le feraient réalistement des tricheurs appliqués [5]. Fait troublant : l’étude démontre aussi que 61,3% des textes produits par des personnes étudiantes qui n’ont pas l’anglais comme langue maternelle ont été faussement détectés comme étant générés par IA (faux positifs).

Le personnel enseignant est-il apte à dépister les travaux générés par l’IA ?

À notre connaissance, aucune étude quantitative n’a été menée sur la capacité du personnel universitaire à identifier correctement les travaux réalisés par l’IA. Cependant, la meilleure étude quantitative disponible a évalué la performance du personnel enseignant du niveau secondaire. L’étude démontre que les futures personnes enseignantes inscrites dans un programme de maîtrise en éducation pouvaient identifier correctement 45,1% des textes générés par l’IA et 53,7% des essais réalisés entièrement par les élèves. En ce qui concerne les personnes enseignantes expérimentées, elles ont identifié seulement 37,8% des textes générés par l’IA, mais 73% des essais rédigés par les élèves sans l’aide de l’IA [6]. L’étude montre également que les professionnels de l’enseignement, novices ou expérimentés, surestiment beaucoup leur capacité réelle à distinguer les travaux réalisés avec ou sans l’IA, et accordent en moyenne des notes plus élevées aux travaux scolaires réalisés par l’IA.

Quelle est la vulnérabilité des évaluations en ligne face à la fraude par l’IA ?

Plusieurs universités offrent des cours à distance, comprenant des évaluations en ligne. Une étude a testé quantitativement la capacité d’une IA (ChatGPT-4) à infiltrer un tel système d’examens universitaires, en psychologie, en générant des réponses pour des examens en ligne [7]. Les examens comprenaient des réponses courtes (questions de compréhension) ainsi que des essais longs sur les principaux thèmes du cours (1500 mots). Sur cinq modules d’évaluation, 63 soumissions entièrement rédigées par IA ont été injectées par les expérimentateurs dans les examens, et 94% de ces réponses n’ont pas été détectées par les correcteurs, même si ceux-ci disposaient d’outils de détection de l’IA. De plus, les réponses de l’IA ont obtenu des notes supérieures à celles des personnes évaluées dans la plupart des cas.

Des défis majeurs pour l’intégrité intellectuelle

Ces trois études nous aident à comprendre pourquoi l’IA soulève des défis considérables, et sous-estimés, pour l’intégrité et la justice dans les évaluations. Trois aspects demandent notre attention immédiate : (1) la détection inefficace des outils logiciels, (2) le potentiel bien réel de discrimination envers les personnes dont la langue d’enseignement n’est pas la langue maternelle, et enfin, (3) la performance en moyenne supérieure des évaluations rédigées à l’aide de IA.

Les connaissances disponibles devraient engager chaque département dans une révision de leurs méthodes d’évaluation.

À ces constats tirés de la recherche s’ajoute ce que la communauté étudiante a révélé dans les sondages de KPMG : l’IA facilite leur réussite dans les évaluations, mais elle nuit probablement à leur réel apprentissage, tout en créant un climat de surveillance et de suspicion contraire à l’esprit des normes d’intégrité intellectuelle à l’université.

Dans mon prochain billet, j’aborderai la recherche portant sur les utilisations pédagogiques bénéfiques et éthiques de l’IA. Comme d’habitude, j’encourage vos questions et commentaires pour soutenir le mandat qui m’a été confié.

Dave Anctil
Pour communiquer directement avec moi : Dave.Anctil@umontreal.ca

Références

[1] KPMG, « Generative AI Adoption Index Survey » (21 octobre 2024). Les données mentionnées dans cette étude, auprès du sous-échantillon de 423 étudiants universitaires et cégépiens canadiens, peuvent être consultées ici.

[2] KPMG, « 2023 KPMG Generative AI Survey » (30 août 2023). Les données mentionnées dans cette étude peuvent être consultées ici.

[3] Les balises pour l’utilisation de l’IA générative dans les activités d’enseignement à l’UdeM (VRAÉÉ, 23 août 2023) : https://integrite.umontreal.ca/fileadmin/interets/documents/Balises_IA_generative_2023_08_23.pdf;

[4] Conseil supérieur de l’éducation et Commission de l’éthique en science et en technologie (2024). Intelligence artificielle générative en enseignement supérieur : enjeux pédagogiques et éthiques, Québec, Le Conseil; La Commission.

[5] Perkins, M. et al (2024). « Simple techniques to bypass GenAI text detectors: implications for inclusive education », International Journal of Educational Technology in Higher Education 21, 53.

[6] Fleckenstein, J. et al. (2024). « Do teachers spot AI? Evaluating the detectability of AI-generated texts among student essays », Computers and Education: Artificial Intelligence, Volume 6.

[7] Scarfe P. et al. (2024). « A real-world test of artificial intelligence infiltration of a university examinations system: A “Turing Test” case study », PLoS ONE 19(6): e0305354.
doi.org/10.1371/journal.pone.0305354

S'inscrire à la liste de diffusion IA en enseignement