Un cadre mathématique cartographie le paysage des connaissances des étudiants au moyen de courts questionnaires.

Lorsqu’on apprend quelque chose de nouveau, cette information ne reste pas isolée. Elle s’intègre au paysage complexe de nos connaissances, tissant des liens avec les idées existantes et ouvrant la voie à de nouveaux apprentissages. Dans une étude publiée dans 
Nature Communications , des chercheurs de Dartmouth présentent une technique mathématique permettant de cartographier le paysage unique des connaissances conceptuelles d’un étudiant à partir de ses résultats à de courts questionnaires à choix multiples.

Leur cadre transforme un questionnaire traditionnel en une topographie détaillée qui met en évidence les sommets de la maîtrise conceptuelle d’un élève et les vallées où il rencontre des difficultés.

Selon les chercheurs, cette technique de cartographie des connaissances pourrait être utilisée pour améliorer l’apprentissage en classe en offrant aux enseignants un moyen d’identifier automatiquement les concepts que chaque élève comprend et ne comprend pas, de suivre l’évolution de leur compréhension au fur et à mesure de leur apprentissage et de déterminer comment relier au mieux les nouveaux concepts à leurs connaissances existantes.

En dehors des salles de classe, ce cadre pourrait alimenter une nouvelle génération de tuteurs IA personnalisés, capables de comprendre en profondeur les connaissances des élèves et d’adapter leurs commentaires en conséquence.

Ce cadre vise à remédier à une limite fondamentale des évaluations d’apprentissage traditionnelles, explique Jeremy Manning, auteur principal de l’étude et professeur agrégé de sciences psychologiques et cognitives à Dartmouth.

« Lorsqu’un étudiant obtient 50 % à un quiz, ce chiffre ne dit pas grand-chose sur sa compréhension réelle », explique Manning. « Il se peut qu’il ait parfaitement compris la moitié de la matière, ou seulement partiellement, ou quelque part entre les deux. »

« Notre approche s’appuie sur l’intuition que les connaissances des individus tendent à varier progressivement d’une idée à l’autre – que bien connaître un concept suggère qu’il est plus probable, sans toutefois que ce soit garanti, que l’on connaisse également des concepts connexes. »

Paxton Fitzpatrick, auteur principal de l’étude et doctorant au sein du groupe de recherche de Manning, affirme que ce cadre constitue un pas vers la création de systèmes de tutorat par IA capables de s’adapter aux besoins de chaque apprenant, quel que soit son emplacement.

« Lorsqu’un étudiant demande de l’aide après avoir rencontré des difficultés lors d’un examen, lui fournir un retour d’information ou des conseils personnalisés nécessite d’examiner ses performances sur différentes questions afin de mieux comprendre les concepts qu’il a maîtrisés et ceux qu’il n’a pas maîtrisés », explique Fitzpatrick.

« Si ce rôle incombe traditionnellement à un enseignant ou à un tuteur, le développement de l’apprentissage en ligne et à distance fait que ce type d’enseignement personnalisé n’est pas toujours accessible à tous les élèves », explique-t-il.

Les concepts comme coordonnées

Pour caractériser la manière dont différents concepts sont liés les uns aux autres, les chercheurs ont utilisé des modèles d’intégration de texte — la même classe de modèles qui alimentent les systèmes d’IA modernes — pour représenter les concepts comme des coordonnées dans un espace de grande dimension.

Dans cet espace, la similarité conceptuelle est appréhendée par la distance physique : des concepts apparentés comme la gravité et le magnétisme sont proches l’un de l’autre, tandis que des concepts sans lien comme la génétique et l’histoire de l’art restent éloignés. En attribuant des coordonnées à chaque réponse d’un étudiant au quiz, les chercheurs peuvent déduire son niveau de connaissance des concepts voisins.

« Notre objectif n’était pas seulement de créer de meilleurs questionnaires ou méthodes de notation », explique Manning. « Nous voulions tester une idée théorique, selon laquelle la connaissance est structurée d’une manière particulière, comme le suggèrent les modèles d’intégration de texte, et que cette structure influence ce que les gens sont susceptibles de savoir et la manière dont ils acquièrent de nouvelles connaissances. »

« Si cela s’avère vrai, nous pourrons nous en servir pour caractériser les connaissances d’une personne beaucoup plus rapidement et efficacement qu’en considérant un concept ou une question à la fois », explique-t-il.

Dans leur étude, les chercheurs ont analysé les connaissances de 50 étudiants de premier cycle de Dartmouth avant et après qu’ils aient visionné des cours en ligne de la Khan Academy, une entreprise éducative à but non lucratif très populaire. Leurs résultats, publiés dans Nature Communications, montrent que les analyses des connaissances de chaque étudiant ont non seulement permis de saisir l’évolution de leurs connaissances au fil des cours, mais aussi de prédire avec fiabilité les questions auxquelles ils seraient capables de répondre correctement.

À l’image des meilleurs professeurs

Andrew Heusser, co-auteur de l’étude et chercheur postdoctoral au sein du laboratoire de Manning, explique que le processus mathématique sous-jacent à cet outil reflète la démarche mentale employée par les enseignants et les tuteurs pour reformuler ou clarifier les concepts qui ont posé problème à un élève lors d’un examen. Ils établissent des liens entre les nouvelles idées et les concepts déjà maîtrisés par l’élève.

« Lorsqu’un enseignant aborde un nouveau concept avec un élève, il s’appuie sur une sorte de “carte mentale” des connaissances de cet élève pour formuler ce concept ou le relier à d’autres idées que l’élève maîtrise déjà », explique Heusser. « Notre cadre conceptuel vise essentiellement à approximer mathématiquement cette carte mentale abstraite. »

L’équipe tient également à préciser que les systèmes de tutorat par IA ne doivent pas être considérés comme un substitut aux enseignants. « Dans les petites classes ou lors de cours particuliers, les enseignants humains comprennent bien mieux leurs élèves que n’importe quelle IA », affirme Fitzpatrick.

« Le défi auquel nous sommes confrontés, c’est que l’enseignement hautement personnalisé ne peut être étendu à l’ensemble de l’humanité », explique-t-il. « Nous pensons que l’avenir réside dans ces nouveaux outils qui peuvent contribuer à élargir le champ d’action des enseignants en complétant certains aspects qui font la force des meilleurs professeurs. »

Les chercheurs ont publié une démonstration publique de leur cadre de travail, permettant aux utilisateurs de répondre à des questions pour construire une carte interactive de leurs connaissances, visualiser leurs domaines d’expertise prévus et interagir avec des ressources pédagogiques recommandées pour combler les lacunes de leur compréhension ou approfondir leurs connaissances.