Automatic generation of individual and fair assessments in higher education
Génération automatique de sujets d'évaluation individuels en contexte universitaire
Résumé
This PhD work focuses on the evaluation of learning and especially the automatic generation of evaluation topics in universities. We rely on a base of source questions to create topic questions through algorithms that are able to construct differentiated assessment tests. This research has made it possible to develop a metric that measures this differentiation and to propose algorithms aimed at maximizing total differentiation on test collections, while minimizing the number of necessary patterns. The average performance of the latter depends on the number of patterns available in the source database (compared to the number of items desired in the tests), and the size of the generated collections. We focused on the possible differentiation in very small collections of subjects, and proposes methodological tracks to optimize the distribution of these differentiated subjects to cohorts of students respecting the constraints of the teacher. The rest of this work will eventually take into account the level of difficulty of a test as a new constraint, relying in part on the statistical and semantic data collected after each test. The goal is to be able to maximize the differentiation by keeping the equity between the Tests of a Collection, for an optimized distribution during the Events
Ce travail de thèse s'intéresse à l'évaluation des apprentissages et notamment à la génération automatique de sujets d'évaluations dans les universités. Nous nous appuyons sur une base de questions sources pour créer les questions des sujets grâce à des algorithmes qui sont en mesure de construire des tests d'évaluation différenciés. Ces recherches ont permis d'élaborer une métrique qui mesure cette différenciation et de proposer des algorithmes visant à maximiser la différenciation totale sur des collections de tests, tout en minimisant le nombre de patterns nécessaires. Les performances en moyenne de ces derniers dépendent du nombre de patterns disponibles dans la base source (en regard du nombre d'items souhaités dans les tests), et de la taille des collections générées. On s'est focalisé sur la différenciation possible dans de très petites collections de sujets, et propose des pistes méthodologiques pour optimiser la distribution de ces sujets différenciés à des cohortes d'étudiants en respectant les contraintes de l'enseignant. La suite de ce travail sera éventuellement de prendre en compte le niveau de difficulté d'un Test comme nouvelle contrainte, en s'appuyant en partie sur les données statistiques et sémantiques récoltées après chaque Épreuve. Le but est de pouvoir maximiser la différenciation en gardant l'équité entre les Tests d'une Collection, pour une distribution optimisée lors des Épreuves
| Origine | Version validée par le jury (STAR) |
|---|