Outils personnels
Vous êtes ici : Accueil Symposiums Usage et légitimité des démarches instrumentées en évaluation des apprentissages: véritables instruments de pilotage ? "Monitoring" scolaire au Luxembourg : testing assisté par ordinateur et reportage de résultats automatisé
Navigation
« Juin 2022 »
Juin
LuMaMeJeVeSaDi
12345
6789101112
13141516171819
20212223242526
27282930
 
Actions sur le document

"Monitoring" scolaire au Luxembourg : testing assisté par ordinateur et reportage de résultats automatisé

Résumé: Ce texte introduira le projet luxembourgeois de « monitoring scolaire », se concentrant sur les différents outils qui ont été développés et utilisés, particulièrement les outils plus innovateurs développés pour les tests assistés par ordinateur et la génération automatique de rapports. Le système scolaire du Luxembourg fait face à une transition que rencontrent actuellement beaucoup de pays dans le monde entier : une transition vers plus d'autonomie accordée aux différentes écoles. Ceci nécessite l'établissement d'un programme de « monitoring » scolaire, évaluant régulièrement le progrès des étudiants dans une variété de domaines, y compris mais non limité aux accomplissements académiques. Au delà du développement de mesures valides, fiables et objectives, deux autres conditions pour le succès et l'utilité d'un tel projet constituent l'administration économique des tests ainsi que le reportage et la présentation de résultats pertinents compréhensifs au lecteur. Dans ce texte, nous introduirons la plateforme de testing basée sur Internet TAO et les outils utilisés pour la génération automatique de rapports. Bien qu’ils soient développés dans un pays à petite population, ces outils sont très bien applicables à d'autres contextes et à d’autres pays ayant des populations beaucoup plus importantes que le Luxembourg. Nous décrirons également les développements ultérieurs possibles de ces outils afin de répondre plus amplement, dans un contexte éducatif, aux demandes ressortissant de situations de prises de décision basées sur les résultats.

Mention complète de la source: Keller, U. & Reichert, M., (2008), "Monitoring" scolaire au Luxembourg : testing assisté par ordinateur et reportage de résultats automatisé. Actes du 20e colloque de l'ADMEE-Europe, Université de Genève. [https://plone.unige.ch/sites/admee08/symposiums/j-s7/j-s7-2]

"Monitoring" scolaire au Luxembourg : testing assisté par ordinateur et reportage de résultats automatisé

Ulrich Keller et Monique Reichert, Université du Luxembourg

1. Introduction: Pourquoi le Luxembourg a-t-il besoin d’un système de « monitoring » scolaire?

Le système scolaire luxembourgeois est confronté à un degré d'hétérogénéité exceptionnellement important parmi ses élèves:

-      Le Luxembourg est très hétérogène du point de vue des langues : les trois langues nationales (luxembourgeois, français, et allemand) sont enseignées et employées dans l'enseignement, et les élèves sont censés les maîtriser en plus d'une voire de plusieurs langues étrangères.

-      Le pourcentage d’allophones est parmi les plus hauts en Europe. En 2007, 42% des résidents étaient de nationalité non-luxembourgeoise (estimation; Statec, 2007). Beaucoup de ces résidents sont d’origine de pays dans lesquels aucune des langues nationales du Luxembourg n'est parlée (comme par exemple du Portugal ou d'Italie).

-      Tandis qu’en moyenne le Luxembourg est un pays très riche, il y a un pourcentage relativement important de familles à statut socio-économique peu élevé (Ministère de l'Éducation nationale & Université du Luxembourg, 2007).

 

Lors des dernières décennies, un certain nombre d'études nationales et internationales ont montré que le système scolaire luxembourgeois a des difficultés à gérer cette hétérogénéité, reproduisant des inégalités sociales plutôt que de les diminuer (p. ex. Bamberg, M., Dickes, P. & Schaber, G., 1977 ; Kerger, L. & Schrobildgen, M., 1985). À titre indicatif, lors du PISA 2006, la moyenne nationale du Luxembourg était significativement inférieure à la moyenne de l’OCDE dans tous les domaines testés. Plus précisément, les données issues des épreuves en compréhension de l’écrit, en culture mathématique et scientifique nous montrent que le résultat d'un élève dépend largement de son milieu socio-économique. L'analyse de régression multiple révèle que le résultat moyen sur l’échelle de culture scientifique de PISA est de 134 points supérieur pour un élève socio-économiquement avantagé par rapport à celui d’un élève désavantagé. En assumant un gain moyen de 38 points par année scolaire, ceci implique un écart de plus de 3 ans et demi.

 

La recherche et l’analyse de pistes et de solutions permettant de prévenir et de remédier aux difficultés nous semble donc d’une grande nécessité. En raison de la situation plutôt unique au Luxembourg, il n’existe évidemment pas de solution « plug-in » aux problèmes du système scolaire. Cependant, il semble prometteur d’utiliser l'expertise et l'expérience existantes dans les écoles afin de développer, implémenter et évaluer de nouvelles manières de gérer l'hétérogénéité.

 

Toutefois, l'organisation centraliste du système scolaire empêche actuellement encore en grande partie la mise en pratique de telles réflexions. Une réglementation des méthodes d'enseignement et des programmes d'études relativement stricte rend difficile le développement de différents profils d'école. Nous pouvons de nouveau illustrer ceci en utilisant les résultats du PISA 2006: ainsi, 98,3% de la variance entre écoles sur l'échelle de culture scientifique est expliquée par des variables d’arrière-fond des élèves (p.ex. la constellation des élèves d’une école en fonction du sexe, de la nationalité, etc.), uniquement 1,7% pourraient potentiellement être attribués aux différences entre écoles dans leurs stratégies d'enseignement.

 

Actuellement, il existe un nombre restreint de projets qui implémentent de nouvelles formes d'enseignement et d'organisation. Cependant, on accordera désormais une plus grande autonomie à toutes les écoles dans le but de stimuler de nouvelles approches de gestion de l'hétérogénéité. En d'autres termes, le Luxembourg se trouve face à un changement du système scolaire piloté par « l’input » vers un système scolaire piloté par « l’output ».

 

Un pilotage par « l’output » nécessite évidemment la conception de mesures valides et fiables pour les domaines de développement d'intérêt, qui devront inclure non seulement les compétences et les connaissances des élèves, mais s’étendre à d'autres indicateurs tels que la motivation, les stratégies d'apprentissage ou les compétences sociales.

 

Cependant, alors que le développement de mesures est certainement crucial pour établir un système de « monitoring » scolaire, de bons tests tout seuls ne seront suffisants afin d'assurer un monitoring de qualité. Les tests devront être administrés à un grand nombre d’élèves de manière efficace, les données devront être traitées et évaluées à temps, et peut-être primordialement, les résultats des analyses devront être diffusés et présentés sous une forme compréhensible aux personnes concernées: les personnes responsables dans les écoles, les décisionnaires et autres.

 

Cette présentation décrira quelques-unes des approches employées lors de l'administration de tests, de l'analyse et de la présentation et diffusion des résultats dans le contexte du système de « monitoring » scolaire luxembourgeois et présentera quelques-uns des outils utilisés. Il convient de noter que bien que le terrain scolaire luxembourgeois soit plutôt de taille réduite, les approches présentées se laissent très bien ajuster à des scénarios avec un nombre plus élevé d'écoles.

2. Vue d'ensemble du projet de « monitoring » scolaire luxembourgeois

Au début de l'année scolaire 2005/2006 l'Université du Luxembourg, en collaboration avec le Ministère de l'éducation nationale et de la formation professionnelle a initié un projet national de « monitoring » scolaire. Les quelques premières « vagues » visent principalement à établir et à examiner l'infrastructure technique et organisationnelle, à développer des tests et des stratégies d'analyse de données ainsi qu’à examiner différentes possibilités de présentation des résultats.

 

Le projet de « monitoring » cherche à fournir aux écoles des informations qui les aident à améliorer leur pratique éducative, plutôt que de constituer un moyen de contrôle externe. Dans cette optique, il est réalisé en étroite collaboration avec les écoles. Cette collaboration comprend le développement d'items aussi bien que l'élaboration de rapports de « feedback » qui présentent des informations utiles d'une manière compréhensible, ainsi que l’assistance lors de différents aspects d'organisation des tests.

Les sujets sont des élèves de l'enseignement primaire (3ème et 6ème année d’études) et du cycle inférieur de l’enseignement secondaire (9ème année d’études) qui complètent des tests cognitifs (pour l'instant en français, allemand, et en mathématiques) ainsi que des questionnaires mesurant les attitudes envers l'école, la motivation d'apprentissage, leur auto-évaluation académique et d'autres aspects non-cognitifs. Nous recueillons des données longitudinales auprès de cohortes complètes qui sont testées au début respectivement à la fin de l’année scolaire. Pour de prochaines « vagues » nous planifions d’élargir la portée de l'évaluation pour inclure, par exemple, la production de textes et les stratégies d'apprentissage.

2.1 Testing assisté par ordinateur

Tous les tests cognitifs sont réalisés en utilisant le système de testing en ligne « open source » TAO (testing assisté par ordinateur ; Martin et al. 2004), conjointement développé par l'Université du Luxembourg et le Centre de Recherche Publique Henri Tudor. Les tests sont complètement basés sur le web, sans qu’aucune installation locale de logiciel ne soit nécessaire, à l’exception d’un navigateur web à jour. Les élèves reçoivent un nom d’utilisateur et un mot de passe individuels, assurant que les résultats des tests cognitifs peuvent être associés aux informations d’arrière-fond et aux questionnaires de motivation.

 

TAO permet le développement de modèles d’items pour des types d’items très différents. À coté d’items à choix multiples standards, des questions ouvertes, des C-tests (p. ex. Klein-Braley & Raatz, 1984) et d'autres modèles d’items y ont été développés. À l'avenir, des exercices de résolution des problèmes plus complexes pourront être administrés en utilisant cette plateforme. La figure suivante est une capture d’écran d'un C-test tel qu’il est affiché par TAO.

                                              

 

Toutes les données sont automatiquement téléchargées vers les serveurs où elles sont presque immédiatement prêtes pour l'analyse. À coté des réponses des sujets, des données comportementales sont enregistrées qui peuvent fournir des informations diagnostiques supplémentaires. Par exemple, dans le cas des C-tests, nous avons évalué le degré auquel les résultats dépendent de la vitesse de frappe des élèves. Comme le montre la figure ci-dessous, il n'y a aucune relation.

                              

 

2.2 Enregistrement et analyse de données

Le système de statistique « open source » R (R Development Core Team, 2007) fournit un environnement idéal pour l'enregistrement et l’analyse des résultats de TAO étant donné qu’il sait traiter des structures de données d'une complexité beaucoup plus importante – p. ex. des structures qui résultent de l'enregistrement de données comportementales – que le format rectangulaire standard de variables-par-cas que les paquets statistiques traditionnels peuvent manipuler. La figure suivante montre une représentation simplifiée des données enregistrées pendant une session de C-tests. Les données sont hiérarchiques en elles-mêmes, ce qui est facilement représentable dans R.

                                   

 

R a des facilités permettant d’extraire des informations de structures complexes, telles que la mesure de vitesse de frappe. En outre, étant de facto le logiciel standard parmi les statisticiens, il offre accès à des méthodes statistiques non encore implémentées dans d’autres logiciels.

2.3 Présentation et diffusion de résultats automatisées

Le public cible des résultats, présentés et diffusés sous forme de rapports, sont principalement les enseignants, ainsi que les décisionnaires au niveau politique et scolaire, pour lesquels on ne peut pas supposer qu’ils soient familiers avec des méthodes statistiques et des moyens de présentation qu’on trouve habituellement dans des rapports scientifiques. Nous avons donc essayé de développer des figures qui présentent l'information essentielle d'une manière facilement compréhensible mais qui pourtant restent statistiquement irrécusables. La figure suivante (issue du rapport national PISA 2006, dont le même format est employé dans les rapports du « monitoring ») emploie des tailles d'effet pour montrer des différences de groupe pour des variables qui n'ont pas de métrique compréhensible pour le lecteur lambda. Afin d’aider le lecteur lors de l'interprétation de la figure, de diverses nuances grises ont été utilisées pour indiquer l'importance d'effets selon la convention statistique. Des fonctions qui produisent des figures comme celle-ci peuvent facilement être implémentées dans R.

                                        

 

Un projet de recherche est actuellement en préparation à l'Université du Luxembourg qui examinera davantage la compréhension de graphiques statistiques par le lecteur lambda. Toute information présentée dans les figures est en général aussi incluse dans les rapports sous forme de texte. Même avec un système scolaire à taille réduite que celui du Luxembourg, écrire un rapport comprenant des figures faites sur mesure et accompagnées de texte pour chaque école (ou même, comme prévu, pour chaque classe) constitue une tâche assez absorbante. Afin de surmonter ce problème, nous avons utilisé les facilités de génération de rapports de R en combinaison avec le système de « typesetting » LaTeX pour produire des rapports individuels pour toutes les écoles. Dans ces rapports, toutes les figures et une grande partie du texte sont générées automatiquement à partir des données. La figure suivante est une illustration simple (mais fonctionnelle) de ce processus utilisant l’outil Sweave : à droite, on voit un document PDF qui a été généré à partir du code à gauche. À gauche, le code LaTeX (pour le texte fixe et le formatage) est noir, le code R (pour les calculs, la génération de figures et de texte non-fixe) est vert, et le code R reliant les différents éléments est rouge.

                               

                    

3. Perspectives

Les outils présentés nécessitent un certain degré de programmation. Cependant, il faut noter que l'intégration de ces outils dans un système beaucoup plus convivial et facile à utiliser vient de commencer. Dans un proche avenir, TAO sera capable de manipuler une grande partie du travail lié à la génération de rapports. Nous planifions de développer des modèles qui faciliteront considérablement la présentation et la diffusion des résultats sous forme de rapports. D'ailleurs, sur la base de R, TAO présentera un portail interactif où les enseignants et les directeurs d’écoles pourront explorer de façon interactive les résultats de leur classe ou de leur école, produisant des graphiques et des tableaux simultanément après quelques clics.

Références

Bamberg, M., Dickes, P., & Schaber, G. (1977). Etude MAGRIP. Premier Rapport de Synthèse. Walferdange: Institut pédagogique.

Klein-Braley, C. & Raatz, U. (1984). A survey of research on the C-Test. Language Testing, 1, 134-146.

Kerger, L., & Schrobildgen, M. (1985). Le niveau scolaire atteint: determinants et conséquences sociales. Nancy: Université de Nancy.

Martin, R., Busana, G., Latour T., & Vandenabeele, L. (2004). A distributed architecture for internet-based computer-assisted testing. Oral presentation at the EDMEDIA 2004. World Conference on Educational Multimedia, Hypermedia & Telecommunications at the University of Lugano, June 21-26 2004. Lugano, Suisse

Ministère de l'Éducation nationale & Université du Luxembourg. (2007). PISA 2006. Rapport national Luxembourg. Luxembourg: Ministère de l'Éducation nationale.

STATEC. (2007). Le Luxembourg en chiffres. Luxembourg: STATEC.

R Development Core Team (2007). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienne, Autriche.