Outils personnels
Navigation
« Juin 2022 »
Juin
LuMaMeJeVeSaDi
12345
6789101112
13141516171819
20212223242526
27282930
 
Actions sur le document

Quelles données pour le pilotage du système d'éducation?

Résumé: À première vue, les résultats d’élèves à des épreuves standardisées qui sont sous la responsabilité d’un Ministère de l’éducation apparaissent comme des données plus qu’intéressantes pour documenter la performance des élèves ou l’état général du système d’éducation. Cependant, l’enthousiasme à cet égard doit bien souvent être tempéré car les objectifs et le contexte de la récolte des données déterminent étroitement l’usage qui peut en être fait. En d’autres mots, les mêmes données ne peuvent pas, la plupart du temps, servir plusieurs maîtres (c.-à-d., objectifs). Une bonne connaissance du mécanisme de production des données est incontournable pour bien comprendre les limites et la validité des inférences pouvant être faites. Ainsi, à la lumière d’une expérience récente d’accès et d’utilisation de données en provenance du Ministère de l’éducation des loisirs et du sport du Québec, nous abordons dans cette présentation plusieurs éléments à mettre en perspective lorsque les résultats des élèves à des épreuves standardisées sont utilisés à des fins de pilotage. La présentation explore, d’une part, le mécanisme de production des données dans ce contexte et, d’autre part, différents niveaux de finesse du grain des données dans la perspective de leur utilisation pour des fins de comparaisons.

Mention complète de la source: Blais, J.-G., (2008), Quelles données pour le pilotage du système d'éducation? Actes du 20e colloque de l'ADMEE-Europe, Université de Genève. [https://plone.unige.ch/sites/admee08/symposiums/j-s7/j-s7-1]

Quelles données pour le pilotage du système d'éducation?

Jean-Guy Blais, Université de Montréal

          1. Introduction[1]

À première vue, les résultats d’élèves à des épreuves standardisées qui sont sous la responsabilité d’un Ministère de l’éducation apparaissent comme des données plus qu’intéressantes pour documenter la performance des élèves ou l’état général du système d’éducation. Cependant, l’enthousiasme à cet égard doit bien souvent être tempéré car les objectifs et le contexte de la récolte des données déterminent étroitement l’usage qui peut en être fait. En d’autres mots, les mêmes données ne peuvent pas, la plupart du temps, servir plusieurs maîtres (i.e. objectifs). Une bonne connaissance du mécanisme de production des données est incontournable pour bien comprendre les limites et la validité des inférences pouvant être faites.

 

Ainsi, à la lumière d’une expérience de quelques années d’accès à des données en provenance du Ministère de l’éducation des loisirs et du sport du Québec, nous abordons dans cette présentation certains éléments à mettre en perspective lorsqu’on désire utiliser les résultats des élèves à des épreuves standardisées à des fins de pilotage. La présentation explore, d’une part, le mécanisme de production des données dans ce contexte et, d’autre part, différents niveaux de finesse du grain des données dans la perspective de leur utilisation pour des fins de comparaison.

          2. Le contexte

Un observateur attentif de la scène de l’éducation aura noté une recrudescence internationale des préoccupations associées à l’éducation et ceci pas uniquement dans les sociétés dites développées. Des opérations d’évaluation et de réforme du système éducatif sont mises en place et les opérations d’évaluation à grande échelle augmentent en nombre et en importance. On constate que ces préoccupations envers l’éducation entraînent aussi une utilisation croissante des procédures de vérification des connaissances ou des compétences censées être acquises ou développées à différentes étapes de la scolarisation obligatoire. Les deux sont en effet intimement reliés, car sans données pertinentes et valides il est difficile de piloter le système et de rectifier le tir le cas échéant. Les budgets dévolus à ces activités augmentent également. À cet égard, on peut même faire une analogie avec le système de contrôle de qualité dans l’industrie où lorsque la production s’intensifie et qu’elle devient critique pour la croissance et le développement, le processus de surveillance s’accroît et devient intimement tributaire d’une prise de mesure intensive et répétée, laquelle doit son efficacité à la standardisation de ses opérations. Il y a ainsi un investissement financier à planifier lorsqu’on prévoit adopter une perspective où les outils de contrôle se multiplient. La situation n’est pas différente en éducation. Cependant, dans un climat qui favorise la multiplication des opérations de récolte de données, on peut se demander sous quelles conditions les données récoltées sont pertinentes pour les inférences recherchées et pour un pilotage adéquat du système d’éducation.

          3. La provenance des données

Les données qui servent d’appui au propos de cette présentation proviennent de l’opération réelle d’évaluation des apprentissages en français écrit par des élèves de la cinquième année du secondaire des écoles du Québec.  L’accès à ces données est possible du fait de la participation de l’auteur à une recherche en collaboration avec la Direction de l’évaluation du ministère de l’Éducation du Québec. L’épreuve d’écriture a lieu systématiquement chaque année depuis 1994; elle est obligatoire; il s’agit d’un exemple type d’une épreuve uniforme servant pour une situation d’évaluation dite «authentique» et la correction de l’épreuve est centralisée sous la responsabilité du MELS. En fait, des trois composantes entrant dans la compilation de la note «finale» en français (écriture, lecture et oral) des élèves de la 5e année du secondaire, l’épreuve d’écriture du MELS est la seule composante à laquelle on peut attribuer l’étiquette d’épreuve « standardisée ». Il est pertinent de rappeler certains traits distinctifs de cette épreuve et de la grille d’évaluation appliquée à compter de 2002.

-      L’accent est mis sur la défense d’une position (texte  argumentatif et thèse) dans le but de convaincre un destinataire; ainsi l’élève ne se limitera pas à l’expression d’une opinion, mais devra défendre une position dans le contexte d’une situation de communication;

-      Une importance accrue est accordée à la situation de communication: l’élève doit démontrer qu’il est capable d’adapter ses propos à un destinataire donné (ex. : une figure d’autorité, un spécialiste ou un non-spécialiste, un responsable, etc.) et selon une intention spécifique;

-      La cohérence textuelle fait l’objet d’une évaluation dans laquelle sont pris en compte la pertinence, la non-contradiction ainsi que des éléments assurant la progression et la continuité de l’argumentation (grammaire du texte);

-      Une importance accrue est accordée à la syntaxe (grammaire de la phrase) : la pondération de ce critère traduit cette préoccupation.

La correction de l’épreuve unique d’écriture est effectuée par une équipe de correcteurs supervisés par la Direction de la sanction des études du Ministère. Plus de 120 correcteurs, répartis dans deux centres (un à Québec, un à Montréal), effectuent la correction de toutes les copies des élèves de la province, ce qui correspond à plus de 50 000 textes annuellement. Chaque texte est apprécié par un seul correcteur. Plusieurs mesures sont mises en place pour assurer la fidélité de la correction : formation, corrections collectives (un même texte est corrigé par tous les correcteurs), supervision, etc. Comme outils, les correcteurs se réfèrent à la grille d’évaluation qui accompagne l’épreuve ainsi qu’à un guide de correction qui décrit les procédures et les modalités de la correction centralisée.

 

Les variables qui seront utilisées sont l’année de passation de l’épreuve, différents taux de réussite, le nombre d’erreurs d’orthographe, le nombre d’erreurs de syntaxe, le nombre de mots, le rapport nombre de mots/nombre d’erreurs. Les résultats des analyses sont présentés sous une forme graphique illustrant la perspective transversale.

          4. L’analyse des données

4.1 Le taux de réussite en français 2001-2006

Les résultats en français sont constitués de trois volets : le volet écriture (50%), comprenant lui-même la note à l’épreuve d’écriture (25%) et la note école modérée[2] (25%), le volet lecture (40%) et le volet communication orale (10%). En examinant la figure 1 (les figures sont présentées en annexe), on peut constater que si on exclut l’année 2003 les taux de réussite sont relativement stables de 2001 à 2006. La baisse des résultats constatée de 2001 à 2003 était prévisible puisque l’adaptation du milieu scolaire à de nouveaux critères demande en général quelques années (connaissance des nouvelles exigences par les élèves et les enseignants, formation sur le programme mis en place, etc.). Les résultats plus faibles de 2003 coïncident avec l’application de nouvelles conditions de réussite en français et avec la présence d’un thème qui s’est révélé plus complexe que prévu pour les élèves. Comme le résultat en français intègre des données qui proviennent de situations non-standardisées où la correction est sous la responsabilité de l’école (la lecture et l’oral), le taux de réussite en français renferme des informations dont la validité n’est pas éprouvée et se prête difficilement à une comparaison que l’on voudrait objective et stable. Qu’en est-il si on concentre notre attention uniquement sur le volet écriture ?

4.2 Le taux de réussite en écriture 2002-2006

La note au volet écriture résulte de la combinaison de la note obtenue à l’épreuve ministérielle et de la note, après modération, fournie par l’école et ceci, en principe, dans une proportion égale. La figure 2 illustre que les variations du taux de réussite au volet écriture suivent d’année en année des fluctuations que l’on peut associer à des éléments contextuels : difficulté de l’épreuve, modifications apportées à l’épreuve, différence entre les cohortes d’élèves, etc. Cependant, les taux de réussite en écriture varient principalement en fonction de ceux obtenus à l’épreuve unique d’écriture. En effet, il y a peu de variations annuelles dans les taux de réussite observés à partir de la note brute fournie par l’école dans l’établissement de la note de l’élève en écriture. Afin de combiner des résultats provenant de l’école à ceux de l’épreuve ministérielle, le Ministère a recours à une modération des notes et la figure 3 présente les taux de réussite en écriture d’après la note brute fournie par l’école (avant modération) et la note école modérée. En examinant la figure et en la comparant avec la figure 4, on constate que les taux de réussite avant modération sont très stables et qu’après la modération les taux suivent la même tendance que les taux découlant de l’épreuve ministérielle. Pour comparer les résultats, il semble donc plus approprié de poursuivre en disséquant les résultats à l’épreuve en fonction de ses composantes et de ses critères de correction.

4.3 Les résultats à l’épreuve

Les analyses suivantes portent sur les années 2004 à 2006, car c’est à partir de juin 2004 que la grille d’évaluation et le guide de correction ont été stabilisés. Durant les deux premières années d’application de la nouvelle épreuve de 5e secondaire (2002 et 2003), des ajustements ont dû être apportés aux différents instruments afin d’en faciliter l’utilisation par les correcteurs. La grille de correction qui accompagne l’épreuve est présentée dans un document mis à la disposition des enseignants sur le site du MELS du Québec[3]. La pondération des critères de cette grille a été établie au moyen d’une consultation d’experts qui ont participé aux travaux d’élaboration de l’instrument. Cette pondération est présentée dans le Tableau 1 de l’annexe. On y observe la présence de deux composantes, la Cohérence de l’argumentation et le Respect du code, qui sont pondérés à hauteur de 50% chacun. Il semble donc pertinent et prometteur d’examiner les résultats en fonction des taux de réussite à ces deux dimensions et c’est ce qui est présenté à la figure 5 de l’annexe.

 

Pour les trois années présentées, soit 2004-2005-2006, on constate que le taux de succès pour la composante Cohérence de l’argumentation est très élevé, autour de 98%, alors qu’il est beaucoup plus faible pour la composante Respect du code linguistique. La première composante est donc très peu discriminante et pourrait difficilement servir de balise pour identifier les points sur lesquels l’enseignement pourrait s’attarder car la presque totalité des textes corrigés est considérée comme adéquate par rapport aux exigences. Dans l’ensemble, les élèves répondent ainsi amplement aux exigences ministérielles si on se réfère à celles définies dans le programme d’études et dans la grille de correction.

 

Le portrait est tout autre pour la deuxième composante avec des taux de succès oscillant entre 58%, 65% et 53% pour les trois années. Pour l’année 2005, près des deux tiers des élèves atteignent un niveau acceptable, alors qu’en 2006, ce n’est qu’un peu plus de la moitié des élèves qui y parviennent. Alors que dans l’ensemble les élèves répondent aux attentes ministérielles en ce qui a trait à la compétence à argumenter, ils sont loin de répondre à celles-ci par rapport au respect du code linguistique. Il semble donc tout à fait pertinent de poursuivre l’étude dans cette direction.

 

Le tableau 1 indique que la composante Cohérence de l’argumentation repose sur trois critères (pertinence organisation et continuité), et que la composante Respect du code repose également sur trois critères (le vocabulaire, la syntaxe et l’orthographe). La figure 6 présente les taux de réussite pour les six critères de correction.  Pour les trois premiers critères, qui font partie de la première composante, les taux de réussite sont presque tous supérieurs à 95% et frôle parfois le 100%, ce qui renforce le constat que cette composante s’avère très peu discriminante. Pour les trois critères reliés au code la situation est différente. Pour le critère 4, celui du vocabulaire, les élèves satisfont aux exigences ministérielles. Il faut préciser que le Cahier de préparation fourni à l’élève contribue à l’utilisation d’un vocabulaire approprié parce qu’il est constitué de textes traitant du sujet abordé dans l’épreuve. L’appréciation de ce critère, qui ne correspond qu’à 5% de la note, se limite à prendre en compte les erreurs de vocabulaire commises par l’élève. Pour le critère 5 (syntaxe et ponctuation), on note que près des trois quarts des élèves satisfont aux exigences ministérielles et ce pour les trois années examinées. En ce qui a trait au critère 6 (orthographe), on constate qu’environ la moitié des élèves seulement obtiennent la note de passage à ce critère.

 

Étant donné qu’on retrouve uniquement deux critères qui discriminent un tant soit peu, il semble pertinent encore une fois de pousser l’investigation et d’étudier les résultats en fonction de ces deux critères. Le nombre d’erreurs relevé dans les textes des élèves en syntaxe et en orthographe mérite ainsi une attention particulière compte tenu qu’il est directement lié au taux de réussite de chacun de ces critères et, par conséquent, de la composante Respect du code linguistique.

 

Les tableaux 2 et 3 présentent les distributions du nombre d’erreurs de syntaxe et du nombre d’erreur d’orthographe après un regroupement en catégories pour faciliter la présentation. Les textes de 2005 comportent moins d’erreurs de syntaxe et de ponctuation. Ce qui est cohérent avec les résultats obtenus cette même année pour les autres critères. En 2006, on constate que la proportion de textes ayant obtenu la cote E a augmenté par rapport aux années précédentes, alors que la proportion de cotes A a légèrement diminué. Environ la moitié des textes ont reçu au moins la cote B, c’est-à-dire qu’on y a relevé moins de 10 erreurs de syntaxe et de ponctuation. Les textes de 2005 comportent moins d’erreurs d’orthographe. Ce qui est cohérent avec les autres résultats obtenus cette même année pour les autres critères. La répartition pour les années 2004 et 2006 est relativement comparable, sauf pour ce qui est de la zone d’échec où l’on observe pour l’année 2006, un plus grand nombre de textes ayant obtenu la cote E. Environ le tiers des textes ont reçu au moins la cote B, c’est-à-dire qu’on y a relevé moins de 10 erreurs d’orthographe.

 

Lors de la modification de la grille de correction en vue de l’épreuve de 2002, les critères 5 et 6, syntaxe et orthographe, sont demeurés intacts de sorte qu’il est possible de les étudier en fonction d’une fourchette temporelle plus large. La figure 7 présente ainsi l’évolution du nombre d’erreurs moyens pour ces deux critères pour les années 1994-2006. Les élèves font de moins en moins d’erreurs en syntaxe et de plus en plus d’erreurs en orthographe. En syntaxe, alors qu’ils faisaient en moyenne 12,4 erreurs en 1994, ils en font 10,9 en 2006. En orthographe, alors qu’ils faisaient en moyenne 13,5 erreurs en 1994, ils en font 14,9 en 2006. Toutefois, le nombre d’erreurs commises étant fonction de la longueur du texte produit, il est normal que plus un texte est long plus la possibilité d’erreurs augmente. Il est donc nécessaire d’examiner les variations en ce qui a trait à la longueur des textes au cours des années. La figure 7 présente la longueur moyenne en nombre de mots rapportés par les élèves de 1994 à 2006. Ces données proviennent d’environ 70% des textes des élèves, proportion pour laquelle une information sur le nombre de mots était disponible. Dans les figures suivantes, les moyennes sont accompagnées des médianes, car ces dernières évitent de tenir compte des extrêmes. Il apparaît évident que les élèves produisent des textes de plus en plus longs. Alors qu’en 1994, les élèves rédigeaient en moyenne des textes de 475 mots, ils en produisent de 558 mots en moyenne en 2006. À compter de 2002, on note que la longueur moyenne augmente de façon importante et soutenue. Cela correspond au moment où l’on a présenté aux élèves un seul sujet documenté dans un Cahier de préparation plus substantiel. De plus, l’application d’une tâche d’écriture qui s’inscrit dans un contexte réel de communication (présence d’un véritable destinataire à convaincre, d’une intention de communication, etc.) pourrait également avoir eu des effets sur la longueur des textes.

 

Compte tenu du fait que la longueur moyenne des textes des élèves de 5e secondaire a augmenté de façon significative, il devient nécessaire d’ajuster le nombre des erreurs en fonction de la longueur pour poursuivre l’analyse et la réflexion sur les critères de syntaxe et d’orthographe. Les figures 9 et 10 présentent un rapport[4] d’erreur moyen qui tient compte de la longueur. À l’inverse des figures précédentes, plus les courbes sont croissantes plus l’élève écrit de mots sans faire d’erreurs. Par exemple, en se basant sur la figure 9, on note qu’en 2006, les élèves faisaient en moyenne une erreur de syntaxe tous les 82 mots. En orthographe, alors que les élèves faisaient en moyenne une erreur à tous les 67 mots en 1994, ils en font en moyenne une à tous les 66 mots en 2006.  En se basant sur les données présentées, il semble donc, à première vue et  malgré les fluctuations observées de 1994 à 2006, qu’un observateur pourrait conclure que les élèves de 5e secondaire n’auraient fait ni progrès ni régressions significatives en orthographe durant cette période !

          5. Conclusion

Le résultat qui est considéré au départ est un résultat qui apparaît au bulletin de l’élève sous la forme d’une note globale en français pour les élèves de la cinquième année du secondaire. Ce résultat provient de la pondération de trois dimensions de l’apprentissage de la langue : la lecture, l’écriture et l’oral.  Toutefois, les données les plus fiables pour le pilotage du système proviennent essentiellement du volet écriture. La note attribuée pour le volet écriture est composée à part égale d’une note en provenance de l’école et de la note obtenue à l’épreuve unique. La moyenne des notes provenant de l’école semble être beaucoup plus stable que la moyenne des notes à l’épreuve. Elle ne reflète que peu ou pas les différences qu’il pourrait y avoir d’une cohorte à l’autre, comme si les enseignants avaient intégrés des balises implicites qui guident l’attribution des notes aux élèves (effet Posthumus). De plus, étant donné que chaque enseignant peut avoir ses propres balises quant la correction des travaux de ses élèves, il est difficile de comparer des résultats qui proviennent d’une opération non standardisée. Ces considérations amènent à cibler uniquement les résultats à l’épreuve comme données valides pour le pilotage. Ces résultats sont disponibles pour deux composantes et six critères. Encore une fois cependant, il est possible de constater que certains résultats ne peuvent pas fournir beaucoup d’informations en ce qui concerne les différences observées d’une année à l’autre par exemple. En effet, les taux de réussite pour les trois critères relevant de la Cohérence de l’argumentation sont systématiquement très élevés et il en est de même pour un des critères de la composante Respect du code. En bout de piste, il reste deux critères où les résultats semblent afficher suffisamment de variations pour permettre l’étude des différences et faire des comparaisons. Les deux critères les plus discriminants sont en lien direct avec la longueur des textes et il convient probablement de pondérer le nombre d’erreurs en fonction du nombre de mots dans le texte. La nouvelle «mesure» est peu commune et pose un problème de compréhension et donc de communication. De plus, le nombre de mots n’est pas toujours indiqué sur la copie de l’élève. Finalement, l’opération de correction contribue également à embrouiller encore plus le portrait. L’accord entre les correcteurs n’est pas étudié systématiquement, même s’il n’y a qu’une seule correction par copie et que tous les critères sont appréciés les uns à la suite des autres par le même correcteur. Les correcteurs ne comptabilisent pas toutes les erreurs de syntaxe et d’orthographe car un élève se voit automatiquement attribuer la note zéro pour ces critères s’il a fait plus de 19 erreurs. La correction ne fait pas la distinction entre les erreurs selon leur fréquence ou leur gravité.

 

L’objectif de l’épreuve n’est pas de permettre un pilotage serré du programme d’apprentissage du français écrit. Son objectif est de participer à la certification de la compétence en français des élèves du secondaire. On aimerait bien dans certains milieux que les résultats à l’épreuve puissent informer sur la qualité des écoles, sur les prestations et compétences des enseignants. Mais ce n’est pas là le rôle conçu au départ pour l’épreuve et vouloir lui faire jouer un rôle pour lequel elle n’a pas été conçue peut s’avérer hasardeux et coûteux en termes de ressources, pour des retombées somme toutes minimes.  Les données récoltées dans cette opération peuvent donc difficilement servir à la fois de mesure pour la certification, pour le pilotage et pour le diagnostic.

Annexe

 

 

 

 

 

 

  

 

Tableau 1. Pondération des critères de la grille d’évaluation (à partir de 2002)

I –

Cohérence de l’argumentation

:

50%

 

1) Pertinence, clarté et précision de l’argumentation

:

20%

 

2) Organisation stratégique de l’argumentation

:

20%

 

3) Continuité et progression de l’argumentation

:

10%

II –

Respect du code linguistique

:

50%

 

4) Utilisation des mots

:

5%

 

5) Construction des phrases et ponctuation

:

25%

 

6) Orthographe

:

20%

 

 

   

 

Tableau 2. Distribution des cotes attribuées au critère 5, Syntaxe et ponctuation

Critère 5

Syntaxe et ponctuation

A

4 erreurs ou moins

B

5 à 9 erreurs

C

10 à 14 erreurs

D

15 à 17 erreurs

E

18 erreurs et plus

2004

15,7

34,3

26,3

10,0

13,7

2005

18,3

36,4

24,9

8,1

12,3

2006

14,8

34,2

25,6

9,2

16,3

 

 

Tableau 3. Répartition des cotes attribuées au critère 6, Orthographe

Critère 6

Orthographe

A

4 erreurs ou moins

B

5 à 9 erreurs

C

10 à 14 erreurs

D

15 à 18 erreurs

E

19 erreurs et plus

2004

12,3

20,7

19,2

12,6

35,2

2005

13,9

23,9

20,5

12,0

29,8

2006

10,8

19,3

18,3

11,9

39,6

 

 

 

 

 

 

 

 

 



[1] Les travaux à l’origine de cette présentation ont été menés avec en collaboration avec Michel Laurier et Jean-Pierre Lalande de l’Université de Montréal et Linda Drouin du ministère de l’Éducation des loisirs et des sports du Québec.

 

[2] La modération consiste à ramener les notes en écriture fournies par les écoles sur une même échelle basée sur les résultats à l’épreuve ministérielle. Cette procédure est décrite de façon plus détaillée dans le Guide de gestion de la sanction des études secondaires en formation générale des jeunes, édition 2006, p.51.

[3] On peut consulter le document intitulé Grille d’évaluation de la compétence à écrire - Texte argumentatif 2003 sur le site du Ministère (www.mels.gouv.qc.ca/DGFJ/de/docinfosec.htm) dans la section Documents d’information sur les épreuves.

[4] Ce rapport est obtenu par le nombre de mots divisé par le nombre d’erreurs.

[5] L’expression « Taux de réussite » signifie l’obtention d’au moins 60% des points attribués. Seuls les taux de réussite en français réfèrent réellement à une véritable réussite dans la discipline qui est objet de sanction.