Outils personnels
Vous êtes ici : Accueil Symposiums Usage et légitimité des démarches instrumentées en évaluation des apprentissages: véritables instruments de pilotage ? Évaluation diagnostique par la grille de codification à deux chiffres des items de mathématique dans l’enquête du PISA 2003
Navigation
« Juin 2022 »
Juin
LuMaMeJeVeSaDi
12345
6789101112
13141516171819
20212223242526
27282930
 
Actions sur le document

Évaluation diagnostique par la grille de codification à deux chiffres des items de mathématique dans l’enquête du PISA 2003

Résumé: Les résultats tirés du Programme de suivi des acquis des élèves (PISA) sont le plus fréquemment utilisés pour dresser un palmarès des pays en fonction de la performance moyenne des élèves ou pour comparer l’incidence de variables contextuelles sur le niveau de réussite des élèves. En général, l’utilité de ces résultats pour l’enseignement est plutôt limitée, soulevant des questions de la part des milieux pratiques. Il est toutefois possible de tirer profit des informations disponibles dans la base de données du PISA pour identifier des cibles d’intervention dans la salle de classe. En effet, certains problèmes de mathématique et de science à réponse construite sont codifiés avec un nombre à deux chiffres. Le premier chiffre est utilisé pour identifier le nombre de points attribués pour la réponse de l’élève et le deuxième chiffre représentait la stratégie de réponse ou le type d’erreur que constitue le raisonnement écrit de l’élève. La présentation s’intéresse particulièrement aux problèmes de mathématique administrés lors du cycle de 2003. Il sera démontré, à partir des résultats pour les élèves canadiens, comment il est possible de poser un diagnostic plus approfondi sur les forces et les faiblesses des élèves en mathématique.

Mention complète de la source: Rousseau, M., (2008), Évaluation diagnostique par la grille de codification à deux chiffres des items de mathématique dans l’enquête du PISA 2003. Actes du 20e colloque de l'ADMEE-Europe, Université de Genève. [https://plone.unige.ch/sites/admee08/symposiums/j-s7/j-s7-3]

Évaluation diagnostique par la grille de codification à deux chiffres des items de mathématique dans l’enquête du PISA 2003

Michel Rousseau, Université du Québec à Rimouski

          1. Introduction

Le Programme international de suivi des acquis (PISA) des élèves est mené par l’Organisation de la coopération et du développement économique (OCDE). Le but de ce programme est de fournir des informations riches aux pays participants pour permettre l’amélioration des systèmes éducatifs et un plus grand développement du capital humain des élèves. Le PISA procède tous les trois ans à une évaluation des élèves de 15 ans dans trois grands domaines soit, la compréhension en lecture, la culture mathématique et la culture scientifique.

 

Les résultats qui peuvent être tirés du PISA présentent une grande richesse d’information autant pour la recherche que pour la pratique. Cependant, les principaux résultats présentés dans les médias se limitent à un classement des pays en fonction de la performance moyenne de leurs élèves. Une telle utilisation soulève régulièrement des doutes sur la réelle utilité de ce genre d’enquête. Pourtant, un certain nombre de rapports d’analyse secondaire sont réalisés à partir des données du PISA.

 

Certains aspects du PISA sont peu connus et ainsi peu explorés. C’est le cas de la codification à l’aide d’un nombre à deux chiffres de certaines questions à réponses construites. Pour ce type de question, le premier chiffre représente le nombre de crédits, ou de points, accordés à la réponse de l’élève et le deuxième chiffre représente la stratégie de réponse ou le type d’erreur que l’élève a fait. Un certain nombre de questions de culture mathématique présentaient cette particularité de correction, par exemple la question suivante :

                                         

Pour cette question, un élève pouvait recevoir jusqu’à deux crédits bien que plusieurs types de justification peuvent être utilisés. Dans la grille de correction du PISA, un élève pouvait obtenir les deux crédits s’il affirmait que l’interprétation du journaliste n’est pas correcte et s’il utilisait une des trois justifications suivantes : 1) une partie limitée du graphique est présentée, 2) le pourcentage d’accroissement est faible et, 3) il faut avoir plus de deux points dans le temps pour juger d’une tendance. Un élève recevait un crédit sur deux s’il affirmait que l’interprétation du journaliste n’est pas correcte, mais qu’il faisait les deux types d’erreurs suivants : 1) l’explication donnée est insuffisamment détaillée ou 2) l’élève fait une erreur de calcul. Enfin, l’élève ne recevait aucun crédit pour les raisons suivantes : 1) il affirme que l’interprétation du journaliste n’est pas correcte, mais sans explication, 2) il se fit uniquement à l’aspect graphique du diagramme, 3) il affirme que l’interprétation du journaliste est correcte sans fournir de raison précise et, 4) toute autre réponse.

 

L’intérêt porté à l’analyse de la codification à deux chiffres pour certains items de mathématique du PISA permet de mieux refléter le niveau de processus de mathématisation des élèves, notamment de vérifier jusqu’à quel point ceux-ci sont en mesure de traduire un problème de la situation réelle en langage mathématique, permettant ainsi de procéder à une évaluation diagnostique plus en profondeur de la performance en mathématique des élèves d’un système éducatif.

 

Une recension des recherches traitant de l’analyse des items codifiés à deux chiffres a révélé que, jusqu’à maintenant, aucune étude ne semble avoir été entreprise sur le traitement des informations fournies par ce type de codification. Pourtant, comme le dénote un rapport norvégien portant sur les résultats du cycle 2000 du PISA (Turmo, 2003), l’utilisation des items codifiés à deux chiffres peut être utile pour procéder à des diagnostics de comparaisons entre pays. De plus, la préoccupation de l’utilisation de ce type d’items, pour identifier des différences entre les sexes, ressort d’un rapport de préparation au cycle 2006 de PISA (OCDE, 2005).

 

Une des raisons qui peuvent être évoquées au peu d’intérêt porté à ce type d’item est leur nombre relativement restreint. Une minorité d’items de mathématique du cycle 2003 sont codifiés à deux chiffres. Cependant, tel que le souligne Turmo (2003), les réponses des élèves à un seul de ces items peuvent constituer des informations de très haute qualité et utiles pour les éducateurs; pour fournir des informations sur le plan pratique. Par ailleurs, les comparaisons entre des pays, au niveau des réponses à un item, peuvent procurer des renseignements sur les différences ou ressemblances culturelles.

          2. Objectifs

Dans cette optique, une étude canadienne a été réalisée à partir des informations tirées de ces items codifiés à deux chiffres. L’objectif était d’identifier les forces et les faiblesses des élèves canadiens en mathématique et de procéder à des comparaisons par province, par sexe et par langue.

          3. Méthodologie

3.1 Base de données

Les données utilisées dans la présente étude sont tirées de la base de données de l’enquête PISA 2003. Au Canada, 27953 élèves de 15 ans ont participé à cette étude. Parmi les dix provinces canadiennes, cinq provinces se sont assurées d’avoir un échantillon d’élèves anglophones et francophones. Il s’agit de la Nouvelle-Écosse, du Nouveau-Brunswick, du Québec, de l’Ontario et du Manitoba. Pour les cinq autres provinces, l’échantillon est aussi constitué d’élèves anglophones et francophones mais ces provinces ne se sont pas assurés de la représentativité de leur échantillon d’élèves francophones des questionnaires. Le tableau suivant présente le nombre d’élèves faisant partie de l’échantillon pour chaque province et selon la langue de l’élève.

 

En ce qui a trait à la répartition du sexe des élèves, l’échantillon canadien compte pratiquement autant de filles (50,5 %) que de garçons (49,5 %). Cette répartition est pratiquement équivalente pour chacune des provinces canadiennes.

 

Tableau 1 - Répartition des élèves canadiens en fonction de la langue d’échantillonnage

Province

Langue

Nombre d’élèves dans l’échantillon

Terre-Neuve-Labrador

Anglophone et francophone

2 317

Ile-du-Prince-Édouard

Anglophone et francophone

1 653

Nouvelle-Écosse

Anglophone

2 691

 

Francophone

180

Nouveau-Brunswick

Anglophone

2 619

 

Francophone

1 162

Québec

Anglophone

1 226

 

Francophone

2 151

Ontario

Anglophone

2 427

 

Francophone

942

Manitoba

Anglophone

2 580

 

Francophone

218

Saskatchewan

Anglophone et francophone

2 363

Alberta

Anglophone et francophone

2 458

Colombie-Britannique

Anglophone et francophone

2 967

Canada

Anglophone

23 300

 

Francophone

4 653

 

3.2 Items de mathématique

Les items de mathématique, utilisés dans le cadre du PISA 2003, présentent de multiples formats de réponse; choix multiple, choix multiple complexe, réponse construite fermée, réponse construite ouverte et réponse courte. Alors que plusieurs items n’étaient codés que de manière dichotomique, bonne ou mauvaise réponse, certains items qui demandaient une réponse plus détaillée permettaient d’allouer des crédits partiels à des élèves ayant solutionné une partie du problème, mais n’obtenant pas la bonne réponse. Certains de ces items à crédit partiel ont été codés à l’aide de deux chiffres. Le premier chiffre indiquant le nombre de crédit alloué pour la réponse de l’élève et le deuxième désignant l’interprétation du type d’erreur ou de la stratégie utilisée par l’élève pour répondre à l’item.

 

L’interprétation des items codés à deux chiffres permet d’explorer le processus de mathématisation des élèves canadiens. Étant donné que, pour bien comprendre les sources de problèmes de mathématisation de ces élèves, il importe de connaître le contenu même des items qui ont servi à l’évaluation, l’analyse porte sur les items rendus publics suite au cycle 2003 du PISA. Un total de 31 items de mathématiques ont été rendus publics par l’OCDE. Parmi tous ces items, 6 étaient codés à deux chiffres. Puisque ces différents items codés à deux chiffres partageaient une même unité avec d’autres items, nous avons utilisé pour les analyses tous les items faisant partie d’une même unité. Les items suivants ont été utilisés pour les analyses :

 

Tableau 2 - Items du PISA 2003 utilisés pour l’analyse

Code de l’item

Nom de l’unité

Format de l’item

Nombre de crédit

M124Q01

Marche à pied

Réponse construite ouverte

2

M124Q03

Marche à pied

Réponse construite ouverte

3

M150Q01

Croissance

Choix multiple complexe

1

M150Q02

Croissance

Réponse construite ouverte

2

M150Q03

Croissance

Réponse construite ouverte

1

M179Q01

Cambriolage

Réponse construite ouverte

2

M413Q01

Taux de change

Réponse courte

1

M413Q02

Taux de change

Réponse courte

1

M413Q03

Taux de change

Réponse construite ouverte

1

M520Q01

Planche à roulettes

Réponse courte

2

M520Q02

Planche à roulettes

Choix multiple

1

M520Q03

Planche à roulettes

Réponse courte

1

*Les items en gras sont codés à deux chiffres

 

3.3 Analyse des items

L’analyse des items a été effectuée en deux temps. Pour la première étape de l’analyse, des didacticiens des mathématiques ont posé un regard sur les différents items pour identifier les défis posés par chacun des items. Cette analyse a été faite de manière qualitative. Par la suite, une analyse descriptive des résultats est effectuée. Les statistiques descriptives visent à comparer les distributions de fréquence des différents codes à deux chiffres en fonction de la province, du sexe ainsi que de la langue des élèves. Les résultats des deux analyses sont ensuite mis en commun dans l’interprétation des résultats.

          4. Résultats

Les résultats de quatre questions (m124q03, m150q02, m150q03 et m179q01) sont présentés dans cette section. Lors de l’analyse des données, il est apparu que la codification à deux chiffres des deux autres unités d’analyse (M413 et M520) est insuffisamment développée pour fournir des indices utiles sur les forces et faiblesses des élèves. De plus, les résultats présentés illustrent les plus importants constats qui ont ressortis lors de l’analyse, des résultats plus détaillés sont disponibles dans un rapport publié par le Conseil des ministres de l’éducation du Canada. Étant donné la taille importante de l’échantillon, les résultats sont interprétés en fonction de différence pratique et non statistique, le test de chi-carré était trop influencé par la taille de l’échantillon.

4.1 Item m124q03

Pour l’unité 124, une image qui illustre la distance entre des pas est montrée aux élèves. La formule pour les hommes n/p = 140 qui donne le rapport approximatif entre n (le nombre de pas par minute) et p (la longueur de pas en mètres) est aussi présentée. Pour l’item m124q03,  l’élève doit calculer la vitesse à laquelle marche Bernard, dont la longueur de pas est de ,80, en mètres par minute et en kilomètres par heure. L’élève doit laisser une trace de sa démarche. Le code 31 (crédit complet) est accordé aux élèves qui donnent la réponse exacte ou arrondi en mètres par minute et en kilomètre par heure. Les deux crédits partiels sont donnés aux élèves pour quatre raisons : code 21) Oublie de convertir le pas par minute en mètres par minute, code 22) la vitesse en mètre par minute est correcte mais la conversion en kilomètre par heure est incorrecte ou omise, 23) méthodes de conversion correcte mais erreur de calcul et 24) fournis seulement la réponse en kilomètre par heure. Pour le code 11, les élèves l’obtiennent si l’élève ne fait que multiplier 140 par 0,80. Enfin, toutes autres réponse se voit attribuer le code 00 (erreur complète).

 

L’item m124q03 semble plutôt difficile puisque seulement 8,9 % des élèves canadiens présentent les crédits complets pour cet item (code 31) et que 12,5 % ont obtenu 2 crédits partiels (code 21 à 24). Un peu plus que 40 % (41,2 %) des élèves ont obtenu un seul crédit partiel (code 11) et plus du tiers des élèves (37,4 %) ont complètement échoué cette question. C’est donc dire qu’au Canade, la majorité des élève n’ont fait que multiplier les valeurs 140 et 0,80 ou fait autre chose sans procéder à la bonne démarche.

 

Tableau 3 - Résultats des élèves à l’item m124q03 selon la province

 

Codes de réponses

(Pourcentage)

 

00

11

21

22

23

24

31

Terre-Neuve/Labrador

40,4

40,9

8,0

3,0

0,4

0,0

7,2

Ile-Prince-Edouard

49,4

38,4

4,3

2,7

0,3

0,3

4,6

Nouvelle-Écosse

46,8

37,0

5,8

3,6

0,6

0,4

5,8

Nouveau-Brunswick

42,1

42,1

5,3

3,2

0,4

0,0

7,0

Québec

30,6

38,3

8,6

5,3

0,9

0,6

15,7

Ontario

38,1

41,5

8,6

3,7

0,4

0,3

7,6

Manitoba

31,5

45,3

10,3

5,0

0,8

0,3

7,0

Saskatchewan

44,8

36,5

8,2

3,9

0,2

0,5

5,9

Alberta

29,9

45,6

6,4

4,0

0,6

0,5

13,0

Colombie-Britannique

31,5

43,7

8,6

4,1

0,7

0,8

10,6

Canada

37,4

41,2

7,6

4,0

0,5

0,4

8,9

 

Le taux d’échec varient entre 49,4 % (IPE) et 29,9 % (AL). Un groupe de quatre provinces (AL, QC, CB, et MN) présentent les taux d’échecs les plus faibles. Les proportions des différentes provinces sont toutefois plus semblables lorsque l’obtention d’un crédit partiel est considérée. Ces proportions varient entre 36,5 % (SK) et 45,6 % (AL). Les taux d’obtention des crédits complets sont nettement supérieurs pour le Québec (15,8 %), l’Alberta (13,0 %) et la Colombie-Britannique (10,6 %).

 

Au sujet des résultats en fonction du sexe de l’élève, alors que des proportions semblables sont observées au niveau de l’échec et de l’obtention de deux crédits partiels, le taux d’obtention des crédits complets est supérieur pour les garçons. À l’inverse, une plus grande proportion de filles obtiennent un seul crédit partiel pour cet item.

 

Tableau 4 - Résultats des élèves à l’item m124q03 selon le sexe

 

Code de réponse

(Pourcentage)

 

00

11

21

22

23

24

31

Filles

37,1

46,0

7,0

3,4

0,5

0,1

5,8

Garçons

37,3

36,0

8,3

4,6

0,6

0,7

12,6

 

Pour ce qui est des deux groupes linguistiques, peu de différences ont été observé et elles ne sont pas rapportées dans le présent texte.

4.2 Item m150q02

L’unité 150 présente un graphique illustrant la relation entre l’âge et la taille moyenne de jeunes filles et de jeunes garçons hollandais. Pour la question m150q02, il est demandé aux élèves de dire pendant quelle période de leur vie les jeunes filles sont elles, en moyenne, plus grande que les jeunes garçons du même âge. Les crédits complets est accordé à deux types de réponses : code 21) si l’élève donne la bonne réponse (entre 11 et 13 ans) et code 22) la valeur de l’intervalle est donné selon un langage courant (à 11 ans et à 12 ans). Le crédit partiel est accordé si l’élève donne un autre ensemble d’âge (11, 12, 13) non inclus dans le crédit complet. Toute autre réponse se voit accordé aucun crédit.

 

Pour l’item m150q02, plus de la moitié (56,1 %) des élèves canadiens ont réussi à obtenir les crédits complets (code 21 et 22) et 35,9 % le crédit partiel (code 11). Seulement 8 % des élèves ont complètement échoué cette question. Parmi les différentes provinces, le taux d’échec varie entre 5,5 % (AL) et 9,8 % (NB). L’obtention du code 22 est très faible et ce peu importe la province. La majorité des élèves ayant réussi à fournir l’intervalle d’âge adéquat soit entre 11 et 13 ans.

 

Tableau 5 - Résultats des élèves à l’item m150q02 selon la province

 

Code de réponse

(Pourcentage)

 

00

11

21

22

Terre-Neuve/Labrador

5,9

35,5

55,3

3,3

Ile-Prince-Edouard

9,7

42,0

45,6

2,7

Nouvelle-Écosse

9,2

37,1

50,5

3,2

Nouveau-Brunswick

9,8

38,0

50,5

1,8

Québec

9,8

28,8

59,4

2,0

Ontario

7,2

35,5

55,0

2,4

Manitoba

9,0

33,2

54,2

3,7

Saskatchewan

7,8

43,8

44,5

4,0

Alberta

5,5

35,5

55,6

3,4

Colombie-Britannique

5,7

33,8

57,0

3,4

Canada

8,0

35,9

53,2

2,9

 

Pour ce qui est des différences selon le sexe et la langue, nous observons des profils relativement similaires en fonction de ces deux critères.

4.3 Item m150q03

Cet item fait référence au même diagramme que pour la question précédente. La tâche demandée est toutefois bien différente. En effet, les élèves doivent expliquée en quoi le graphique montre qu’en moyenne la croissance des filles est plus lente après 12 ans. Le crédit complet était accordé pour trois types de réponse soit : code 11) l’élève fait référence à l’atténuation de la pente de la courbe à partir de 12 ans, en utilisant des expressions de la vie courante et non un langage mathématique, code 12) l’élève fait référence à l’atténuation de la pente en utilisant un langage mathématique et code 13) l’élève compare le taux de croissance des filles à celui des garçons. Les mauvaises réponses était séparées en deux catégories soit : code 01) l’élève indique que la taille des filles tombe en dessous de la taille des garçons et code 02) autres réponses incorrectes.

 

Pour cette question, plus des deux tiers (66,9 %) des élèves obtiennent le crédit complet. Parmi les trois code de bonne réponse, 49,3 % des élèves canadiens ont obtenu le code 11 et 14,7 % le code 12. Le taux d’échec au Québec (code 01 et 02) est supérieur à celui des autres provinces. Ce taux varie entre 44,9 % (QC) et 23,4 % (TNL). Pour les deux codes représentant un échec, le code 02 est plus important, et ce, pour toutes les provinces.

 

Tableau 6 - Résultats des élèves à l’item m150q03 selon la province

 

Code de réponse

(Pourcentage)

 

01

02

11

12

13

Terre-Neuve/Labrador

4,6

20,9

52,0

21,2

1,4

Ile-Prince-Edouard

4,3

29,8

53,2

9,3

3,3

Nouvelle-Écosse

4,7

26,9

51,0

14,9

2,5

Nouveau-Brunswick

6,4

33,6

44,0

12,8

3,3

Québec

7,1

37,8

39,3

12,2

3,6

Ontario

5,2

25,0

45,9

22,4

1,4

Manitoba

3,6

24,7

52,8

17,1

1,9

Saskatchewan

3,1

32,6

52,0

8,2

4,0

Alberta

3,5

26,5

54,7

11,9

3,4

Colombie-Britannique

3,1

23,4

55,1

13,8

4,6

Canada

4,7

28,4

49,3

14,7

2,9

 

Au niveau du sexe de l’élève, peu de différences sont observées entre les proportions pour les filles et celles pour les garçons. Pour ce qui est des différences entre les deux groupes linguistiques, nous notons une proportion plus importante d’élèves francophones qui échouent cette question. En effet, 56,2 % des francophones présentent un code 01 ou 02 par rapport à 28,8% pour les élèves anglophones.

 

Tableau 7 - Résultats des élèves à l’item m150q03 selon la langue

 

Code de réponse

(Pourcentage)

 

01

02

11

12

13

Anglais

3,8

25,0

52,3

15,9

3,0

Français

9,6

46,6

33,3

8,0

2,6

 

4.4 Item m179q01

Pour cet item, un diagramme à barres qui illustre le nombre de cambriolage en 1998 et 1999 est montré aux élèves. De plus, une affirmation d’un journaliste est aussi présentée soit : Ce graphique montre qu’il y a eu une très forte augmentation du nombre de cambriolage entre 1998 et 1999. La question posée aux élèves est la suivante : Considérez-vous que l’affirmation du journaliste est une interprétation correcte de ce graphique? L’élève doit aussi justifier sa réponse par une explication. Les crédits complets (2 crédits) sont accordés pour trois types de réponse soit : code 21) l’élève met l’accent sur le fait que seulement une partie du graphique est présenté, code 22) l’élève utilise un rapport ou un pourcentage d’accroissement et code 23) l’élève indique qu’il faut avoir plus de deux points dans le temps pour dégager une tendance. Le crédit partiel est accordé pour deux types de réponse : code 11) la réponse de l’élève contient une explication insuffisamment détaillée et code 12) l’élève calcule un rapport ou un pourcentage d’accroissement mais fait des erreurs de calculs. L’erreur complète est séparée en quatre catégories soit : code 01) l’élève donne la bonne réponse sans explication, code 02) l’élève donne la mauvaise réponse en se basant sur l’aspect visuel du graphique, code 03) l’élève donne la mauvaise réponse sans explication et code 04) toute autre réponse.

 

Au Canada, 39,5 % des élèves ont complètement échoué (Code 01, 02, 03 et 04) cette question. Parmi tous les différents codes relatifs à l’échec, le code 03 obtient la proportion de réponses la plus élevée, soit 23,1 % de l’ensemble des réponses. Pour ce qui est du crédit partiel (Code 11 et 12), 39 % des élèves font partie de cette catégorie, la grande majorité ayant obtenu le code 11. Enfin, en ce qui concerne les crédits complets (Code 21, 22 et 23), 21,6 % des élèves ont réussi cet item. Parmi les différents codes relatifs aux crédits complets, 15,6 % de l’ensemble des élèves présentent le code 21. Il est à remarquer qu’au Québec, une proportion plus élevée d’élève ont utilisé un rapport ou un pourcentage d’accroissement comme explication.

 

Tableau 8 - Résultats des élèves à l’item m179q01 selon la province

 

Code de réponse

(Pourcentage)

 

01

02

03

04

11

12

21

22

23

Terre-Neuve/Labrador

7,0

3,0

24,6

4,0

39,8

0,2

16,0

4,0

1,3

Ile-du-Prince-Édouard

10,7

2,0

27,5

5,2

39,6

0,9

11,2

2,7

0,2

Nouvelle-Écosse

7,8

3,5

22,3

4,9

40,5

0,9

15,0

3,9

1,3

Nouveau-Brunswick

8,8

3,9

27,1

4,9

39,7

0,5

10,2

3,5

1,5

Québec

10,1

3,8

23,4

3,0

35,4

0,4

11,7

10,7

1,4

Ontario

9,2

5,2

21,1

4,2

37,3

0,4

17,0

4,4

1,3

Manitoba

10,3

2,1

17,9

5,3

34,4

0,4

24,2

4,4

1,0

Saskatchewan

9,2

2,1

24,0

4,3

41,0

0,3

15,5

3,3

0,4

Alberta

9,1

2,7

21,7

3,4

36,1

0,4

20,7

4,9

1,0

Colombie-Britannique

7,8

1,9

22,9

3,4

42,4

0,4

15,2

4,7

1,4

Canada

9,0

3,2

23,1

4,2

38,5

0,5

15,6

4,8

1,2

 

Très peu de différences sont observées entre la distribution des proportions selon le sexe de l’élève. Pour ce qui est de la langue de l’élève, les élèves francophones échouent cet item dans une plus grande proportion, soit 50,9 % par rapport à 37,2 % pour les anglophones. Une proportion supérieure d’élèves anglophones (40,7 %) obtiennent un crédit partiel par rapport à 30,2 % pour les francophones. Toutefois, en ce qui concerne l’obtention des crédits complets (Code 21, 22 et 23) les résultats des deux groupes linguistiques sont semblables.

 

Tableau 9 - Résultats des élèves à l’item m179q01 selon la langue

 

Code de réponse

(Pourcentage)

 

01

02

03

04

11

12

21

22

23

Anglais

8,3

2,6

22,3

4,0

40,2

0,5

16,7

4,3

1,1

Français

12,2

5,9

27,5

5,3

30,0

0,2

9,9

7,8

1,3

 

          5. Discussion

L’analyse des résultats aura permis de faire ressortir différents constats concernant les forces et les faiblesses des élèves canadiens. Notamment, il appert que pour les items étudiés les élèves ont moins souvent recours à un langage mathématique pour fournir leur réponse. En effet, pour les items m150q03 et m179q01 la grande majorité des élèves ont utilisé un langage de la vie courante plutôt qu’un langage mathématique dans leurs explications. Il faut cependant que les questions soumises n’étaient pas explicites sur le type de réponse demandée à l’élève. Ces derniers n’ont peut-être pas perçu ces problèmes comme mathématiques et n’ont alors pas vu la nécessité d’utiliser un langage mathématique pour communiquer leurs explications. Il semble bien que, devant ce type de problème, les élèves aient plutôt tendance à utiliser un langage de la vie courante et non un langage mathématique. Il se dégage de ce constat que l’utilisation par l’élève d’un langage mathématique dans la réponse à un problème requiert que ce langage soit explicitement demandé et nécessaire. Dans le cas contraire, les élèves n’auraient pas nécessairement recours à une démarche mathématique. Ainsi, une attention particulière devrait être portée au développement d’habiletés permettant de dégager la structure mathématique d’une situation de la vie courante, de construire un modèle mathématique approprié, d’analyser ce modèle et de fournir une réponse à l’aide d’un langage mathématique adéquat.

 

La dominance de certaines provinces en terme de réussite des items tandis que d’autres provinces éprouvent plus de difficulté est aussi ressorti comme constat. Certaines pistes de réflexions pouvant expliquer cette situation ont été identifiés soit : 1) le niveau socio-économique, 2) l’importance accordée aux mathématiques dans l’allocation des ressources, 3) la place des mathématiques dans la culture provinciale, 4) les différences dans les approches pédagogiques, 5) les impacts de la recherche.

 

Enfin, un dernier constat se rapporte à la langue des élèves. Il apparaît que les francophones obtiennent de moins bons résultats pour les questions exigeant une explication textuelle. De plus, ces différences ne peuvent être directement reliées à la question minoritaire puisque, même au Québec, les élèves francophones présentent un niveau de réussite inférieur à celui des élèves anglophones. Cette constatation soulève des questions quant aux différences existant entre les anglophones et les francophones. Les différences dans les réponses textuelles sont-elles être de nature culturelle?

 

Certaines limites à l’utilisation de ces données ont été identifiées. Premièrement, les grilles utilisées, étant développées pour être appliquées à un échantillon mondial, peuvent ne pas être adéquates pour l’échantillon d’élèves canadiens. Sur ce point, il apparaît souvent lors de l’analyse des résultats que même si plusieurs codes sont prévus pour un même nombre de crédit, bien souvent les élèves obtiennent en grande majorité le même code. C’est le cas par exemple pour l’item m179q01. Bien que deux codes soit prévus pour le crédit partiel, la vaste majorité des élèves qui ont obtenu un crédit partiel se sont vu attribué le code 11. Deuxièmement, seulement six questions ont été utilisées pour les analyses. Le nombre d’items codifiés à deux chiffres est relativement restreint dans toute la banque de donnée mais en plus, un nombre limité d’items sont rendues publiques. Le portrait brossé est très limité par rapport à l’ensemble de l’information potentiellement disponible.

 

Une alternative intéressante pour explorer plus en détail les forces et les faiblesses en mathématique des élèves serait d’avoir accès directement à une certaine proportion des copies des élèves. Le travail de codification pourrait alors être effectué par une équipe de chercheurs et la richesse d’information obtenue pourrait alors être plus intéressante. Cette opération a été effectuée au Danemark avec les données du PISA 2003. Enfin, les réponses alternatives des items à choix multiples peuvent aussi fournir des informations utiles pour développer une plus grande rétroaction vers les systèmes éducatifs.

 

Au niveau de la salle de classe, le recours à ce type de grille d’évaluation permet de fournir une information plus intéressante à l’élève et à l’enseignant que le simple nombre de points obtenus pour une réponse. Pour l’enseignant, ces grilles permettent de dresser des profils de forces et de faiblesses des élèves de la classe, de plus, la correction peut ainsi être réalisée de manière autonome par l’élève lui-même. Pour l’élève, en plus de fournir une rétroaction rapide sur leurs réponses, ces grilles fournissent des exemples de stratégies de réponses auxquelles l’élève n’a peut-être pas pensées, lui donnant des pistes de réflexion supplémentaires pour la résolution de problèmes mathématique.

          Références

Organisation pour la coopération et le développement économique (OCDE) (2005). Questionnaire framework for PISA 2006, Paris, OCDE.

Turmo, A. (2003). Understanding a newsletter article on ozone: a cross-national comparison of the scientific literacy of 15-years-olds in a specific context. Paper presented at the 4th ESERA conference; August, Noordwijkerhout, Netherlands.