Outils personnels
Vous êtes ici : Accueil Communications individuelles Evaluations externes Performance dans les différents niveaux éducatifs : Complémentarités ou tensions ?
Navigation
« Novembre 2022 »
Novembre
LuMaMeJeVeSaDi
123456
78910111213
14151617181920
21222324252627
282930
 
Actions sur le document

Performance dans les différents niveaux éducatifs : Complémentarités ou tensions ?

Résumé: Cette contribution a pour objectif de mesurer le niveau de performance des systèmes éducatifs des pays développés aux différents niveaux existants (primaire, secondaire et supérieur). En utilisant les enquêtes internationales sur les acquis des élèves ainsi que la classification des universités selon l’université Joao Tong de Shanghai, le projet de notre contribution est d’avoir des indicateurs de performance à chacun des niveaux pour environ 30 pays développés. Ainsi, à l’issue du classement des pays, il sera question de voir dans quelle mesure il y a complémentarité ou tensions dans la performance des systèmes éducatifs entre les différents niveaux. La haute qualité du système éducatif à un niveau est-elle toujours synonyme de la performance à un autre niveau ? Peut-on observer des stratégies de préférence pour un niveau au détriment d’un autre ?

Mention complète de la source: Altinok, N., (2008), Performance dans les différents niveaux éducatifs : Complémentarités ou tensions ? Actes du 20e colloque de l'ADMEE-Europe, Université de Genève. [https://plone.unige.ch/sites/admee08/communications-individuelles/j-a3/j-a3-1]

Performance dans les différents niveaux éducatifs : Complémentarités ou tensions ?

Nadir Altinok, Institut de recherche en éducation, Centre national de recherche scientifique, Université de Bourgogne

1.       Introduction

Dans la plupart des pays, les systèmes éducatifs sont actuellement engagés dans une recherche de "qualité" et d’"efficacité". Celles-ci renvoient le plus souvent aux résultats des élèves dans des tests standardisés. Ces comparaisons internationales ont été utilisées pour légitimer des recommandations sur l’état des systèmes nationaux d’éducation.

 

Parler de la qualité de l’éducation implique de réfléchir à la définition de qualité. De nombreux chercheurs ont tenté de définir le concept de qualité de l’éducation. La définition la plus classique est celle que donne Coombs (1985) quand il souligne :

La dimension qualitative signifie bien davantage que la qualité de l’éducation telle qu’elle est habituellement définie et jugée par la performance des élèves en termes traditionnels de programmes et de normes. La qualité (…) dépend également de la pertinence de ce qui est enseigné et appris – comment ceci répond aux besoins actuels et futurs des apprenants concernés, compte tenu de leurs circonstances et perspectives particulières. Elle fait également référence aux changements significatifs apportés au système éducatif lui-même, à la nature de ses apports (étudiants, enseignants, infrastructures, équipement et matériel) ; ses objectifs, les technologies éducatives et de programmes ; et son environnement socio-économique, culturel et politique. (Coombs, 1985, p. 105)

 

Dans son rapport "Priorités et stratégies pour l’éducation" (1995), la Banque mondiale a émis les observations suivantes au sujet de la qualité de l’éducation :

La qualité dans l’éducation est aussi difficile à définir qu’à mesurer. Une définition adéquate doit inclure les résultats des élèves. La plupart des éducateurs aimeraient aussi y inclure la nature de l’expérience éducative aidant à produire de tels résultats – l’environnement de l’apprentissage. (World Bank, 1995, p. 46)

 

Ces deux définitions insistent particulièrement sur les résultats des élèves aux tests de performance. Cependant, elles soulignent également la nécessité de s’appuyer sur d’autres dimensions. L’idéal serait alors de construire des mesures multidimensionnelles de la qualité de l’éducation. Il reste néanmoins très difficile dans une perspective de comparaison internationale de prendre en compte toutes les dimensions de la qualité de l’éducation. Pour cette raison, nous supposerons qu’un système éducatif est de bonne qualité lorsque les élèves y étudiant ont des scores relativement élevés.

 

Tous les pays semblent concernés par cette problématique, qu’ils soient en développement ou à des niveaux plus développés. L’un des objectifs du Forum pour l’Education Mondiale (2002) concernait la qualité de l’éducation et ses membres ont pris la résolution d’"améliorer tous les aspects de la qualité de l’éducation et de garantir l’excellence pour tous à travers l’atteinte de résultats précis et mesurables" (EFA, 2002). Deux années auparavant, à Dakar, les organisations internationales ont décidé que l’objectif d’Education pour Tous, c’est-à-dire permettre que chaque enfant ait accès à une éducation primaire de qualité, soit effectif pour 2015. Parmi les 6 objectifs énumérés lors de cette conférence, le second concerne particulièrement la qualité de l’éducation. Les acteurs ont également plaidé pour l’amélioration de tous les aspects de la qualité de l’éducation en soulignant que les aspects les plus quantifiables de la qualité de l’éducation concernaient les compétences des élèves en lecture, mathématiques et sciences humaines.

 

L’engouement pour les résultats des élèves dans une perspective internationale s’est accru depuis le lancement de PISA en 2000 par l’OCDE. Le test PISA avait pour objectif de mesurer le niveau des compétences des élèves de 15 ans en mathématiques, sciences et lecture tous les 3 ans. Actuellement, depuis 2000 trois différents "rounds" ont été effectués, incluant toujours davantage de pays. Depuis PISA 2000, de nombreux pays ont conduit des analyses comparées entre les performances des élèves de leur nation et ceux des nations comparables.

 

Nous pouvons donc conclure à une généralisation des pratiques de mesure de l’efficacité des apprentissages des élèves dans une perspective internationale. Un inconvénient majeur relatif à ces enquêtes internationales relève de la difficile comparabilité entre elles. Effectivement, il serait intéressant de pouvoir comparer les résultats d’élèves de pays ayant participé à des enquêtes différentes. Par ailleurs, les enquêtes internationales sur les acquis des élèves concernent soit le niveau primaire soit le niveau secondaire. Il n’existe pas pour l’instant d’enquête sur la performance de l’enseignement supérieur. L’objectif de notre contribution est de tester dans quelle mesure les systèmes éducatifs sont performants. Plus précisément, nous proposons l’évaluation de la performance éducative entre les trois différents niveaux du système éducatif : les niveaux primaire, secondaire et supérieur. Existe-t-il des tensions entre la performance des différents niveaux éducatifs ? Un pays performant aux niveaux primaire et secondaire reste-t-il performant au niveau supérieur ? Existe-t-il des pays qui investissent davantage dans la qualité de leur système éducatif à un niveau, parfois au détriment d’autres niveaux éducatifs ? Nous pouvons par ailleurs nous demander dans quelle mesure les différences dans la qualité des systèmes éducatifs peuvent être expliquées par des politiques éducatives spécifiques ? Y a-t-il une relation évidente entre dépenses éducatives et performance d’un système éducatif à chaque niveau ?

 

Nous présenterons tout d’abord les enquêtes internationales pouvant être utilisées dans un cadre comparatif. Après avoir montré la méthodologie utilisée, une brève analyse comparative concernant exclusivement les pays de l’OCDE sera effectuée.

2.       Données utilisées

Une question importante renvoie à la nature de l’évaluation de la performance des systèmes éducatifs. Comment la mesurer ? Plusieurs approches sont possibles. Par exemple, l’espérance d’années de scolarisation peut être utilisée. Ainsi, les pays où les populations adultes sont en moyenne les plus éduquées seront vus comme ayant des systèmes performants. Autre mesure de la performance scolaire, les résultats des élèves aux enquêtes internationales sur les acquis des élèves. Comme de nombreux pays ont participé aux enquêtes internationales, il est possible de regrouper les différentes enquêtes existantes afin d’obtenir des scores pour chaque niveau éducatif et chaque pays. Par conséquent, concernant les niveaux scolaires du primaire et du secondaire, les enquêtes internationales sur les acquis des élèves seront utilisées. Dans cette section, nous présentons tout d’abord les enquêtes internationales sur les acquis des élèves que nous pouvons utiliser pour mesurer la qualité de l’éducation. Nous décrivons 6 groupes d’enquêtes internationales qui concernent plus de 110 pays à travers le monde. Par ailleurs, une présentation des informations disponibles sur l’enseignement supérieur sera effectuée.

2.1           Les enquêtes internationales sur les acquis des élèves

Dans cette section, nous présentons les enquêtes internationales sur les acquis des élèves que nous pouvons utiliser pour mesurer la qualité de l’éducation, aux niveaux primaire et secondaire seulement. La première mesure des acquis, au niveau individuel et permettant une comparabilité internationale, a été initiée au début des années soixante par l’Association Internationale pour l’Evaluation du Rendement scolaire (IEA). L’IEA a réalisé plusieurs enquêtes pluriannuelles, et ce dans des domaines très variés : outre les mathématiques, les sciences et la lecture, des domaines d’étude tels que écoles pré-primaires (14 pays, 1988-95) ou encore l’informatique à l’école (20 pays, 1988-1992). Les enquêtes finalisées de l’IEA s’étendent de 1964 à 2006. Les célèbres études TIMSS (Trends in International Mathematics and Science Study) en mathématiques et en sciences et PIRLS (Progress in International Reading Literacy Study) en lecture font partie de cet organisme d’enquêtes. Dans notre étude, nous avons utilisé la quasi-totalité des enquêtes de l’IEA sur les trois domaines de compétence. Etant donné que, jusqu’au début des années 1990, seules les enquêtes de l’IEA concernent la dernière année du secondaire, les résultats relatifs à ces enquêtes n’ont pas été pris en compte. Les données entre 1964 et 1990 ont été recueillies dans Lee et Barro (2001) et les scores des autres années dans les rapports officiels (voir site internet de l’IEA pour les références exactes).

 

Basé sur l’expérience du National Assessment of Educational Progress (NAEP), l’International Assessment of Education Progress (IAEP) est une série de deux enquêtes qui a débuté en 1988. La méthodologie statistique et les procédures d’évaluation de l’IAEP sont basées sur celle du NAEP, qui est le principal instrument de mesure de la qualité de l’éducation aux Etats-Unis à partir de 1970. Par conséquent, l’enquête IAEP est fortement influencée par les curricula américains. La première enquête de l’IAEP a été effectuée en 1988 pour six pays, deux domaines de compétence (mathématiques et sciences) et pour les élèves âgés de 13 ans. La deuxième enquête de l’IEAP s’est déroulée en 1991 pour deux groupes d’âges, 9 et 13 ans, et ce pour 9 pays. De façon similaire aux enquêtes TIMSS, seules les mathématiques et les sciences étaient testées. Seules deux enquêtes ont eu lieu et depuis 1991, ces enquêtes ont été arrêtées. L’ensemble des résultats a été extrait de Lee et Barro (2001).

 

L’Organisation de coopération et de développement économique (OCDE) a débuté en 1998 un projet dans le domaine éducatif en lançant un programme cyclique sur la lecture, les mathématiques et les sciences, connu sous le nom de "Programme international pour le suivi des acquis des élèves" (soit en anglais PISA ou “Programme for International Student Assessment”). Le rapport du Programme international de l’OCDE pour le suivi des acquis des élèves présente des données comparables sur la mesure dans laquelle les élèves de 15 ans sont à même d’appliquer à des situations concrètes ce qu’ils ont appris à l’école. La première série de tests réalisés en 2000, centrée sur la maîtrise de la lecture, a porté sur plus de 300 000 élèves de l’enseignement secondaire dans 43 pays. Une deuxième série de tests, centrée sur les mathématiques et la résolution de problèmes, a été appliquée en 2003 à un nombre analogue d’élèves dans 41 pays. La récente enquête PISA 2006 a concerné 57 pays, ce qui marque un accroissement considérable du nombre de pays pour lesquels des données comparables sont disponibles. C’est sur cette série de tests que ce rapport est fondé. De 4 500 à 10 000 élèves ont participé à des tests écrits de deux heures dans chaque pays. Tous avaient 15 ans, âge auquel la plupart des adolescents, quelle que soit leur culture, s’interrogent sur les objectifs de l’enseignement qu’ils reçoivent et sur la façon dont il les prépare à l’avenir. On doit souligner ici une finalité de PISA qui diverge quelque peu des précédentes enquêtes ; il ne s’agit plus de tester l’effectivité de l’assimilation d’un programme scolaire ou du plus grand dénominateur commun de plusieurs programmes nationaux, mais plus de retenir la mesure d’une maîtrise de compétences nécessaires lors de l’âge adulte.

 

Les évaluations réalisées par le Laboratoire latino-américain pour l’évaluation de la qualité scolaire dans le cadre du programme PEIC, lancé sous l’égide de l’UNESCO, se sont intéressées aux acquisitions en lecture et mathématiques aux degrés 3 et 4 dans 13 pays du sous-continent. Ces enquêtes ont concerné plus de 50 000 enfants, soit au moins 100 classes par pays. Les pays participants sont l’Argentine, le Brésil, le Chili, la Colombie, le Costa Rica, Cuba, le Honduras, le Mexique, le Paraguay, le Pérou, la République dominicaine et le Venezuela. Une deuxième série de LLECE est actuellement en cours de traitement. A la différence de la première enquête, celle-ci inclut désormais les sciences comme domaine de compétence. Cependant, les données ne seront disponibles qu’à partir d’avril 2008.

 

Les enquêtes issues du "Programme d’Analyse des Systèmes Educatifs" (PASEC) de la Conférence des ministres de l’éducation ayant le français en partage (CONFEMEN) concernent les pays francophones d’Afrique subsaharienne. Cette base de données comprend les performances scolaires au primaire en mathématiques et en français, ainsi que des informations détaillées sur le contexte familial, social et scolaire de chaque élève. Au niveau du CP2 (deuxième classe du primaire) comme du CM1 (cinquième classe du primaire), entre 2 000 et 2 500 élèves dans une centaine d’écoles, ainsi que leurs professeurs et les directeurs, ont été questionnés dans chacun des onze pays (par ordre chronologique pour les enquêtes actuellement finalisées : Burkina Faso, Cameroun, Côte d’Ivoire, Madagascar, Sénégal, Mali, Niger, Togo, Tchad, Mauritanie, Bénin, Cameroun, Madagascar II, Gabon, Maurice). L’échantillon n’est pas strictement homogène puisque certaines strates ont été légèrement surreprésentées suivant les usages de la théorie des sondages. Les données constituent une base excellente pour une analyse des déterminants de la qualité de l’éducation au primaire. Le protocole de l’enquête présente la particularité de deux évaluations des acquis scolaires, l’une en début d’année, la seconde en fin d’année ; il s’agit à ce jour des seules enquêtes internationales menées en termes de "valeur ajoutée".

 

Les enquêtes issues du Consortium de l’Afrique australe et orientale pour le pilotage de la qualité de l’éducation (SACMEQ) concernent quant à elles surtout les pays anglophones d’Afrique subsaharienne. Le SACMEQ comprend 15 pays d’Afrique (Afrique du Sud, Botswana, Kenya, Lesotho, Malawi, Maurice, Mozambique, Namibie, Ouganda, Seychelles, Swaziland, Tanzanie (continentale), Tanzanie (Zanzibar), Zambie et Zimbabwe). Jusqu’à aujourd’hui, cette enquête s’est déroulée sur deux périodes : en 1999, l’étude SACMEQ I a concerné 7 pays et il a été testé les compétences en lecture et écriture des élèves de sixième année du niveau primaire. Chaque pays a publié une monographie sur les résultats trouvés. Puis, SACMEQ II a été lancé dans la période 1999-2002, où le projet a été élargi aux mathématiques, les techniques d’échantillonnage ont été nettement améliorées et au total 14 pays y ont participé. Actuellement, l’enquête SACMEQ III est en cours de traitement. A la différence de SACMEQ II, cette nouvelle enquête prend en compte le domaine des sciences en plus des mathématiques et de la lecture. Par ailleurs, il concerne les enfants de 11-12 ans, là où les deux précédentes études visaient les enfants de 9-10 ans. Ces enquêtes, issues des travaux de l’IEA, ont adopté une approche imbriquée des comparaisons internationales et nationales et ont établi des normes pour la recherche relative aux grandes enquêtes sur l’éducation dans les pays en développement. A l’exemple de TIMSS, les enquêtes SACMEQ apportent des estimations sur les scores moyens nationaux aux épreuves, les tests sur l’échantillonnage (afin de vérifier la pertinence des différences entre pays et régions d’un même pays). Les données utilisées sont issues du site internet du SACMEQ (www.sacmeq.org). Dans le cadre d’un projet conjoint de l’UNESCO et de l’UNICEF, le programme MLA (Monitoring Learning Achievement) mène des études sur les acquis de l’apprentissage sur une vaste échelle géographique : ces études sont effectuées dans plus de quarante pays avec la volonté de transférer la capacité d’analyse au niveau national. Sur la base de données recueillies à la fin de l’enseignement primaire, en 6e année, les pays doivent être en mesure d’identifier les facteurs qui favorisent ou freinent les apprentissages à l’école primaire, d’analyser les problèmes, de formuler des adaptations des politiques éducatives et d’édicter de nouvelles pratiques afin d’améliorer la qualité de l’enseignement. Plus récent, le projet MLA II élargit les enquêtes au début du secondaire (degré 8). Par rapport aux enquêtes du PASEC et du SACMEQ, où les élèves sont testés uniquement sur des connaissances scolaires, le MLA porte également sur des questions de connaissances pratiques et de prévention. En complément aux rapports nationaux, un rapport séparé sur MLA I a été rédigé pour 11 pays d’Afrique (Botswana, Madagascar, Malawi, Mali, Maroc, Maurice, Niger, Sénégal, Tunisie, Ouganda, Zambie ; voir Chinapah et al., 2000). Dans notre analyse, faute de renseignements précis pour les enquêtes les plus récentes, nous n’avons pu utiliser que les résultats de l’enquête MLA I et ce pour 11 pays seulement. Ci-dessous, nous présentons la méthodologie utilisée.

2.2           Les classements internationaux des universités

Bien qu’il existe un nombre croissant d’évaluations du niveau des acquis des élèves dans les niveaux primaire et secondaire, il n’existe pour l’instant aucune étude de comparaison internationale sur les acquis des étudiants du niveau supérieur. L’OCDE a prévu une telle comparaison mais les premiers résultats ne seront disponibles que dans les années à venir, puisque le projet est pour l’instant à l’étape de la faisabilité.

 

Il apparaît pour autant important d’avoir des éléments de comparaison de la performance des systèmes d’enseignement supérieur. Deux grands classements des universités existent actuellement : le classement académique des universités mondiales de l’université Jiaotong de Shanghai (Shanghai Jiaotong Academic Ranking of World Universities) et le classement des universités mondiales du Times Higher-QS (Times QS World University Rankings). Ce type de classement n’est pas sans présenter des limites importantes sur la performance des universités. Il peut être intéressant d’utiliser ce type de classement afin d’obtenir des indicateurs de performance des pays dans le niveau supérieur.

 

Chaque système de classement utilise des groupes d’indicateurs et de métriques pondérés différents pour évaluer l’activité de l’enseignement supérieur. Nous utilisons le classement de l’Université de Shanghai car il apparaît le plus adéquat en ce qui concerne l’évaluation de l’enseignement supérieur. En raison du manque de données comparables concernant l’enseignement, l’apprentissage et les activités de service, les classements mondiaux se basent uniquement sur les données de la recherche et les comptes-rendus des pairs. Cet indicateur est composé de cinq critères recevant des pondérations différentes. Ces critères sont présentés dans le tableau ci-dessous.

 

Tableau 1 - Critères utilisés pour obtenir le classement des universités mondiales.

Critère

Indicateur

Code

Pondération

Qualité de l’éducation

Anciens étudiants d’une institution qui ont obtenu un prix Nobel ou une médaille Field

Alumni

10 %

Qualité du corps enseignant

Personnel d’une équipe d’enseignants ayant obtenu un prix Nobel ou une médaille Field

Award

20 %

Chercheurs les plus cités dans un classement selon 21 catégories

HiCi

20 %

Travaux de recherche

Articles publiés dans Nature et Science

N&S*

20 %

Articles indexés dans Science Citation Index-Expanded et Social Science Citation Index

SCI

20 %

Taille de l’institution

Performance académique en rapport à la taille de l’institution

Size

10 %

Total

 

 

100 %

* Pour les institutions spécialisées dans les domaines des sciences humaines et sciences sociales tels que la London School of Economics, le score N&S n’est pas pris en compte et sa pondération est réallouée dans les autres indicateurs.

 

A partir de ces critères ainsi que des pondérations respectives, un score est donné à chaque université. L’université de Shanghai fournit la liste des 500 meilleures universités ainsi que les scores respectifs pour un certain nombre d’entre elles. En effet, les scores des universités en milieu de liste jusqu’à la dernière ne sont pas calculés, sans doute afin d’éviter des classements d’ordre trop précis, là où l’imprécision est importante. Des résultats annuels depuis 2003 sont disponibles sur le site internet http://www.arwu.org/ranking.htm.

3.       Méthodologie utilisée

3.1           Niveaux primaire et secondaire

L’accroissement assez spectaculaire du nombre de pays participant à des enquêtes internationales ne permet pas de régler le problème de la comparabilité des résultats des pays entre les différentes enquêtes. Effectivement, plusieurs complications apparaissent dès lors que l’on désire comparer de telles enquêtes. La première, pratiquement insolvable, renvoie à la différence de la nature de la compétence mesurée. Par exemple, tandis que certaines enquêtes tendent à évaluer des niveaux scolaires standardisés (à l’image des enquêtes de l’IEA), d’autres se focalisent plutôt sur des niveaux de compétences nécessaires pour la vie active (à l’exemple de l’enquête PISA). Une autre distinction peut également être faite au niveau du public évalué : on se focalisera parfois sur un groupe d’élèves du même âge (comme pour PISA) ou alors sur l’ensemble des élèves d’un même niveau scolaire (comme pour les enquêtes de l’IEA). Les deux niveaux scolaires (primaire et secondaire) forment également une différenciation dans la mesure des acquis des élèves. Autant dire que la mise sur pied d’une échelle comparable de toutes les enquêtes internationales s’avère délicate. Pour autant, certaines procédures techniques peuvent, à notre sens, permettre une telle comparabilité. Il reste clair que des limites fortes subsistent à une telle entreprise, mais celles-ci existent déjà à l’intérieur des enquêtes elles-mêmes et ne pas entamer une telle comparaison serait dommageable. Ci-dessous, nous présentons la méthodologie utilisée.

 

Afin d’obtenir des indicateurs comparables pour les niveaux primaire et secondaire, nous décidons d’utiliser l’ensemble des enquêtes internationales sur les acquis des élèves. Par conséquent, nos indicateurs mesurent une tendance moyenne de la performance scolaire des pays depuis 1965. Ils ne sont donc pas uniquement basés sur les derniers résultats des enquêtes telles que PISA 2006 ou PIRLS 2006. Il faut toutefois rappeler que pour certains pays, la participation à ce type d’enquêtes ne s’est fait que récemment ; nos indicateurs ne pourront pas inclure l’évolution complète des résultats des élèves depuis 1965.

 

Deux ancrages complémentaires peuvent être effectués afin d’avoir des indicateurs comparables. Le premier renvoie au suivi des résultats des Etats-Unis. En utilisant les résultats des Etats-Unis comme point d’ancrage, il devient possible d’obtenir des indicateurs comparables (nous appellerons cette méthode, la méthode de référence). Dans le cas des enquêtes où les Etats-Unis n’ont pas participé, nous utilisons les résultats de pays ayant participé simultanément à deux enquêtes afin de dégager des coefficients d’équivalence (nous l’appellerons la méthode d’équivalence).

 

La base de données est en forme de panel et s’étend entre 1964 et 2006. Nous procédons à une compilation de l’ensemble des enquêtes relatives à la mesure des acquis des élèves au niveau primaire et secondaire. Comme souligné plus haut, nous avons deux groupes d’enquêtes : celles où les Etats-Unis ont participé (série A) et qui permettent un ancrage avec une enquête spécifique (NAEP) et celles où les Etats-Unis n’ont pas participé (série B) et où nous utilisons principalement la méthode d’équivalence. Pour la première série d’enquêtes A, nous utilisons un ancrage sur une enquête américaine NAEP (National Assessment of Educational Progress) comme cela a été fait dans Hanushek et Kimko (2000). Le NAEP a été le principal instrument de mesure des acquis des élèves américains depuis 1969. L’IAEP est l’équivalent international du NAEP. Ainsi, la procédure d’évaluation est basée sur les curriculums américains. A des périodes différentes depuis 1970, les élèves des Etats-Unis âgés de 9, 13 et 17 ans ont été questionnés sur leur acquis en sciences, en mathématiques et en lecture. Ces tests peuvent donner une mesure de référence absolue pour le niveau des acquis des Etats-Unis. Afin de collecter à la fois les données des enquêtes IEA et IAEP, Hanushek et Kimko (2000) ont utilisé les résultats des Etats-Unis comme doublons. Ils ont ainsi modifié la moyenne des enquêtes de l’IEA afin de l’égaliser avec celles de l’IAEP qui leur étaient les plus proches (en termes d’âge, d’année et de domaine de compétence). A la différence de Hanushek et Kimko, afin d’obtenir des indicateurs comparables avec ceux obtenus du groupe B, nous n’avons pas repondéré les scores par les erreurs de mesure.

 

Pour le deuxième groupe d’enquêtes B – celles où les Etats-Unis n’ont pas participé – nous avons utilisé la méthodologie d’équivalence. Les enquêtes incluses dans ce deuxième groupe renvoient aux enquêtes régionales (SACMEQ, LLECE, PASEC et MLA). La méthodologie utilisée renvoie à l’idée selon laquelle, dans la mesure où certains pays ont participé simultanément à deux enquêtes, il devient possible d’utiliser leurs scores afin de standardiser les résultats des élèves entre les enquêtes. Plusieurs difficultés apparaissent néanmoins dans ce type de méthodologie. En premier lieu, il est possible que la nature des compétences évaluées ne soit pas la même parmi les enquêtes. Dans ce cas, la comparabilité peut s’avérer difficile. Autre problème, malgré le fait que nous disposions de plusieurs résultats pour un même pays, le niveau scolaire évalué peut différer.

 

Par exemple, l’ancrage des résultats du SACMEQ sur un niveau comparable s’avère délicat dans la mesure où les pays ayant participé aux enquêtes de l’IEA (à savoir l’Afrique du Sud et le Botswana) ne sont pas évalués dans le même niveau scolaire. Tandis que pour le SACMEQ, on se focalise sur le niveau primaire, pour l’enquête TIMSS, ces deux pays n’ont participé qu’aux évaluations du secondaire. Nous prenons comme hypothèse qu’en moyenne, le niveau des élèves peut être ancré entre le niveau primaire et secondaire lorsque des données pour le même niveau ne sont pas disponibles. Il aurait été plus acceptable d’utiliser la méthodologie d’équivalence entre les mêmes niveaux scolaires, cependant pour ces enquêtes régionales, de telles informations sont pour l’instant manquantes.

 

Au final, nous obtenons 60 séries d’enquêtes pour tous les groupes d’âge (9, 10, 13, 14, 15 et dernière année du secondaire). Afin d’avoir des données comparables dans le temps et des variables éducatives correspondantes, nous n’avons pas pris en compte les séries d’enquêtes pour les élèves dans leur dernière année au secondaire et les pré-tests pour l’enquête PASEC, ce qui réduit le nombre d’enquêtes à 52 séries. Dans une dernière étape, étant donné que des séries concernent la même année et le même niveau d’études (primaire ou secondaire), le regroupement de celles-ci conduit au final à 27 séries d’enquêtes.

3.2           Niveau supérieur

Comme nous l’avons souligné précédemment, il n’existe à l’heure actuelle aucune mesure des acquis des étudiants dans une perspective internationale. Il est alors possible de substituer ce manque par le classement des universités. Ce classement permet de donner un score pour chaque université. Lorsqu’il n’est pas donné dans la base de données fournie par l’université de Shanghai, nous le calculons selon la même procédure. En regroupant les universités par leur pays de rattachement, il devient possible d’estimer des niveaux de performance internationaux pour l’enseignement supérieur. Pour ce faire, nous additionnons les scores des universités par pays. Comme nous pouvons le remarquer dans la figure 2, de façon assez nette, les scores des Etats-Unis et du Royaume-Uni sont les plus élevés. Une transformation linéaire de ces scores sur une échelle de 0 à 100 renverrait des scores par pays trop hétérogènes et supposerait de surcroît que le gain d’un point dans la performance d’un pays est strictement proportionnel à l’ajout d’un point dans le classement des universités. Or, on peut assez intuitivement admettre que le gain dans la performance de l’enseignement supérieur possède une décroissance marginale, c’est-à-dire que le gain augmente avec le score, mais avec une amplitude de plus en plus petite. Par exemple, si le score total d’un pays est de 100 et qu’il passait à 150, le gain absolu serait de +50. Parallèlement, si le score d’un autre pays passait de 10 à 60, il augmenterait de même amplitude en absolu. Or, on peut raisonnablement penser que le gain en performance est plus élevé pour le second pays par rapport au premier. Cela peut être formalisé en utilisant une transformation non pas strictement linéaire mais plutôt log-linéaire du score total des pays. Nous parlerons alors d’une décroissance marginale du rendement associé au score absolu des pays regroupant les universités nationales. Concrètement, cela revient à calculer le logarithme népérien du score absolu des différents pays. Une fois cette log-linéarisation effectuée, il est possible de calibrer les résultats en donnant le score maximal aux Etats-Unis (soit 100) et en calculant le score relatif des autres pays.

 

Il est important de noter que la performance de l’enseignement supérieur n’est disponible que pour les pays pour lesquels au moins une université est dans le classement. Dès lors qu’aucune université ne figure dans celui-ci, il nous est impossible d’avoir une mesure adéquate de la performance de l’enseignement supérieur. Au final, si l’on prend les scores depuis 2004, des indicateurs de la performance de l’enseignement supérieur sont disponibles pour 40 pays.

 

Etant donné que des données sur le supérieur sont disponibles pour seulement 40 pays, nous ne gardons que les indicateurs pour cet échantillon de pays dans l’ensemble des niveaux éducatifs. Par ailleurs, afin d’obtenir des indicateurs comparables entre les trois niveaux éducatifs, nous effectuons une standardisation des scores. Celle-ci est réalisée selon les mêmes procédures que l’enquête PISA. Nous réajustons les indicateurs de la qualité de l’éducation dans chacun des niveaux de telle sorte à obtenir une moyenne de 50 et un écart-type de 10.

4.       Une analyse comparée de la performance éducative

Cette section a pour objectif de présenter brièvement une comparaison de la performance éducative entre les 3 niveaux (primaire, secondaire, supérieur). La figure 1 présente la corrélation entre la performance éducative aux niveaux primaire et secondaire. Le coefficient de corrélation est égal à 0,65 ; ce qui souligne une assez forte corrélation positive. La ligne diagonale en jaune indique le cas où la performance des systèmes éducatifs est similaire pour les deux niveaux. En règle générale, les pays sont placés en dehors de cette ligne. Ceux qui sont placés dans le cas n°1 sont ceux pour lesquels le niveau secondaire apparaît plus performant que le niveau primaire (exemple de la Suisse). Au contraire, les pays présents dans le cas n°2 sont ceux pour lesquels le primaire apparaît plus performant que le secondaire (à l’exemple de l’Italie).

 

La figure 2 présente la même technique de comparaison, mais cette fois-ci entre le niveau secondaire et le niveau supérieur. De façon encore plus nette, rares sont les pays qui ont une performance identique dans les deux niveaux. Les pays présents dans le cas n°1 sont les pays où le supérieur semble être très performant mais où le secondaire l’est relativement moins par rapport aux autres pays (à l’exemple des Etats-Unis). Au contraire, les pays dans le cas n°2 ont une performance au secondaire plus élevée que celle du supérieur (c’est le cas par exemple de la République Tchèque).

 

Références

Chinapah, V. (2000). With Africa for Africa. Toward quality education for all. South Africa: Human Sciences Research Council.

Coombs, P. H. (1985). The World Crises in Education: The View from the Eigthies. Oxford : Oxford University Press.

Hanushek, E.A., & Kimko, D.D. (2000). Schooling, Labor-Force Quality, and the Growth of Nations. American Economic Review, 90(5), 1184-1208.

Lee, J.W., & Barro, R.J. (2001). Schooling Quality in a Cross Section of Countries. Economica, 38(272), 465-488.