Outils personnels
Vous êtes ici : Accueil Communications individuelles Autoévaluation Exemple d’utilisation d’auto-évaluation formative en support de l’apprentissage des biostatistiques en premier cycle universitaire, ou quand l’évaluation des étudiants conduit à la remise en question du système d’apprentissage lui-même.
Navigation
« Août 2022 »
Août
LuMaMeJeVeSaDi
1234567
891011121314
15161718192021
22232425262728
293031
 
Actions sur le document

Exemple d’utilisation d’auto-évaluation formative en support de l’apprentissage des biostatistiques en premier cycle universitaire, ou quand l’évaluation des étudiants conduit à la remise en question du système d’apprentissage lui-même.

Résumé: Les biostatistiques sont l’ensemble des notions et des techniques statistiques adaptées au traitement des observations numériques observées en biologie. Véritable carrefour entre les mathématiques, la biologie, et la logique, cette matière est abordée avec réticence par les étudiants de premier cycle universitaire, ce qui abouti généralement à une intégration minimaliste des concepts nécessaires à sa compréhension. Pour favoriser l’appropriation de ces concepts, le professeur Eric Depiereux (FUNDP, Belgique) met depuis plusieurs années à disposition de ses étudiants un ensemble d’outils didactiques regroupés dans un site web indépendant de son cours magistral, et s’appuyant principalement sur l’auto-évaluation formative par usage de questions à choix multiples (http://www.fundp.ac.be/biostats/). Fort du succès remporté auprès des étudiants, qui plébiscitent ce genre d’approche, cette démarche a ces deux dernières années été approfondie, et étendue au concept de la comparaison anonyme des performances individuelles, en fonction des sections d’étudiants, et du style des questions. Cette démarche a permis la mise en évidence de phénomènes inattendus. Non seulement les différentes notions qui représentent manifestement des obstacles à l’apprentissage n’étaient pas forcément celles que les enseignants attendaient, mais aussi et surtout, une certaine discordance a été mise à jour entre l’objectif avoué du cours et la manière dont son assimilation par les étudiants était évaluée. En effet, alors que l’objectif de cet enseignement est de maîtriser les concepts de cette matière, l’évaluation des compétences des étudiants s’est révélée, elle, majoritairement axée sur les aspects techniques de son utilisation. Ce qui n’était donc au départ qu’un outil développé dans le but de permettre aux étudiants d’apprendre tout en s’auto évaluant, a permis, in fine, d’amorcer une profonde remise en question de l’enseignement lui-même, et d’entamer une véritable recherche sur les interactions didactiques entre l’enseignement et l’évaluation de l’assimilation des notions clés de la matière qu’il aborde.

Exemple d'utilisation d'auto-évaluation formative en support de l'apprentissage des biostatistiques en premier cycle universitaire: quand l'évaluation des étudiants conduit à la remise en question du système d'apprentissage lui-même.

Vincke, Grégoire, Facultés Universitaires Notre Dame de la Paix, Namur, Belgique
Depiereux, Eric, Facultés Universitaires Notre Dame de la Paix, Namur, Belgique

Mots-clés : auto-évaluation, questions à choix multiples, application web.

1. Introduction

L'enseignement des biostatistiques aux Facultés Universitaires Notre Dame de la Paix (FUNDP) de Namur, en Belgique, a suivi ces dernières années une lente mais ferme évolution, principalement axée sur l'intégration d'une stratégie d'auto-évaluation formative. Cette évolution a conduit in fine à une profonde remise en question du contrat pédagogique proposé aux étudiants. 

Cette communication, présentée dans le cadre des développements d'outils en auto-évaluation, situera dans une première partie le contexte général de cet enseignement, en insistant sur les aspects historiques et techniques. Dans la seconde partie, nous détaillerons le système d'auto-évaluation formative tel qu'il est actuellement utilisé, avant d'aborder, dans la troisième et dernière partie, les projets actuellement en développement au sein de notre unité.

2. Contexte de l'évaluation

2.1 Les biostatistiques : une matière mal aimée

Les biostatistiques sont l'ensemble des notions théoriques et des techniques statistiques adaptées au traitement des nombreuses observations numériques observées en biologie.

Le cours dispensé en faculté des Sciences aux FUNDP a pour objectif d'amener les étudiants des statistiques descriptives à l'inférence statistique. A partir de simples observations telles que la taille et la masse de poissons, ou du nombre de piqués faits par heure par des faucons pèlerins en période estivale, les étudiants doivent apprendre à résumer des séries numériques en utilisant les bons descripteurs (moyennes, variances, etc.), ou calculer les probabilité de certains évènements en utilisant les modèles de distributions mathématiques appropriés (loi Normale, de Poisson, etc.). Lorsqu'une inférence est demandée, ils doivent être capables de déterminer et de réaliser le test d'hypothèse le mieux adapté à la problématique proposée, et d'en interpréter correctement les résultats.

Cette matière exige de maîtriser un minimum de notions mathématiques, et de pouvoir les replacer dans un contexte biologique, sur base d'une analyse scientifique qui nécessite parfois d'aborder des principes d'inférence pouvant sembler plus proches de l'abstraction que de l'expérimentation. 

Cette formation est dispensée en second baccalauréat universitaire (BAC2) dans des sections des sciences du vivant (biologie, médecine, pharmacie, médecine vétérinaire, etc.). A ce stade de leurs études les étudiants sont censés aborder les matières spécifiques à leur formation. Retrouver en BAC2 un cours basé sur des principes mathématiques et stochastiques est donc majoritairement très mal perçu. De plus il leur est difficile d'imaginer que cette matière pourra leur être d'une quelconque utilité pour la suite de leur carrière, car ils n'ont pas encore abordé dans leur cursus les aspects analytiques de leur discipline, enseignés en général en master. 

C'est donc avec réticence qu'ils abordent ce cours, ce qui abouti généralement à une intégration minimaliste des concepts de base, les étudiants se limitant à tort aux aspects techniques. Cette attitude sélective est renforcée par le fait que l'examen certificatif de fin d'année est réalisé sous la forme d'un questionnaire de questions à choix multiples (QCM), ce qui leur semble à priori plus facile que de devoir rédiger des conclusions écrites ou orales.

2.2 Des questions à choix multiples comme évaluation certificative

Selon les années, entre 300 et 500 étudiants suivent cette formation. Avec un tel auditoire, il est difficile d'évaluer en moins d'un mois chaque étudiant oralement en lui consacrant le temps nécessaire pour l'évaluer objectivement. Depuis 1996, l'examen certificatif est donc écrit, et réalisé sous la forme de QCM avec un seul item correct, et utilisant des solutions générales et des coefficients de certitudes.

Tableau 1 – Points associés aux coefficients de certitude en fonction du type de réponse donnée à une question.

                                                          Figure 1 Vinck2

 Ce mode d'évaluation permet d'évaluer tous les étudiants de manière équitable, objective, exhaustive et systématique. Sous certaines conditions, comme l'utilisation de solutions générales telles que "tout est vrai", "tout est faux", "il y a une erreur dans l'énoncé", "il y a une absurdité dans l'énoncé", ou encore "il manque des données pour répondre" l'utilisation de QCM permet même d'évaluer plusieurs niveaux de raisonnements (Leclercq, 1986). Il est également possible de forcer les étudiants à se responsabiliser vis-à-vis de leurs réponses en modulant les points gagnés ou perdus en fonction de coefficients de certitude (Leclercq, 1987). Ceux que nous utilisons sont détaillés au tableau 1. Enfin, c'est une technique d'évaluation qui permet une correction automatisée, ce qui, face à de grands nombres de formulaires, est appréciable. 

2.3 Opération "séduction" par le multimédia 

2.3.1 Mise à disposition des étudiants d'un site web d'auto-apprentissage

Pour favoriser l'appropriation des concepts propres aux biostatistiques au-delà des aspects techniques de la matière, le professeur Eric Depiereux met depuis 1996 à disposition de ses étudiants un ensemble d'outils didactiques regroupés dans un site web complémentaire de son cours magistral (http://webapps.fundp.ac.be/biostats/index.html).

L'ensemble de la matière y est reprise sous la forme de modules (http://webapps.fundp.ac.be/biostats/biostat/page1.html), dans lesquels les principes généraux propres aux biostatistiques sont présentés sous une forme vulgarisée, conceptualisée, le tout illustré d'exemples concrets.

Une carte de navigation (http://webapps.fundp.ac.be/biostats/biostat/carte_2.html) permet aux étudiants, mais aussi aux visiteurs externes, de savoir quels sont les modules à apprendre, et dans quel ordre, afin de maîtriser une problématique spécifique ou correspondre au programme établi pour sa propre section.

Pour chaque module, des outils didactiques complémentaires sont disponibles, tels que des simulations et des exercices utilisant le tableur Microsoft® Excel (http://webapps.fundp.ac.be/biostats/biostat/communs/listeXLS.html). Dernièrement des simulations interactives en Flash ou Javascript, sont venues compléter cette liste d'aides à la compréhension et permettre aux étudiants de cerner toutes les subtilités d'une régression linéaire (http://webapps.fundp.ac.be/biostats/biostat/modules/module20/page9.html) ou du calcul matriciel (http://webapps.fundp.ac.be/biostats/biostat/modules/module240/page2.html).

2.3.2 Mise à disposition des étudiants de questions d'examen en accès libre

Répondre à un QCM est un acte technique en soi, distinct de la matière qu'il évalue. Pour garantir qu'aucun étudiant ne soit sous-évalué parce qu'il ne maîtrise pas cette technique d'évaluation, des questions types, issues des examens précédents, sont mises à leur disposition.

Depuis 2002, ces questions types sont en accès libre sur le site web, et sont classées en fonction des modules auxquels elles sont liées (http://webapps.fundp.ac.be/biostats/biostat/communs/listeQCM.html). Ces questions sont corrigées instantanément, et permettent ainsi aux étudiants de s'auto-évaluer dans un contexte similaire à celui qu'ils rencontreront lors de l'examen certificatif. 

Cette approche a été très bien accueillie par les étudiants. A leur demande, des explications justifiant pourquoi les options sont correctes ou fausses ont été implémentées dans l'outil de correction automatique, et un outil de type forum a été mis à leur disposition pour qu'ils puissent partager entre eux leurs trucs et astuces. Dorénavant, pour les étudiants l'intérêt de répondre à une question ne se limite plus à une simple auto-évaluation, mais s'étend bien à une réelle formation. La collection de questions disponibles s'est enrichie avec le temps, et depuis 2004 les travaux pratiques s'articulent autour de la résolution de celles-ci.

Cependant, Hotpotatoes (http://hotpot.uvic.ca/), le logiciel qui permet de mettre en ligne ces questions de types QCM ne permet pas d'intégrer les cœfficients de certitudes utilisés lors de l'examen de fin d'année (Tableau 1) dans le calcul des points. Les étudiants abordaient donc l'examen sans maîtriser cet aspect pourtant fondamental de l'évaluation certificative. De plus, avec ce système il est impossible de connaître, pour une question donnée, le nombre de fois qu'elle a été résolue, quand et par qui, ni quelles sont les options les plus fréquemment choisies. Il est donc impossible d'estimer le niveau de compétence d'un groupe d'étudiants à un moment donné de leur parcours d'apprentissage. Pour combler ce manque, un système spécifique de gestion de QCM en ligne, intégrant le suivi des réponses fournies et les coefficients de certitude a été développé, et mis à disposition des étudiants en septembre 2005. 

3. Stratégie d'auto-évaluation formative encadrée

3.1 Description du principe et du système mis en place

Par auto-évaluation formative encadrée, nous entendons un système d'auto-évaluation permettant aux étudiants de répondre à des QCM corrigées, avec explications et calcul des points détaillé, mais encadré par un enseignant afin de garantir que le timing et les conditions de réalisation de l'évaluation correspondent en tout point à celles que les étudiants rencontreront lors de l'examen certificatif de fin d'année. 

Pratiquement, les étudiants, au début de chaque séance de travaux pratiques, reçoivent nominativement une feuille reprenant 6 questions de type QCM : 4 questions relatives à la matière de la séance précédente, 2 questions relatives à la matière du jour. Ils reçoivent tous les même questions, mais dans un ordre différent. Ils se connectent au site avec un identifiant personnel. Comme plusieurs étudiants partagent le même ordinateur (maximum 3 par ordinateur), le système permet des connections multiples. Après avoir résolu les questions sur leur feuille, ils  remplissent à l'écran une grille de réponse personnelle sur laquelle ils doivent spécifier le numéro de leur formulaire, la réponse qu'ils proposent pour chaque question, et le coefficient de certitude qu'ils y associent. Afin d'éviter toute tentation de tricherie, ils sont informés que cette évaluation ne sera jamais utilisée à des fins certificatives. L'évaluation dure 20 minutes, et une fois ce temps écoulé la grille disparaît et un corrigé est mis en ligne. Le corrigé est commenté en classe, et une explication orale est donnée pour chaque question. Dans leur corrigé ils ont une correction détaillée de leur examen virtuel, question par question, en tenant compte des coefficients de certitude (Tableau 2). Ils peuvent ainsi comprendre le principe des coefficients de certitudes, et l'impact que peut avoir sur leur cote finale un usage trop prudent ou trop confiant de ceux-ci.

Tableau 2 – Exemple de corrigé global fourni à un étudiant pour son examen virtuel.

                                                                         Figure 2 Vinck 

Pour chacune des questions ils reçoivent un détail anonyme des fréquences de réponses obtenues pour chacun des items proposés (Tableau 3). Ce détail ne prend en compte que les réponses fournies par les membres de leur section. Ils peuvent ainsi confronter leurs réponses à celles de leur collatéraux. Cela leur permet, par exemple, de relativiser une réponse incorrecte s'ils constatent que la majorité des étudiants de leur groupe a sélectionné le même item qu'eux. Au contraire, s'ils constatent qu'ils sont les seuls de leur groupe à avoir sélectionné cet item incorrect, ils sauront qu'ils sont en retard sur leur groupe, et quels sont les points de la matière qu'ils devront approfondir.

Les enseignants peuvent quant à eux consulter les résultats individuels de chaque étudiant, et ont également pour chaque question les fréquences de réponses obtenues pour chacun des items proposés, mais enrichies de celles des coefficient de certitudes (Tableau 4). Ils peuvent ainsi savoir, réponse par réponse, si les étudiants étaient en moyenne surs d'eux ou non.

Tableau 3 – Exemple de corrigé spécifique fourni à un étudiant pour une question précise.

                                                                   Figure 3 Vinck

Tableau 4 – Exemple de corrigé spécifique fourni à un professeur pour une question précise. 

                                                                     Figure 4 Vinck

3.2 Résultats obtenus

Avant d'aborder spécifiquement les résultats issus de cette pratique, il est important de préciser que cette démarche a été très appréciée des étudiants. Lors d'enquêtes internes ils ont à plusieurs reprises plébiscité ce système qui d'après eux est déterminant dans leur apprentissage, et pour la réussite de l'examen. Ce fait peut paraître anodin mais fut pour nous primordial, car garant du fait qu'ils ont rapidement pris conscience de leur avantage à jouer le jeu, et à donner des réponses honnêtes. Le premier résultat, et non des moindres, apporté par ce système, est donc celui d'une plus grande appropriation du système d'évaluation par les étudiants. Cela s'est d'ailleurs ressenti par une très nette baisse des questions relatives à l'usage des coefficients de certitude lors de l'examen certificatif de fin d'année.

L'analyse des données enregistrées par ce système a par ailleurs permis la mise en évidence de phénomènes inattendus. Les différentes notions qui représentent manifestement des obstacles à l'apprentissage n'étaient pas forcément celles que les enseignants attendaient, et n'étaient pas forcément celles dont la question était censée évaluer la maîtrise. Illustrons nos propos par quelques exemples.

3.2.1 Détection d'échec lié à un pré-requis mathématique : calculer avec des exposants négatifs.

Le premier exemple que nous détaillerons est celui d'un échec à une question par manque de pré-requis mathématique et non par manque de maîtrise de la matière. Dans un même questionnaire, deux questions traitent des modifications d'unités de la variance (Tableau 5).

 

Tableau 5 – Comparaison de deux profils de réponses obtenus sur deux questions provenant d'un même questionnaire
et relatives au changements d'unité de la variance. 

                                                                                Figure 7 Vinck                                                             

Une nette majorité d'étudiants répondent correctement à la première question, et ce avec 74% de certitude de type "je suis certain de ma réponse". Cela prouve qu'ils savent qu'il faut tenir compte du fait que la moyenne est en pouces, et la variance en pouces². Il faut donc multiplier la moyenne par 3 et la variance par 3² lors du passage de pouces à centimètres. La seconde question comporte une difficulté supplémentaire : ils doivent calculer la variance avec la formule fournie. Ici une faible majorité répond correctement, et les options 1, 3 et 4 sont de très forts distracteurs. Pris isolément ces résultats auraient abouti à la conclusion qu'ils n'avaient pas réussi à calculer la somme des carrés des écarts nécessaire au calcul de la variance. En fait il n'en est rien : lors de la séance de correction il s'est avéré que ce calcul était généralement correct, mais que c'était les exposants négatifs qui les avaient induits en erreur. Or le calcul avec des exposants négatifs est considéré comme un pré-requis très bien maîtrisé par des étudiants en BAC2 en science. Ce duo de questions a donc permis de détecter un obstacle technique inattendu.

3.2.2 Exemple d'échec lié à une compétence : comprendre le langage statistique

Dans ce second exemple, l'obstacle était de type linguistique. Dans un même questionnaire, deux questions demandent de réaliser un test d'hypothèse bidirectionnel de comparaison de moyennes (Tableau 6). Les deux profils de réponses sont aussi très différents, alors qu'à priori l'exercice demandé est de la même difficulté et fait appel à la même matière. Après enquête, il s'avère que c'est le langage statistique utilisé dans la seconde question qui les perturbe. Sur base des résultats de la seconde question, on aurait tendance à conclure qu'ils ne sont pas capables de réaliser un test d'hypothèse, alors qu'en fait c'est une compétence linguistique qui leur fait défaut.

Tableau 6 – Comparaison de deux profils de réponses obtenus sur deux questions provenant d'un même questionnaire et relatives à un test d'hypothèse bidirectionnel. 

                 Figure 6 Vinck  Figure 5 Vinck

Ce type d'analyse à questions croisées a été répété et nous a permis de détecter ainsi quelques obstacles épistémologiques de taille comme la compréhension des doubles négations, ou la différence existant entre affirmations et suggestions, ou encore le fait que les étudiants n'interprètent pas comme ostensifs des illustrations clés comme celles de la courbe de Gauss. Lorsque l'obstacle est un pré-requis, que ce soit mathématique ou linguistique, il est intéressant de constater qu'il ne concerne pas toujours toutes les sections. Une même question pourra donc avoir un pouvoir discriminant selon la section à laquelle elle est posée. 

 

3.3.3 Appropriation des différents niveaux de la matière : 

En approfondissant l'analyse sur base du type de tâche demandé par la question, il est devenu possible d'évaluer le niveau d'appropriation de la matière par les étudiants. En effet, en classant les questions en trois catégories, inspirées des praxéologies chères à Chevallard (1999), on peut observer qu'en général les étudiants répondent très bien, et avec confiance, aux questions leur demandant une connaissance théorique (définitions, nomenclature…) (Tableau 7), ou de prouver la maîtrise d'une technique dans un cadre théorique défini (Tableau 8). Il en est tout autrement des questions à finalité technologique, c'est-à-dire celles ou ils doivent déterminer eux même le cadre théorique, la technique à utiliser, l'appliquer correctement, et choisir les conclusions correctes (Tableau 9). 

Tableau 7 – Exemple de distribution de réponses typique d'une question théorique :

                                                                   Figure 6 Vinck bis

 

Tableau 8 – Exemple de distribution de réponses typique d'une question technique :

                                                                   Figure 8 Vinck

Tableau 9 – Exemple de distribution de réponses typique d'une question technologique :

                                                                     Figure 9 Vinck

Cette analyse par type de tâche a révélé une certaine discordance entre l'objectif avoué du cours et la manière dont son assimilation par les étudiants était évaluée. En effet, alors que l'objectif est d'acquérir une compétence technologique, la plupart des questions proposées aux étudiants étaient de type théorique et technique. Ceci s'explique par le fait que les questions à finalité théorique ou technique sont nettement plus simples à imaginer que celles à finalité technologique. Les évaluateurs ont donc tendance à en produire beaucoup plus qu'ils ne devraient.

Face à ces divers constats, l'ensemble de la stratégie d'auto évaluation formative, mais également celle de l'évaluation certificative de fin d'année a été revue et adaptée en conséquence. Le cours théorique et les travaux pratiques se focalisant de plus en plus sur l'acquisition d'une compétence technologique, mais tout en restant vigilant sur les notions théoriques et techniques indispensables pour atteindre cette compétence technologique. 

Par ailleurs, l'ensemble des questions a été corrigé sur base de ces observations, et de nouvelles questions ont été rédigées. La collection actuelle comporte maintenant pas moins de 600 questions.

4. Conclusions et perspectives

A travers les différents développements réalisés, il est intéressant de constater que le rôle didactique des questions a évolué. Au départ certificatives, celles-ci sont devenues informatives, en préparant l'étudiant à l'évaluation certificative. Puis elles sont devenues formatives avec l'apparition des explications et des corrections en ligne. Elles sont maintenant utilisées comme informateurs, que ce soit sur la compétence d'un ou de plusieurs étudiants, mais aussi sur la présence d'éventuels obstacles épistémologiques. 

Ce qui n'était donc au départ qu'un outil développé dans le but de permettre aux étudiants d'apprendre tout en s'auto évaluant, a permis, in fine, d'amorcer une profonde remise en question du mode d'enseignement lui-même. Cela nous a motivé à entamer une véritable recherche sur les interactions didactiques entre l'enseignement et son évaluation. 

N'ayant trouvé aucun logiciel correspondant aux besoins de cette recherche, le développement d'une nouvelle application web de gestion de parcours d'apprentissage personnalisés par utilisation de l'auto-évaluation formative a été initié, et cette application devrait entrer en fonction en 2008. Elle prendra en compte plusieurs aspects qui n'ont pas été abordés ici comme le niveau de difficulté des questions, la possibilité pour un étudiant de consulter son historique, ou de refaire en aveugle des questions identiques ou de même types que celles qu'il a déjà abordé précédemment. 

Au-delà de l'appropriation de la matière, l'espoir est de voir augmenter la pérennité du savoir acquis par les étudiants, pérennité qui pourra être évaluée lors de leur arrivée en masters, ou lors de la rédaction de leur travail de fin d'études.

Références

Chevallard, Y. (1999). L'analyse des pratiques enseignantes en théorie anthropologique du didactique. Recherches en Didactique des Mathématiques, 19, p221-266.

Leclercq, D. (1986). La conception des questions à choix multiples. Bruxelles : Labor

Leclercq, D. (1987). Qualité des questions et signification des scores, avec application aux QCM. Bruxelles : Labor