Chapitre 2. Docimologie. Sciences de l\'Education PDF

Preview

Summary

Cours d'Introduction aux sciences de l'éducation sur la docimologie....

Description

UE3: SDE

C. Dépret

20.09.2020

CHAPITRE 2. DOCIMOLOGIE 1.

Introduction

1.1.

Définitions ● ●

1.2.

« Science qui étudie les différents moyens de contrôle des connaissances » (Petit Robert, 2014, v. num.). « Étude scientifique de la fiabilité et de la fidélité du jugement des connaissances porté au cours des différentes procédures d’examens, de notations, de classement et d’évaluation » (De Peretti, 2005, p. 535).

Des résultats fondateurs ●

Laugier et Weinberg, 1936 : expérience de « multi correction ». - 100 copies x 6 disciplines - 6 notes par copies: 5 correcteur + note du baccalauréat - Soit 9000 écarts de notation (100 x 6 x 15)

↪ Description des écarts:

↪ gros écarts ↪ Sensibilité à l’admission: Bcp sont pas d’accord s’il faut donner ou non la physique ●

2.

Une étude récente (2008): Suchaux - 3 copies et 66 correcteurs - Pas d’effet de régularité en matière de « sévérité » ou d’« indulgence »

Comment expliquer ce phénomène

➢ Des « erreurs » de notation… ○ Mesure : la note comme résumé de connaissances et de capacités complexes… ↪ Tout le monde mesure-t'il la même chose ? (normes non exprimées) ○ Nature : quelle est la nature de ce qui est mesuré ? (statut ontologique, homogénéité, stabilité, etc.)

2.1.

Quelques pistes ➢ Effets de l’évaluateur ○ On peut avoir localement des effets évaluateur - n'apparaît pas toujours globalement (Suchaut, 2004) -. ○ Variabilité des critères - cf. commentaires - (validité). ○ Nouvelle notation après 12-19 mois (Hartog & Rhodes, 1935) : 92 avis différents sur 210 (fidélité). Autre étude : r=0,81 à 12 mois ; r=0,58 à 3 ans.

1

UE3: SDE

C. Dépret

Effet de contraste relatif à la copie précédente (si copie d’avant tres nul, même si celle d'après est moyenne elle parait trop bien) LA COPIE D’AVANT INFLUENCE CELLE D'APRÈS (Noizet & Caverni, 1978) ○ Autresz facteurs inconscients (représentations…). Les deux sources qui suivent… - …questionnent la stabilité mais n’apportent pas de réponse aux constats précédents (enquête Carnegie ; Suchaut). - …peuvent interagir avec l’effet évaluateur ➢ Effets du sujet d’examen et du type d’épreuve correspond à une variation de l’indicateur. - épreuves orales (Laugier et Weinberg, 1936) ➢ Effets de l'évalué - Fluctuation de performance (fatigue,…) - Attributs physiques, sociaux, sexués, niveau et statut scolaire…(Suchaut, 2008) ○

2.2. La « constante macabre » (A. Antibi, 2003) ? ➢ « Pour citer un excellent auteur québécois, une manière infaillible d’identifier les bons nageurs, c’est d’organiser un naufrage… »A. Legrand 2.3.

Des distributions différentes... ➢ Courbe d’aptitude ○ N’évolue pas au cours de l’année. ↪ classement dans la classe (le prof veut des mauvaises et bonnes notes pour niv. moyen)

➢ Courbe de connaissance ○ évolue tout au long de l’année. ↪ Pour vérifier quelles sont les comp. acquises

I (tassée sur la gauche: bcp de mauvaises notes.

3. 3.1.

J (tassée sur la droite: bcp de bonnes notes.

Des critères « métrologiques » (sciences de la mesure) pour la docimologie. Validité: une mesure est dite valide si elle mesure bien ce qu’elle est censée mesurer.(De Landsheere, 1992) ● Validité prédictive (si elle est bonne pour donner une prédiction sur ce qu’il doit se passer (si bonne note dans l'année puis bac avec mention → bonne mesure ) Validité de contenu (ou manifeste) Chercher correspondance entre représentation de l’objet et l’objet lui-même. - Représentativité test / objet - Acceptation de la correspondance Validité conceptuelle (ou de construit) - Le test est construit d’après la définition

2

UE3: SDE

C. Dépret ●

Mesurande: Grandeur que l'on veut mesurer. « La spécification d'un mesurande nécessite la connaissance de la nature de la grandeur et la description de l'état du phénomène, du corps ou de la substance dont la grandeur est une propriété, incluant tout constituant, et les entités chimiques en jeu. »

●

ATTENTION: On n’évacue pas par une technique de mesure la question de la validité, parce que la question de la validité pose celle de la nature de la grandeur mesurée ! Est-ce qu’on connaît bien ce qu’on est censé mesurer ?... Car, aussi étrange que cela puisse paraître, la mesure ne donne pas la connaissance de la grandeur !! (ex. : mesurer un kilo de pommes avec un mètre ? ; « l’intelligence c’est ce que mesure mon test » ;…)

3.2.

Fidélité: répétabilité d’un résultat (dans le temps). (si j’ai 10 cm d'écart du jour au lendemain) ● Comment s’assurer que ce que l’on mesure n’a pas changé…? ● Indépendant de validité (cf. ex. mètre) (on peut mesurer quelque chose de manière non valide mais fidèle)

3.3.

Sensibilité: qualité de la mesure à répercuter les variations de la grandeur. (si on veut les grammes → balance + sensibles) A B C D et [20; 15[ [15 ; 10[ [10; 5[ [5 ; 0] (= notes aux USA) ↪ évolution de 11 à 15…passage de B à B ! ● La sensibilité n’implique pas non plus la validité… peut y mesures très sensibles mais pas valide (attention aux sirènes de la quantification !)

4.

Fausses et vraies solutions…

4.1.

Fausses solutions ● Notes journalières ? Des différences de niveau considérables… - Épreuves standardisées : moyennes en français de 409 classes étalées de 43 à 80/100 (e.t. 9,4) - Désaccords sur les objectifs de l’enseignement ● Autres types d’évaluation ? (Lettres, couleurs, appréciations verbales… ) → ça ne changera rien. ● Augmenter la précision des barèmes ? ● Multiplier les correcteurs ? → pas faisable économiquement ● Épreuves QCM ? ● Supprimer les notes ?!

4.2.

Amélioration possibles ● Connaître les phénomènes influençant les jugements - Contrôler les effets d’ordre - Reprendre ses objectifs (indépendamment de la grille précise d'évaluation) - Connaissance des effets (de type Pygmalion). ●

Solutions techniques - Normalisation des notes -

Conserver l’ordre, mais standardiser moyenne et écart-type. (10 ; 12 ; 14) (8 ; 10 ; 12 ) (5 ; 10 ; 25)

3

UE3: SDE 5.

6.

C. Dépret

Vers le champs de l'évaluation ●

Des améliorations qui ne règlent pas le problème de la validité(cf. supra)

●

Problème général et récurrent de la définition explicite des objectifs de l’éducation.

●

Mieux évaluer les phénomènes éducatifs, c’est d’abord mieux connaître ces phénomènes.

Les évaluations… ● Évaluation formative - Orientée vers le développement de l’individu. - Typiquement, l’auto-évaluation. ● Evaluation Sommative - Orientée vers la sélection des individus. - Typiquement, les concours. ● Evaluation Diagnostique - Orientée vers l’orientation des individus (cf. validité prédictive). - Dossiers, entretiens, bilans, etc.

4...