CM3 Psychologie Differentielle PDF

Preview

Summary

Licence 1 de psychologie ...

Description

CM3 PSYCHOLOGIE DIFFERENTIELLE 08/02/2018 LES DIVERGENCES ENTRE EVALUATEURS : ELEMENTS DE DOCIMOLOGIE (2) Données USA : Criminalité et Consommation de vin, grande corrélation. Mais ce n’est pas parce qu’elles sont corrélées qu’il y a une relation de causalité. Cause : le vin est cher, le contexte économique pourrait donc expliquer cette corrélation. VI : contexte économique, VD : criminalité et consommation de vin. Etudes de variabilité inter correcteurs Piéron : « Il vaut mieux connaître son examinateur que le candidat lui-même » Test retest : on fait corriger à plusieurs correcteurs un nombre de copies. Puis on leur fait corriger encore une fois ces copies à un an d’intervalle. (44% des copies qui n’avaient pas la moyenne passent au-dessus de 10 lors de la correction => grande variabilité comment la réduire ?) Si les correcteurs sont d’accords entre eux : la corrélation s’approche de 1 Si les correcteurs ne le sont pas : la corrélation s’approche de 0 Si les correcteurs classent les copies de manière différente : la corrélation va dans le négatif Ex : Evaluateurs corrélés à 0.91 = accords Les variations sont aléatoires ou systématiques (sous évaluations ou sur évaluations) chez les correcteurs. Biais courants dans l’évaluation : Expérience : on fait varier les variables individuelles des correcteurs (années 60-70) Cronbach : examiner les interactions entre les caractéristiques de l’évaluateur et les caractéristiques de la copie On peut manipuler :   

Informations génériques : Caractérisent l’échantillon (niveau de la classe, de l’établissement) Informations propres : Caractérisent l’élève lui-même (performances antérieures, patronyme…) [TD1] La pile de copie (Lycée Louis Legrand, Lycée Paul Valéry ...)

Contrôles expérimentaux :    

Copies dactylographiées : on dactylographie les copies pour contrôler l’effet du style d’écriture Opérationnalisation des variables : position de la copie, place des incorrections dans la copie (voir tableau 8 p25) Informations fictives Variation des informations selon les correcteurs pour vérifier leur poids dans l’évaluation

Effet des informations concernant les performances scolaires antérieures : la note précédemment attribuée (Noizet, 1975) (informations propres) 

Méthode : 12 copies d’anglais de niveau très contrasté (pour contraindre à l’utilisation d’une échelle d’évaluation large : sensibilité de la mesure). 12 correcteurs. 1. Phase 1 : Correction des 12 copies : permet de disposer de l’échelle d’évaluation de chacun des correcteurs Permet de rendre crédible la seconde phase 2. Phase 2 : 2 mois plus tard (correcteurs non avertis) Corrigent 6 nouvelles copies de niveau moyen Note fictive, copies présentées comme extraites du lot corrigé en phase 1 Résultats : Les copies présentées avec une note fictive basse elles obtiennent en moyenne 2 points de moins que les copies présentées avec une note élevée  On observe un effet d’assimilation, lui-même causé par un effet d’attente (Rosenthall, 1966). C’est la construction d’une représentation de la production attendue.  A partir d’infos « a priori »  Recherche de consonance cognitive : recherche de similitudes entre la note fictive et la copie. Noizet l’explique dans le cadre de la théorie de Dissonance Cognitive de Festinger (1959) : conflit entre informations et perception. Effets d’informations génériques : 

Méthode : Copies de niveau moyen. VI : Niveau de la classe (fictif), Fort ou Faible

Résultats : Notes attribuées niveau fort : 11,16 (au-dessus de la moyenne). Notes attribuées niveau faible : 9,65 (sous la moyenne). 

Ajout d’une VI, Etude de l’interaction entre le niveau de la classe (fictif) et l’ancienneté du correcteur (réelle) :

VI : Ancienneté des enseignants 2 modalités : Enseignants élèves / Enseignants expérimentés VD : note attribuée à la copie Résultats : Jeune (statut fort : 11,86 ; statut faible : 10,59) Expérimentés (statut fort : 10,45 ; statut faible : 8,70) Effets de contraste : 

Définition : effet dus à la localisation de la copie

S’observent quand les critères d’évaluation ne sont pas stables (échelle d’évaluation du correcteur instable)  Effets séquentiels : Liés à l’ordre dans lequel le correcteur corrige  Effets d’ancrage : Liés à la qualité des productions précédentes

 Effets séquentiels (exemple) Méthode : 26 copies de niveau homogène. 2 groupes de correcteurs Variables : ordre de correction ; Modalités : Ordre direct / Ordre inverse Ordre direct : Les 13 premières copies obtiennent une moyenne de 10,75 / Les 13 dernières copies obtiennent une moyenne 9,24 Ordre indirect : Les 13 premières copies (de l’ordre direct) obtiennent une moyenne de 9,85 / Les 13 dernières copies (de l’ordre direct) obtiennent une moyenne de 10,14 Résultats : La sévérité augmenterait avec le temps.

 Effets d’ancrage (exemple) Méthode : Copies (anglais). Niveau : homogène Ancres : attracteur qui déplace la représentation de la copie idéale (copie placée stratégiquement) (nature différente) Basses, Hautes Poids de l’ancre : 3 ancres consécutives, 1 ancre isolée Résultats : Ancre basse Ancre haute 1 ancre isolée 7,73 7,13 3 ancres consécutives 9,64 5,64 Quand la copie est corrigée après 3 mauvaises copies elle obtient 9,64 mais si ces 3 copies étaient bonnes elle obtient 5,64 = Effet des ancres sur les copies suivantes. Ces effets sont fort car le barème n’est pas bien construit ! (Instabilité de l’échelle d’évaluation) L’évaluateur ne dispose que d’une REPRESENTATION de la copie idéale. La comparaison entre cette copie idéale et les copies réelles entraîne un contraste défavorable au début. Puis l’évaluateur s’ajuste à la réalité (contraste favorable). Vers la fin la sévérité augmente (fatigue). Chaque ancre induit un glissement de l’échelle d’évaluation. Effet de contraste favorable ou défavorable selon la nature et le poids des ancres. L’évaluation est un processus de comparaison lorsque le barème n’est pas clair, on sera sensible à l’ordre de correction des copies.  Nécessité de fixer l’échelle d’évaluation ou bien de contrôler les biais par des procédures spécifiques. Procédures à priori 1. Intervention sur l’échelle de notation : Réduire les échelons dans certaines matières 2. Utilisation d’un barème : Définition de critères stables Définit idéalement par le celui qui a construit l’examen. Principe d’un barème : décomposer la note globale en notes partielles. On définit les dimensions importantes (ex -> français : plan, syntaxe, orthographe). Dans les matières où le barème est difficile à

construire (philo), on fait par exemple une liste des bonnes réponses attendues et on compte les erreurs (vs maths qui sont plus logiques). 3. Concertation entre évaluateurs : Construction en commun du barème ? Effet positif sur la fidélité inter correcteurs

Procédures à posteriori 1. Ajustement des moyennes (centrages) Ajouter des points à chaque note Suite à une réclamation d’un élève on peut aussi reconstruire le barème en étant moins sévère. 2. Réduction des notes Centrage réduit 3. Répartition aléatoire des copies Brassage des copies 4. Multi-correction

Conclusion : Quelle serait la meilleure procédure d’évaluation ? « Comme politique éducative générale, substituer dans toute la mesure du possible aux sélections par examens une orientation continue fondée sur une connaissance approfondie de chaque personnalité à l’aide de méthodes objectives » (Piéron, 1969)...