Étude longitudinale du niveau de sévérité d'examinateurs en français langue étrangère

Chénier, Christophe (2018). « Étude longitudinale du niveau de sévérité d'examinateurs en français langue étrangère » Thèse. Montréal (Québec, Canada), Université du Québec à Montréal, Doctorat en éducation.

Fichier(s) associé(s) à ce document :

Prévisualisation	PDF Télécharger (4MB)

Résumé

La majorité des évaluations à forts enjeux dans le domaine de l'évaluation des langues ont des épreuves d'expression orale ou écrite devant être évaluée par des examinateurs. Or, le recours à des examinateurs introduit un risque potentiel quant à la validité de l'évaluation, car les examinateurs peuvent avoir des niveaux de sévérité différents les uns des autres, ce qui peut affecter négativement les notes accordées aux candidats. De plus, les recherches ayant étudié l'efficacité des formations pour réduire les différences de niveau de sévérité d'examinateurs ont donné des résultats mitigés. L'idée de former et certifier des examinateurs suppose que leur niveau de sévérité soit suffisamment stable pour qu'il ne change pas trop d'une séance d'évaluation à une autre, sans quoi il est impossible d'assurer la qualité des examinateurs à long ou moyen terme. Des études montrent que le niveau de sévérité d'un examinateur peut changer significativement d'un temps de mesure à un autre, mais ces études ont toutes peu de temps de mesure (≤ 12). Afin de combler l'absence d'étude longitudinale du niveau de sévérité, cette thèse cherche donc à « Modéliser l'évolution du niveau de sévérité des examinateurs en fonction du temps chronologique et du nombre de candidats évalués », « Comparer l'évolution du niveau de sévérité des examinateurs débutants et expérimentés » et « Comparer l'évolution du niveau de sévérité d'examinateurs travaillant ensemble ». Les données proviennent d'un centre de test pour l'examen d'expression orale du TEF, examen passé par 3 333 candidats d'octobre 2010 à avril 2014. Les performances ont été évaluées avec une grille analytique de 12 critères d'évaluation. Un total de 12 examinateurs ayant évalué au moins 100 candidats durant cette période ont été retenus pour les analyses. Leur niveau de sévérité a été estimé à l'aide du modèle de Rasch à multifacettes et les séries chronologiques de ces niveaux de sévérité ont été modélisées avec la modélisation AMMI (Autorégressif à Moyenne Mobile Intégré). Les résultats montrent que 73 % des séries chronologiques des niveaux de sévérité sont normalement distribuées et que 38 % des séries sont autocorrélées. Un peu plus d'un tiers des examinateurs ont un niveau de sévérité dont l'étendue intraindividuelle longitudinale est égale ou supérieure à l'étendue interindividuelle des niveaux de sévérité de l'ensemble des examinateurs au cours d'une période de temps donnée : leur niveau de sévérité a un problème de dérive temporelle. Quelques résultats montrent que certains examinateurs débutants ont un niveau de sévérité plus instable, susceptible d'avoir des valeurs extrêmes par rapport au niveau de leurs collègues expérimentés. De même, dans certains cas, les niveaux de sévérité d'examinateurs travaillant ensemble sont corrélés, ces corrélations allant de faibles à modérées. Ces résultats mènent à une discussion sur les difficultés méthodologiques et conceptuelles de l'étude de l'évolution longitudinale du niveau de sévérité, principalement sur la modélisation temporelle à adopter et sur la nature conceptuelle de ce qu'est la sévérité des examinateurs. Finalement, soulignons que ces résultats proviennent de données secondaires et que, étant donné l'échantillonnage non aléatoire et les particularités de l'examen du TEF, ils ne sont pas généralisables ; ces limites mènent à la proposition de pistes de recherches futures. _____________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : sévérité des examinateurs, dérive temporelle de la sévérité, français langue étrangère (FLE), séries chronologiques, AMMI

Type:	Thèse ou essai doctoral accepté
Informations complémentaires:	La thèse a été numérisée telle que transmise par l'auteur.
Directeur de thèse:	Raîche, Gilles
Mots-clés ou Sujets:	Examinateurs -- Attitudes / Subjectivité en éducation / Français (Langue étrangère)
Unité d'appartenance:	Faculté des sciences de l'éducation
Déposé par:	Service des bibliothèques
Date de dépôt:	03 juill. 2019 07:04
Dernière modification:	03 juill. 2019 12:55
Adresse URL :	http://archipel.uqam.ca/id/eprint/12583

Modifier les métadonnées (propriétaire du document)

Statistiques