Difficultés d`apprentissage liées aux tests statistiques.

Difficultés d’apprentissage liées aux tests
statistiques.
Le cas des tests paramétriques auprès d'étudiants en
sciences humaines
Noëlle Zendrera
Institut de Psychologie et de Sociologie Appliquées, UCO
3, place André Leroy BP 808 F-49008-Angers Cx01
[email protected]
RÉSUMÉ.
L’apprentissage et la mise en pratique de l’outil statistique suscitent de nombreux
problèmes de compréhension et des biais méthodologiques, souvent ancrés dans des
conceptions erronées. Dans les tests paramétriques de décision, ces difficultés nous
apparaissent accentuées du fait de la nécessaire formalisation de la problématique à tester.
Nous nous proposons de décrire les processus cognitifs d’un sujet en situation de résolution
d’une tâche en lien avec l’expression formelle des hypothèses nulle et alternative. Nous avons
ciblé comme milieu d’étude les étudiants universitaires en sciences humaines. Trois
méthodologies différentes de recueil de données sont envisagées.
ABSTRACT. Students and researchers use to make many errors using the statistical tools. Most
of them reveal misconceptions about the statistical concepts concerned. This is specially
obvious when teaching hypothesis tests; we think that the mathematical expressions appear
very difficult to students. Our purpose is here to describe the cognitive processes while the
subject is solving a statistical task about the two hypothesis. Three different methodologies
for collecting data are used, among students in Psychology.
MOTS-CLÉS : difficultés d’apprentissage ; tests d’hypothèses ; conceptions erronées ; concepts
statistiques ; hypothèse nulle ; hypothèse alternative ; résolution de problèmes ; entretiens
cliniques ; processus cognitif ; didactique de la statistique ; éducation statistique.
KEYWORDS : difficulties in understanding; hypothesis tests; misconceptions; statistical
concepts; task-based interviews; cognitive process; statistical education.
1. Introduction
Cette technologie immatérielle (Escoufier, 1991), au service et à la lisière de
nombreuses disciplines scientifiques, que constitue la Statistique, suscite chez les
étudiants et les praticiens de nombreuses erreurs de compréhension et d’utilisation
(Batanero et al., 1994; Escoufier, 2000 ; Galmacci et al., 2000 ; Hoffrage et al.,
2001 ; Moore, 1993 ; Vallecillos, 1995 ; …). Nous nous intéressons ici aux tests
d’hypothèses, aussi appelés tests de décision, propres à la statistique inférentielle.
Ces tests s’avèrent de grande importance dans la recherche en sciences humaines et
2
Journées de Statistique 2003
en sciences expérimentales, où ils sont largement utilisés. Ils reposent sur l’émission
d’hypothèses sur les caractéristiques de la population (paramètres ou distribution).
Les tests, tant paramétriques que non paramétriques, comprennent des étapes
inéluctables, obéissent à la logique spécifique du raisonnement inductif et exigent
une formulation très précise. À chacune de ces étapes correspond l’activation de
concepts statistiques suscitant des erreurs d’application et d’interprétation.
2. Le cas des tests paramétriques
Nous avons choisi les tests paramétriques dans notre recherche suite à la
constatation suivante faite en tant qu'enseignants : l'expression formelle des
hypothèses dans un test paramétrique engendre de très importantes difficultés chez
l’apprenant. Nous avons fait le choix d’investiguer le test de comparaison d’une
moyenne de population (µ) à une moyenne norme (µ0 ), et non pas celui de la
proportion car il nous apparaît que cette dernière engendre des conceptions erronées
encore plus exacerbées.
Symbolisation et expression formelle des hypothèses d'un test paramétrique.
Dans un test paramétrique, chacun des éléments du phénomène étudié doit être
identifié et représenté par un symbole. Dans un test portant sur une moyenne,
doivent être identifiées la moyenne de la population (µ), celle de l’échantillon ( X ),
et la moyenne norme (µ0 ) à laquelle µ va être comparée. L’un des pivots de la
logique des tests est de bien appréhender le fait que les hypothèses portent sur la
valeur du paramètre moyenne de la population (µ), et non pas sur la norme (µ0 ) ou
encore sur X . Comme le montre le tableau 1, il s’agit d’infirmer ou de confirmer
l’hypothèse H0 , au risque α. Nous ne traiterons pas ici l'erreur de 2ème espèce, β.
Tableau 1 : Expression formelle des hypothèses du test
H0 : µ = µ0
H1 : µ ≠ µ0
L’échantillon est bien issu d’une population de moyenne µ égale à µ0, au risque
α. H0 acceptée : on peut considérer que µ = µ0.
Cet échantillon n’en est pas issu, au risque α. H0 refusée : on ne peut pas
considérer que µ = µ0.
3. Le constat sur l’utilisation des tests d’hypothèses
Siegel signalait déjà en 1956 (p. 33) les difficultés conceptuelles de la méthode ;
Brewer (1986) considère les tests d’hypothèses comme l’une des méthodes les plus
incomprises en statistique. Parmi les difficultés spécifiques les plus notoires nous
retrouvons : a) la nature de variable aléatoire de la statistique échantillonnale, b) les
concepts d’hypothèse nulle et d’hypothèse alternative et c) le niveau de signification
statistique (Batanero et al., 1994 ; Birnbaum, 1982 ; Falk, 1986 ; Falk et al.,1995 ;
Vallecillos et al. (1997). La logique elle-même des tests demeure sujette à des
interprétations fausses, ancrées à leur tour dans les conceptions erronées liées aux
concepts activés et aux conceptions attachées au type de validation attribuée aux
tests. Les perceptions erronées de la logique des tests reposeraient sur les spécificités
du fonctionnement psychologique humain. En outre, de nombreux auteurs font
porter à l’enseignement lui-même de la discipline la responsabilité des conceptions
Difficultés d’apprentissage liées aux tests statistiques
3
erronées des apprenants ; il serait vecteur d’erreurs fréquentes, notamment dans les
manuels de cours (Brewer, 1986 ; Rowley, 1993 ; Vallecillos, 1995).
L’utilisation des ces tests de façon erronée engendre des conséquences sociétales
qui revêtent des importances variables suivant le domaine d’investigation considéré.
Au niveau scientifique, utilisations inadéquates et biais méthodologiques conduisent
à des conclusions de recherche erronées ; au niveau social, à des condamnations
injustes, des erreurs médicales, des décisions politiques injustifiées,…S’interroger
sur l’adéquation, controversée, à certaines problématiques de recherche, notamment
en sciences humaines, de ces tests, amène à se questionner sur la portée et la valeur
de cette discipline scientifique et en particulier de cette méthode inférentielle. Siegel
(1956, p. 3) postule que les tests paramétriques ne devraient concerner que les
données réellement métriques, or pour l'auteur dans le domaine des sciences du
comportement [et nous nous permettons ici de généraliser aux sciences humaines],
les données ne sont pas vraiment métriques, elles en ont simplement l'allure. Dans le
même sens, Menon (1993) considère que ces tests ne devrait plus être enseignés ni
mis en pratique. Nous mitigeons les avis de Menon et Siegel et rejoignons ainsi Falk
et al. (1995) et Rowley (1993) pour lesquels les utilisations abusives et les erreurs
d’interprétation ne justifient leur éviction de la recherche et de l'enseignement.
4. But de l’étude, milieu, méthodologie de recueil et de traitement des données
But. L’objet de notre étude, de type exploratoire et descriptif, porte sur les
processus cognitifs d'un sujet en situation de résolution d'un problème statistique.
L’objectif de recherche se concentre sur l’expression formelle des deux hypothèses
d’un test paramétrique.
Milieu d’étude. La population d’étudiants français en Sciences Humaines, option
Psychologie, compose notre milieu d’étude. L’échantillon sélectionné est de l’ordre
de cent sujets ; au sein de ceux-ci, et suivant les variables considérées, un
échantillonnage aléatoire sera éventuellement effectué.
Méthodes de collecte des données. Tant pour la collecte des données que pour
leur traitement nous avons envisagé des méthodologies plurielles afin de permettre
des recoupements et de cibler la consistance des résultats. Trois types de recueil de
données sont envisagés dans cette étude : les productions écrites (copies d’examen) ,
les questionnaires et les entretiens cliniques. Nous sommes conscients des biais
éventuels induits par la distance entre les productions écrites et la pensée, ainsi que
de la rigidité du questionnaire. Les entretiens cliniques compenseront par leur
souplesse et contribueront à éclairer les processus cognitifs d'un sujet. La
construction, la conduite et l’analyse des entretiens cliniques à résolution de
problèmes est sujette à une méthodologie dont l’état actuel de théorisation contribue
à en faire des outils pertinents en recherche cognitive et en pensée mathématique
(Ginsburg, 1981, 1997 ; Goldin 1998, 2000 ; Vallecillos, 1995).
Méthodes de traitement des données. Dans un premier temps, nous analyserons
le contenu des copies d’examen et des questionnaires. Cette analyse s’effectuera à
4
Journées de Statistique 2003
l’aide de deux grilles spécifiques et identiques pour chacun des sujets. Les données
seront dans ce volet d’ordre qualitatif pour certaines et de type quantitatif pour
d’autres. Ces données subiront un traitement quantitatif. Ensuite, les entretiens
cliniques de par leur souplesse permettront d’éclairer les aspects du raisonnement du
sujet restés obscurs avec les deux premières méthodes. Les données suscitées sont
évidemment de nature qualitative. Chacune des entrevues fera l'objet d'une analyse
de contenu, basée sur une grille précise et enregistrements sonores à l'appui.
5. Quelques résultats de la pré-expérimentation
Les conceptions erronées relevées dans les expressions formelles des hypothèses
lors de notre pré-expérimentation s’avèrent très variées. Elles concernent
principalement les deux domaines suivants : a) la signification des trois moyennes
considérées (leur nature, leur symbole) et b) la signification des deux hypothèses
considérées (leur nature, leur symbole.). Le tableau 2 illustre le cas A :
H0 :
H1 :
X
X
= µ0
≠ µ0
Tableau 2 : Cas A, X comparée à µ0.
La comparaison est ici portée sur la moyenne de l’échantillon et non pas sur
la moyenne µ de la population dont est issu l’échantillon. Elle est comparée à la
valeur norme µ0.
Cette expression formelle erronée est à comparer à celle, correcte, du tableau 1.
Le sujet fait porter l’hypothèse sur X et non pas sur µ. Outre le cas ici présenté,
nous avons décrit cinq autres cas simples (une seule erreur) et de nombreux cas
multiples (plusieurs erreurs simultanées); nous les développons dans notre étude.
6. Conclusion
Nous espérons, dans cette recherche cognitive que nous situons en didactique de
la statistique et en pensée statistique, mettre en lumière les processus cognitifs de
l'étudiant universitaire lors de la résolution d'un problème statistique sur les
hypothèses des tests paramétriques, identifier les concepts qui suscitent les plus de
conceptions erronées et les principaux obstacles rencontrés. Nous veillerons dans
tous les cas à optimiser la fidélité et la validité des données, la validité des
conclusions de recherche ainsi que leur transférabilité. Nous considérons que cette
étude est d’autant plus justifiée que le recours aux logiciels de traitements de
données s’amplifie largement alors que les fondements statistiques ne sont pas
suffisamment maîtrisés par les utilisateurs. Cela alimente l’illusion de « véracité » et
de « scientificité » qui nuit à la qualité des recherches.
Remerciements : Nous tenons à remercier Sylvine Schmidt (Université de Sherbrooke),
Claudine Mary (UdS) et Constantin Xypas (UCO) pour leur guidage et leur soutien.
Références bibliographiques
Batanero, Ma C. et al. (1994). Errors and difficulties in understanding elementary
statistical concepts. International journal of Mathematics Education in Science and
Technology, 2 (4), 527-547.
Birnbaum, I. (1982). Interpreting statistical significance. Teaching statistics, 4, 24-27.
Difficultés d’apprentissage liées aux tests statistiques
5
Brewer, J.K. (1986). Behavioral statistics textbooks : source of myths and
misconceptions ? In R. Davidson et al. (dir), Actes de la Icots II (p. 127-131). Univ. Victoria.
Escoufier, Y. (2000). La formation à la statistique. In P. Malliavin (anim.), La statistique.
Rapport de l’Académie des Sciences n°8. (p.128-136). Paris : Technique et Documentation.
Escoufier, Y. (1991). Que faut-il enseigner en statistique et à qui ? 48ème Session de
l’Institut International de Statistique, tome LIV, Livraison 1, 2/7.
Falk, R. et al. (1995). Significance test die hard. Theory and Psychology, 5(1), 75-98.
Falk, R. (1986). Misconceptions of statistical significance. Journal of structural learning,
9, 83-96.
Galmacci, G. et al. (2000). Statistical Education for Communicating in Modern Societies.
Comm. à la 22ème Conf. Regional and Urban Statistics and Research. Shenzhen, R.P. Chine.
Ginsburg, H. (1997). Entering the child's mind: The clinical interview in psychological
research and practice. MA: Cambridge University Press.
Ginsburg, H. (1981). The Clinical Interview in Psychological Research on Mathematical
Thinking : Aims, Rationales, Techniques. For the Learning of Mathematics, 1 (3).
Goldin, G. A. (2000). A scientific perspective on structured, task-based interviews in
mathematics education research. In A.E. Kelly et al. (dir), Handbook of research design in
mathematics and science education, p. 517-545. Mahwah, N.J.: Lawrence Erlbaum.
Goldin, G. A. (1998). Observing Mathematical Problem Solving through Task-Based
Interviews. In A.R. Teppo (dir) Education. Journal of Research in Mathematics Education,
Monograph, 9, p. 40-61 et 164-177. National Council of Teachers of Mathematics:Reston, VI
Hoffrage, U. et al (2001). Du bon usage des statistiques. La Recherche, 340, 81-83.
Menon R. (1993). Statistical significance testing should be discontinued in mathematics
education research. Mathematics Education Research Journal, 5 (1), 4-18.
Moore, D.S. (1993). A Generation of Statistics Education: An Interview with Frederick
Mosteller. Journal of Statistics Education, 1 (1).
Rowley, G. ( 1993). Response to Menon. Mathematics Education Research Journal, 5 (1).
Siegel, S. (1956). Non parametric statistics for the behavioral sciences. (International
student edition). Japon: Mc Graw Hill Kogakusha
Vallecillos, A. (1995). Comprensión de la lógica del contraste de hipótesis en estudiantes
universitarios. Recherches en Didactique des Mathématiques, 15 (3), 53-81.
Vallecillos, A. et al. (1997). Conceptos activados en el contraste de hipótesis estadísticas
y su comprensión por estudiantes universitarios. RDM, 17 (1), 29-48.