La France, bonnet d'âne : que mesurent vraiment les enquêtes de l'OCDE sur l'éducation ?

Atlantico : Les classements OCDE sur les capacités éducatives (PISA, Skills) des pays développés sont parfois interprétés comme des évaluations solides des systèmes éducatifs par pays. Que mesurent vraiment ces classements ? 

Julien Grenet : Effectivement, d'un point de vue médiatique et politique, ce sont les palmarès construits par ce type d'enquêtes qui retiennent le plus d'attention, alors qu'il s'agit là d'une des dimensions les moins intéressantes. Leur validité statistique est en vérité assez fragile, et les informations que l'on en tirent sont faibles. Il est ainsi nécessaire de rappeler que les marges d'erreurs concernant les scores des différents pays sur les études PISA sont d'environ 5 points (pour une moyenne de 500), ce qui permet de relativiser le classement d'une bonne partie des pays européens. Ces marges s'expliquent de manière extrêmement simples, ces chiffres s'appuyant sur l'évaluation d'échantillons d'élèves représentatifs plutôt que sur l'ensemble de la population concernée (ici des élèves de 15 ans, NDLR). Ainsi en France les élèves évalués par l'OCDE sont 4300 alors qu'ils sont en tout 700 000. 

Les écarts de ces marges ne sont du reste pas négligeables pour la suite. Pour prendre un exemple concret, la France totalisait 496 points dans la partie "compréhension de l'écrit" lors de la dernière enquête PISA (2009) ce qui la plaçait 21e sur les 65 pays de l'OCDE. Ce score n'étant pas significativement différent de celui obtenu par nos voisins (Allemagne, Angleterre, Suisse....) on peut dire en réalité que la France oscille entre la 12e et la 27e place, écart qui n'est pas négligeable. PISA permet donc d'établir au mieux une plage de classement, mais pas une hiérarchie univoque des différents systèmes éducatifs.

Dans quelles mesures peut-on se fier aux résultats publiés ?

On peut ajouter que PISA ne mesure pas du tout la maîtrise des programmes scolaires par les différents élèves, mais la capacité de ces derniers à appliquer leurs savoirs dans une situation concrète, le but étant de tirer des conclusions sur les compétences des individus lorsqu'ils entreront sur le marché de l'emploi. 

Les véritables écarts en la matière se trouvent entre 3 grands groupes de pays. Premièrement nous avons les économies développées (Dragons asiatiques, Europe, Etats-Unis...), viennent ensuite les pays d'Europe de l'Est et du Sud (Russie, Pologne, Grèce...) et enfin un troisième groupe constitué des pays partenaires de l'OCDE (Afrique du Nord, Asie, Amérique Latine...). Il est cependant quasiment impossible de constater des écarts significatifs entre, par exemple, la France et l'Allemagne. Dans le même sens, la progression d'un pays dans le classement OCDE n'est pas révélatrice tant qu'elle n'est pas d'au moins 10 points (toujours sur 500).

Ce type d'enquêtes ne se heurte t-il pas aux problèmes des différences culturelles ? Par exemple, un bon niveau en maths signifie-t-il la même chose en France et en Angleterre ?

Les détracteurs de ces études mettent généralement en avant cette question du biais culturel. Les test sont effectivement conçus en anglais puis ensuite traduits, alors que l'outil du QCM et l'analyse d'articles de presses sont des méthodes plutôt anglo-saxonnes. Cependant, on peut modérer ce constat en regardant attentivement la méthodologie utilisée par une enquête comme PISA. Les contrôles de test sont extrêmement stricts et certains pays peuvent décider de refuser certains items qu'ils trouvent trop biaisés. Par ailleurs, on remarque que les élèves français ont des bons scores aux QCM, alors qu'un éventuel biais culturel devrait logiquement favoriser les anglo-saxons. 

Faut-il en déduire que certaines des conclusions de ces rapports, notamment le déclin de l'éducation dans la plupart des pays développés, sont biaisées pour autant ?

Il est très difficile de mesurer globalement un progrès ou un déclin à partir de ces enquêtes, puisque le score de PISA est toujours construit pour obtenir une moyenne de 500. Il est vrai que des pays comme l'Allemagne ont pu être très choqués par la publication de ces enquêtes, notamment celle réalisé en 2000, à un tel point que de nombreuses réformes éducatives y ont été engagées pour pallier aux failles constatées. La dernière enquête de 2009 semblait démontrer une légère hausse en la matière, ce qui permet de dire qu'on peut observer, tout en restant prudent, des évolutions à travers ces classements.