L’enquête PISA correspond à une évaluation triennale menée par l’OCDE du niveau des élèves de 15 ans à travers des tests dans trois grands domaines de compétences (culture mathématique, compréhension de l’écrit, culture scientifique). 34 pays et 31 villes ou pays partenaires ont participé à la dernière édition. A chaque nouvelle vague d’enquête, un domaine de compétences est privilégié et fait l’objet de développements approfondis. Comme pour la précédente édition, les résultats de PISA 2012 parus en décembre 2013 ont suscité un fort émoi médiatique (exemples ici et là) du fait d’un nouveau « décrochage » de la France au classement des pays apparaissant dans le domaine privilégié : le niveau des élèves français baisse-il ?

Limites des enquêtes PISA : retour sur des interrogations récurrentes

D’importantes précautions à apporter pour la lecture des résultats

Les tests PISA sont reconnus pour le sérieux avec lequel ils sont fabriqués au niveau méthodologique (voir la présentation de Julien Grenet, chercheur à l’Ecole d’Economie de Paris). Mais certains présupposés/hypothèses implicites associés sont critiqués par de nombreux chercheurs en sciences de l’éducation ou enseignants (voir l’analyse de Alain Trouvé, chercheur en sciences de l’éducation à l’université de Rouen, ou le riche article de Didier Muguet, enseignant dans le Secondaire).

Une majorité de chercheurs, experts et parties prenantes s’accordent pour dire que le classement d’un pays à PISA n’est au mieux qu’indicatif. En effet, comme le souligne Julien Grenet dans son article, les marges d’erreurs associées au score moyen (en général : +/- 5 points) invalident un classement univoque de pays. Les comparaisons inter-pays sont rendues encore plus difficiles voire dénuées de sens du fait d’une variabilité forte en termes de différences culturelles ou de système éducatif (au sens large : programmes, pédagogie, etc.), de rôle et d’investissement de la famille dans l’éducation. Les taux de scolarisation peuvent aussi différer fortement selon les pays. Par ailleurs, les élèves français n’ont pas l’habitude des QCM (un tiers des questions PISA). La forme classique des exercices dans le système scolaire français ne joue pas nécessairement non plus sur les mêmes capacités logiques ou de compréhension. De même, le redoublement peut jouer également un rôle explicatif dans les différences (inter-pays) de résultats aux enquêtes PISA : il représente un phénomène important en France et a pour conséquence que les élèves passant le test PISA à 15 ans peuvent être scolarisés soit en lycée (filière technique ou générale) soit au collège.

De la performance des élèves à la performance du système ?

Les tests PISA visent à évaluer les acquis des élèves dans trois domaines se voulant proche de la « vie réelle », mais de nombreux observateurs notent le caractère « artificiel » de certains problèmes (voir l’article de Dominique Thiébaut Lemaire). A la suite de Jean-Yves Rochex (enseignant-chercheur en Sciences de l’Education à Paris 8), on peut s’interroger sur ce qui est évalué dans PISA : « les performances des systèmes éducatifs, ou les caractéristiques culturelles des pays, ou encore l’efficacité de l’éducation des familles ? ». L’exemple de la Corée du Sud (voir e.g. l’article de Didier Muguet) illustre de manière archétypique l’importance des différences culturelles et pointe aussi un certain nombre de questions se rapportant aux objectifs scolaires ou sociétaux associés à une politique éducative. Quels enseignements tirer des pays « premiers » de la classe ? Beaucoup selon certains observateurs (dont l’OCDE) présentant régulièrement la Finlande ou la Corée du Sud comme des modèles à suivre en termes de système éducatif (voir cet article du Monde). La réalité de ces systèmes est sans doute beaucoup plus contrastée.

PISA 2000-2012 : Les scores moyens

En termes de score moyen, la France régresse sur la période 2000-2012 seulement en mathématiques (tableau 1). En termes de classement international, la France rétrograde d’une ou plusieurs places dans les trois domaines. Pour « l’écrit », cela n’est pas lié à son score absolu mais relatif (d’autres pays ont vu le leur évoluer). Pour la « culture scientifique », le seul point perdu en 12 ans pour le score moyen n’explique pas l’évolution au classement. En termes d’évolution générale, les résultats en mathématique peuvent inquiéter ; à cela se rajoute surtout celui des inégalités scolaires, masquées par le score moyen mais qui font l’objet de riches développements par PISA.

Tableau 1 : Score moyen des élèves français dans les 3 grands domaines évalués par PISA (2000-2012)

 

Sources : enquêtes PISA et calculs de l’auteur

Note 1 : 34 pays au total incorporés dans le classement, hors villes (Shangaï, Hong-Kong, etc.)

Note 2 : Les scores et le classement se réfèrent à l’année d’enquête. Les évolutions sont mesurées pour chaque enquête PISA par rapport à l’enquête 2000.

 

Des inégalités scolaires significatives et en hausse

Malgré les réserves émises plus haut, les enquêtes PISA peuvent fournir des éclairages riches et intéressants, en particulier sur les inégalités scolaires. De nombreux travaux mobilisant en effet les résultats de PISA le soulignent (voir par exemple, Baudelot et Establet, 2009, L’élitisme républicain. L’école française à l’épreuve des comparaisons internationales, ou Felouzi et Charmillot, 2012, Les enquêtes PISA). Cela confirme ce qui a pu être révélé par d’autres travaux, notamment ceux de la sociologie française, incluant les travaux influents de Bourdieu et Passeron (La Reproduction, 1970), Baudelot et Establet (L’école capitaliste en France, 1972) ou Boudon (L’inégalité des chances, 1973).

L’enquête PISA 2012 révèle ainsi de fortes inégalités dans les performances en mathématiques selon l’origine socio-économique (mesuré par l’indice composite « de statut économique, social et culturel », le SESC) ou en défaveur des enfants d’origine immigrée, et surtout un accroissement des inégalités grandissantes sur les 9 dernières années pour les performances en mathématiques (tableau 2). Ainsi, PISA 2012 montre une augmentation moyenne du score obtenu pour un point de plus sur l’échelle socioéconomique de l’OCDE de +57. En 2012, Le score moyen des élèves du groupe des 25% les plus défavorisées (index socioéconomique de l’OCDE) est de 442 contre 561 pour les 25 % les plus favorisés (écart d’environ 120 points de score). La différence de score entre les élèves d’origine française et ceux d’origine immigrée est de 67 en moyenne, et reste de 37 quand on contrôle le niveau socioéconomique. De plus, de 2003 à 2012, le bénéfice de la montée dans le niveau juste supérieure l’échelle socioéconomique a augmenté en moyenne de +14 sur le score moyen ; le score moyen des plus défavorisés s’est réduit d’environ 20 points. La différence de score natifs-migrants a encore progressé, de l’ordre de 13 points en défaveur des migrants sur la période (et même de 15 points si on contrôle pour le niveau socioéconomique).

 

Tableau 2 : Evolution des inégalités scolaires en France (score en mathématiques, 2003-2012)

 

Source : chiffres obtenus par les résultats de l’enquête PISA 2012

 

L’enquête PISA 2009 a déjà illustré la situation de l’école française en termes d’inégalités et l’augmentation de celles-ci dans le domaine de « l’écrit » : en particulier, les 20% les plus défavorisés voient sur la période 2000-2009 se réduire leur score moyen à l’écrit de 19 points (cf. tableau 3). 

 

Tableau 3 : Evolution des inégalités scolaires en France

(score en compréhension de l’écrit, 2000-2009)

Source : Felouzis et Charmillot (2012)

 

Conclusion : performance scolaire et choix éducatifs

La dimension « classement des pays » par PISA présente une forte dimension normative, surtout quand elle s’accompagne de « recettes » ou recommandations générales pour tous les pays (les risques du benchmarking sans garde-fou ?). Doit-on conclure à l’instar de Didier Muguet, que PISA est un dispositif de pouvoir, centré non par sur l’efficacité mais sur la performance, « à tout prix, quelles qu’en soient les conséquences ? ». La richesse des résultats des enquêtes PISA est cependant indéniable quand on va au-delà les comparaisons internationales et les scores moyens et qu’on observe à un niveau fin certaines ‘caractéristiques’ scolaires, notamment en termes d’inégalités.

Pour le ministre de l’éducation nationale Vincent Peillon, PISA 2012 donne raison à son objectif de « refondation de l’école ». Il paraît néanmoins difficile de tirer des enseignements en termes de bilan des politiques éducatives passées, les enseignements dont bénéficient les élèves de 15 ans n’étant pas évalués en eux-mêmes, et PISA n’intégrant pas d’évaluation qualitative tirée d’entretiens dont l’objectif serait de comprendre la manière dont se met en œuvre l’éducation (« évaluation de processus ») à travers les enseignants et la pédagogie, etc. (l’enquête PISA n’est pas de ce point de vue une évaluation de politique publique). Ainsi, la prudence est de mise pour une analyse apaisée des résultats de PISA et des questionnements induits, analyse qui devrait s’effectuer avec l’ensemble des acteurs de l’école (élèves, inspections académiques, parents d’élèves, professeurs, syndicats, etc.) et des chercheurs en éducation (sciences de l’éducation, sociologie, économie, …). Une discussion franche et nuancée autour de PISA par tous ces acteurs, sans être nécessairement centrale dans le diagnostic général sur l’école française, serait sans doute souhaitable, mais en l’élargissant à l’ensemble des travaux disponibles afin de dessiner ou préciser ce diagnostic. Le Grenelle de l’éducation appelé de ses vœux par Vincent Peillon est-il en mesure de remplir ce rôle ?

Nicolas Fleury