Logosetpraxis

Régulièrement, les résultats de l’enquête PISA alimentent les commentaires des médias et du monde politique. Tout le monde y va de son analyse et essaye de tirer argument des scores obtenus pour justifier des propositions de réformes du système scolaire. L’enquête PISA est donc considérée par les médias, par les experts (McKinsey, p. ex.) et les décideurs comme un outil de pilotage du système éducatif. Rares par contre sont les voix qui relativisent – ou contestent – cette analyse et qui considère que PISA est une de ces illusions pseudo scientifique dont notre monde technocratique est si friand.

Constatons d’abord que, quand PISA alimente les conversations de salon ou les commentaires des forums internet, les résultats qui sont discutés le sont par des gens qui n’ont qu’une connaissance très limitée de l’enquête dont ils parlent. Pourtant, la petite brochure qui présente les résultats 2015 est claire et d’une lecture aisée[i].

Constatons ensuite que vouloir transformer une analyse chiffrée des ‘performances’ des élèves de 72 pays membres de l’OCDE en outil de pilotage permettant d’orienter les choix politiques qui orientent les politiques éducatives est pour le moins audacieux. Pour que ce soit possible, il faudrait qu’on puisse tirer des conclusions univoques des résultats statistiques que fournit l’enquête. Or, une analyse rapide et comparée des scores et des choix politiques montre que les résultats servent d’alibi pour des choix idéologiques et pas comme outils de réforme. Ceci n’est guère étonnant puisque les scores attribués (sur la qualité desquels je reviendrai) ne permettent pas de conclure en faveur de tel ou tel système.

En 2015, la Finlande et le Japon figurent dans le top 5 des résultats en sciences, en mathématiques et en lecture. Or, chacun sait que ces deux pays ont des modèles éducatifs radicalement différents. On encense chez nous le modèle finlandais où le redoublement est interdit, le soutien aux élèves en difficulté très développé, etc. Par contre, le modèle japonais est décrit comme hyper compétitif avec un recours généralisé aux cours complémentaires et passe parfois pour pousser les étudiants au suicide. Pourtant les élèves japonais et finlandais ne sont séparés que par quelques points, dès lors qu’en conclure ?

Comme personne ne lit le document de l’OCDE, tout le monde cite des chiffres sans trop se poser de questions. On nous répété à l’envi que le score des élèves belges a reculé par rapport à 2012 (respectivement de 3, 4 et 5 points pour les sciences, la lecture et les maths.). On nous a même présenté de beaux graphiques (en chute, pour nous faire frémir) à la télévision. Mobilisation générale, la Belgique en danger ! Or, quand on regarde le tableau des résultats qui se trouve dans la brochure, que voit-on ? Plus de 200 scores (3 scores x 72 pays) sont présentés, dont une vingtaine, apparaissent en gras (??). Il faut aller rechercher une discrète note en bas de page pour obtenir une information qui n’est pas anodine : les résultats en gras sont les seuls qui sont statistiquement significatifs ! Pour revenir au cas belge, seul, le résultat en mathématiques appartient à cette catégorie. Les deux autres scores sont dans l’intervalle de confiance statistique et ne sont donc pas significatifs.

Autre élément de réflexion, l’organisation même de l’épreuve. Personne n’insiste trop sur cet aspect des choses, et pourtant.

1° l’épreuve n’est pas passée par tous les élèves de 15 ans, mais par un échantillon dont la taille est proportionnelle à la population scolaire du pays. Cette pratique n’a rien d’exceptionnel, passons. Ce qui est un peu plus interpellant c’est que l’échantillon sélectionné ne présente pas la totalité de l’épreuve, mais seulement une de ses trois parties. Les résultats obtenus sont alors extrapolés aux autres épreuves. Sans vouloir nier la compétence des statisticiens qui se livrent à ces savants calculs, on peut probablement trouver dans cette méthodologie une explication du faible nombre de résultats significatifs obtenus.

2° on s’inquiète assez peu, me semble-t-il, d’une exigence minimale pour une épreuve de ce type : la fidélité. Autrement dit l’épreuve mesure-t-elle toujours bien la même chose d’une fois sur l’autre ? Or certains chiffres présentés posent question. Le modèle finlandais, tant vanté, affiche des reculs, significatifs, dans tous les secteurs. L’Argentine affiche des progrès étonnants (51, 46 et 38 points). Peut-on dès lors être certain que l’épreuve est d’une difficulté constante dans le temps ? Ou faut-il au contraire penser que le modèle finlandais ne fonctionne plus aussi bien qu’avant et que les Argentins ont trouvé la recette éducative miracle ?

Une première conclusion serait donc qu’un certaines caractéristiques méthodologiques de l’épreuve PISA devraient, à tout le moins, inciter ceux qui en parlent à un minimum de prudence dans les conclusions tirées de chiffres dont la validité statistique est assez aléatoire. Par ailleurs, il est évident qu’il n’existe qu’un lien très ténu entre les performances mesurées et la structure des systèmes éducatifs. La complexité de ceux-ci rend difficile la mise en évidence de corrélations claires entre la sélectivité du parcours, la longueur du parcours scolaire, le volume hebdomadaire des cours, etc., et les résultats aux épreuves.

En fait les seules certitudes qu’on peut tirer de PISA tiennent à leur rôle politique et médiatique. Une fois les chiffres connus, le politique s’en empare pour promettre une progression d’ici au prochain test. L’opposition s’en sert pour critiquer le ministre en place. Deux pays voisins peuvent, sans s’interroger davantage, invoquer PISA pour prendre des mesures opposées au nom d’un objectif identique. Mme Valaud – Belkacem voulait supprimer le latin au nom du renforcement de l’égalité, alors que le Pacte d’Excellence envisage du latin pour tous dans son ‘tronc commun polytechnique’.

On ne sort pas de ce qui constitue la difficulté majeure de la gestion des systèmes éducatifs, ils n’échappent pas à l’idéologie, donc à l’irrationnel. La pratique du benchmarking international a-t-il une utilité réelle dans l’amélioration des systèmes éducatifs ? N’est-il pas vain de croire que l’on pourra tirer des leçons utiles de ce qui se passe à Singapour pour améliorer l’enseignement à Charleroi ou à Bruxelles ?

PISA, comme la plus jolie fille du monde, ne peut offrir plus qu’elle n’a. La surestimation des résultats qu’elle produit, les conclusions hâtives qu’elle suscite ne contribuent pas, telles quelles, à garantir nécessairement une meilleure efficience. Les prochaines éditions devraient porter un avertissement aux lecteurs : “ à utiliser avec précaution ”.

[i] PISA  2015 – résultats à la loupe, sur le site de l’OCDE.