PISA : Le mauvais tour de peillon ou... qui veut noyer son chien...

Sud éducation Grenoble
vendredi 21 mars 2014

Les commentaires qui ont suivi la publication de l’enquête PISA ont confirmé la prophétie de Vincent Peillon qui annonçait dès octobre le « décrochage total » des performances de la France.

Qu’on se le dise : notre système agonise et s’enfonce dans les profondeurs de la statistique. Pour le ministre, ce constat désolant aura été une aubaine pour justifier ses réformes. Celle des rythmes scolaires d’abord, qui n’a pas eu l’adhésion escomptée, et celles à venir quand, espère-t-il, cette première potion aura été avalée. Du reste, à chaque édition de l’enquête, c’est la même litanie sur l’urgence de la situation, le bien-fondé des politiques du moment et l’irresponsabilité de celles et ceux qui s’y opposent.
Ce qui a pu surprendre, en revanche, c’est le déferlement d’« expert-es » aux étiquettes diverses qui se sont répandu-es dans les médias pour suggérer les remèdes les plus variés. Même les plus illuminé-es ont eu leur chance, comme l’historien réactionnaire Dimitri Casali, complaisamment invité par les chaînes, venu expliquer que la faillite du système éducatif était due aux statuts des personnels enseignants et que tout va mieux en Allemagne où les profs n’ont pas le droit de grève ! Mais essayons d’y voir plus clair en nous interrogeant sur ce que montre et ne montre pas l’enquête PISA.
Mais que mesure l’enquête PISA ?

PISA, protocole d’évaluation des systèmes éducatifs conduit par l’OCDE depuis 2000, repose sur une batterie de tests réalisés tous les trois ans auprès d’un échantillon d’élèves de quinze ans. Trois domaines de compétence : la compréhension écrite de la langue, les sciences et les mathématiques. L’enquête est renouvelée tous les trois ans en donnant la priorité à chaque session et à tour de rôle à l’un des trois domaines. Il faut donc neuf ans pour prendre une mesure précise de l’évolution des compétences dans un domaine donné.
L’objectif, selon l’OCDE, est de « mesurer l’adaptation des jeunes aux conditions de la société », celle visiblement souhaitée par l’OCDE puisque certains items complémentaires consistent, par exemple, à évaluer le cours des actions ou les conditions d’un prêt ! Sur cette base, PISA établit un classement international des systèmes éducatifs. Celui qui vient d’être publié correspond à l’enquête menée en 2012 donnant priorité aux mathématiques.
C’est le (dé)classement de la France (de la 23ème place en 2009 à la 25éme aujourd’hui, toutes disciplines confondues) qui a suscité le plus d’émotion, sans qu’on s’interroge vraiment sur la pertinence de cette donnée. Ce classement n’a de sens que sur cette courte période de trois ans, pendant laquelle le nombre d’États pris en compte n’a pas varié : soixante-cinq en 2012 comme en 2009. Avant cette date, le nombre de pays participants évolue (quarante-cinq pays par exemple en 2003), ce qui bouleverse mécaniquement la hiérarchie. En outre, les « pays » qui caracolent en tête depuis leur entrée dans le programme PISA, Shanghai, Hong-Kong et Singapour, sont des cité-États qu’il est peu probant de comparer à des États qui organisent leurs évaluations sur un territoire beaucoup plus vaste et diversifié. S’agissant de la France, sur ces trois dernières années, la baisse n’est pas uniforme : elle ne concerne que les mathématiques (moins trois places) ; l’écrit se maintient à la 21ème place, avec augmentation du nombre de points obtenus aux tests et les sciences ont progressé d’une place. Difficile dans ces conditions de parler de dégringolade.

Avant de s’alarmer, il faudrait s’interroger sur la fiabilité du thermomètre !

Les statisticien-nes de PISA admettent eux-mêmes 5 points de marge d’erreur. De quoi prendre un certain recul vis-à-vis des chiffres présentés, les écarts entre pays étant le plus souvent inférieurs à cette marge. D’autant que tous ne sont pas logés à la même enseigne vis-à-vis des critères d’évaluation. Procéder à celle-ci sur la tranche des jeunes de quinze ans n’a pas la même incidence en France, où l’âge de la scolarité obligatoire est supérieur, et dans les pays où les élèves les moins « performants » ont pour la plupart déjà quitté le système éducatif. De plus, chaque État dispose de marges d’ajustement substantielles pour constituer son panel d’évaluation. En France, la Direction de la Prospective, missionnée pour l’enquête PISA, a toujours choisi de limiter les exemptions permises par le programme. Les élèves inscrits en ZEP ou dans les IME sont ainsi surreprésentés par rapport à la moyenne sur l’ensemble des États concernés pour ce type de population scolaire… et le moins que l’on puisse dire, c’est que notre administration ne court pas après le résultat, contrairement à ce qui peut se passer ailleurs ! Évoquons aussi les différences entre systèmes de notation de pays à pays qui influent sur leur traduction en points PISA, l’absence de prise en compte de la variabilité des méthodes pédagogiques favorisant les systèmes qui recourent aux évaluations par QCM, etc.
Difficile donc de tirer la moindre leçon du classement PISA, surtout lorsque les variations sont minimes, comme pour la France. Nous nous situons dans la moyenne des pays de l’OCDE, comme en 2009, perdant deux places et quelques points, voilà tout. Les rapporteurs en disent d’ailleurs peu de choses. Le point qu’ils soulignent en revanche, concernant la France, c’est l’augmentation des écarts entre les résultats des meilleurs et des moins bons élèves. Cela dévoile d’ailleurs une tendance lourde, propre à notre système éducatif, plus significative que les données comparatives qui, nous l’avons vu, n’ont pas beaucoup de sens : la France, championne des inégalités scolaires !
Les enquêtes de l’INSEE démontrent d’ailleurs l’accroissement entre les niveaux de vie des plus riches et des plus pauvres et l’augmentation du nombre de personnes vivant au-dessous du seuil de pauvreté, qui dépasse à présent 14% de la population ! Aucun mot du ministre sur ce sujet lorsqu’il s’agite à la télé en brandissant le rapport PISA, pas plus sur les salaires dans l’Éducation nationale, pointés par ce même rapport comme les plus bas des pays de niveau comparable..
Comme pour ses prédécesseurs ou certains de ses homologues européens actuels, ces enquêtes servent surtout à tenter de légitimer les réformes douloureuses qu’on voudrait nous faire accepter. Pas sûr qu’elles suffisent à nous endormir...