Il n’est désormais plus question de présenter PISA, universellement connue pour évaluer le niveau de compétences en lecture, mathématiques et culture scientifique des élèves de 15 ans dans les pays de l’OCDE. La communication des résultats de cette enquête génère à chaque édition des papiers divers et variés commentant le niveau des élèves français par rapport à leurs homologues de l’OCDE. Il est toutefois important de rappeler que les résultats de ces enquêtes nécessitent quelque discernement afin de ne pas tomber dans des stéréotypes faciles. En effet, afin que les élèves soient en mesure de répondre de façon égalitaire, il est essentiel que les questions posées portent sur des extraits de programme communs à tous les pays concernés par le champ de l’enquête ; il est en outre nécessaire que les élèves soient préparés aux types d’exercices qui leur seront soumis. André Antibi, dans son dernier ouvrage*, explique par exemple que « dans les programmes français de mathématiques, il y a de nombreux point intéressants, susceptibles de développer l‘abstraction, l’aptitude de l’élève à raisonner, à poser un problème. [Mais] ces parties du programme ne sont presque pas évaluées dans PISA car elles ne figurent souvent pas dans les programmes d’autres pays. »
Malgré toute l’attention qui doit être portée à l’interprétation de ces enquêtes, l’une d’entre elles mérite, tout comme PISA, que l’on en apporte un éclairage à la lueur de paradoxes relevés par André Antibi et d’éléments apportés par un article de Martine Rémond.
PIRLS (Progress in International Reading Literacy Study) est une enquête organisée tous les 5 ans par l’IEA (association internationale pour l’évaluation des compétences scolaires) et évalue les performances en lecture des élèves à la fin de leur 4ème année de scolarisation obligatoire, moment où les élèves ne lisent plus seulement pour apprendre à lire, mais pour apprendre au sens large du terme. Les élèves français concernés sont en classe de CM1. Les items proposés dans cette enquête ont vocation à évaluer les compétences en lecture (prélever des informations, faire des inférences directes, interpréter et assimiler des idées et des informations) ainsi que les objectifs donnés à la lecture (lire pour accéder aux textes littéraires, lire pour acquérir et utiliser des informations).
Cette enquête a été menée pour la première fois en 2001 dans 35 pays, parmi lesquels 28 ont également participé à la seconde édition menée en 2006 (dont la France).
Les items proposés dans PIRLS d’une édition sur l’autre restent pour 40 % d’entre eux les mêmes ; par conséquent, si PIRLS permet de comparer les résultats d’une nation avec les autres, elle offre de plus la possibilité d’une comparaison dans le temps au sein d’une même nation.
La Note d’Information 08.14 publiée en mars 2008 apporte des commentaires préoccupants concernant les résultats des élèves français ; résultats à mettre en relation, quelques années plus tard, avec ceux obtenus dans PISA sur les questions de compréhension de l’écrit. En effet, « face aux 45 pays de l’étude, la France n’est pas trop mal classée, mais, comparée aux pays de l’Union européenne participant à l’étude, elle n’a plus derrière elle que l’Espagne comme pays de taille comparable. Sur l’ensemble de l’évaluation, la France se situe de manière statistiquement significative au-dessus de la moyenne internationale : les élèves français obtiennent un score moyen de 522, soit près d’un quart d’écart type au-dessus de la moyenne internationale fixée à 500 points. [… Après] un changement d’échelle en prenant en compte uniquement les 21 pays de l’UE actuelle [de 2006] participant à l’étude, la France obtient un score de 482, ce qui est significativement inférieur à la moyenne fixée à 500 points. […] »
Cette même note d’information met également l’accent sur la surreprésentation des élèves français dans le groupe le plus faible (36 % d’élèves français contre 25 % pour les élèves des pays de l’UE) et sur leur sous-représentation dans le groupe de plus fort niveau (17 % d’élèves français contre 25 % pour les élèves des pays de l’UE).
Si le score moyen des élèves français n’a pas significativement baissé entre 2001 et 2006 (respectivement 525 et 522 points), la stabilité de 40 % des items entre 2001 et 2006 et le croisement avec des critères socio-économiques permettent de dégager les évolutions suivantes :
- La perte de points entre les 2 éditions est homogène pour les 2 sexes
- Les élèves français dans le public hors ZEP ont vu leur moyenne baisser de 12 points
- Les élèves français dans le privé ont vu leur moyenne augmenter de 11 points
- Que les textes proposés soient informatifs ou narratifs, les résultats des élèves français sont en dessous de la moyenne des pays de l’UE (informatifs = 491 ; narratifs = 474) ; et c’est en France que la différence de niveau entre les 2 types de textes est la plus forte.
- En matière de compétence, les élèves français sont également en dessous de la moyenne. La compétence « prélever l’information » bénéficie d’un score proche de la moyenne avec 497 points ; en revanche, la compétence faisant appel à la critique, à la compréhension profonde, à savoir « interpréter et apprécier » n’obtient que 480 points. Il résulte de ceci que la principale difficulté des élèves français concerne la « réflexion critique »
- En matière de format des réponses attendues, les élèves français réussissent mieux lorsqu’ils sont soumis à QCM (68 %) que lorsqu’il est question de rédaction (52 %) ; de même, plus la réponse sous forme rédactionnelle doit être longue, moins les élèves français réussissent. L’écrit construit pose donc problème.
- Le taux de non réponse chez les élèves français est relativement faible lorsqu’ils sont soumis à QCM (2 %) ; il atteint 10 % pour les réponses rédigées, voire 16 % lorsque ces réponses doivent être de longueur conséquente. C’est le plus fort taux de non-réponse parmi les pays européens.
PIRLS et PISA tendent à montrer que le pourcentage d’élèves français présents dans le plus bas niveau augmente. En revanche, PISA montre que le bas niveau tend à devenir de plus en plus faible édition après édition, ce qui n’est pas le cas avec PIRLS, qui établit une stagnation du faible niveau.
Les deux enquêtes démontrent que, si les élèves de 10 ans et de 15 ans sont relativement à l’aise dans des tâches visant à retrouver l’information, ils le sont nettement moins lorsqu’il s’agit de réfléchir et de s’inscrire dans le raisonnement intellectuel critique.
L’article de Martine Rémond intitulé Eclairages des évaluations internationales PIRLS et PISA sur les élèves français paru au n° 157 (octobre-décembre 2006) de la Revue française de pédagogie établit que les résultats des élèves des pays anglophones sont meilleurs pour les compétences liées à la réflexion que pour celles liées à l’information simple ou à l’interprétation. Il cite également PIRLS 2001 Encyclopaedia qui, pour chaque pays, présente les programmes et les politiques d’enseignement de la lecture. Il s’avère que, dans tous les pays anglophones, la compétence « reflect on » est inscrite aux programmes d’enseignement de la lecture, et que « la réflexion critique fait l’objet d’évaluations dans des dispositifs centralisés », ce qui n’est pas le cas dans les pays non anglophones.
Sans aller jusqu’à parler d’illettrisme, il y a donc lieu de s’interroger sur l’absence de valorisation de la dimension réflexive dans les programmes pédagogiques français, et ce dès le plus jeune âge. Difficultés dans les exercices rédactionnels construits, absence ou carence en autonomie, maintien trop prégnant dans des habitudes scolaires, sont révélés par les différentes études et tests, et démontrent des « défauts métacognitifs » selon Martine Rémond.
Dans son dernier ouvrage, André Antibi met le doigt sur 50 paradoxes qui touchent le système éducatif français. Parmi eux, quelques-uns, liés à la subjectivité de l’humain, viennent apporter un éclairage à la thèse de Martine Rémond.
Effectivement, André Antibi s’est attaché à étudier les définitions données par des enseignants (de lycée, d’université débutants, et des élèves-professeurs en mathématiques) aux mots ou expressions « apprendre par cœur », « donner du sens », « comprendre » et « difficile ».
A l’expression « apprendre par cœur », 39 % des professeurs de lycées et 53 % des professeurs débutants d’université, ainsi que 53 % des élèves-professeurs en mathématiques associent la définition « sans comprendre ». A la même question, 24 % des enseignants belges auxquels André Antibi à soumis ces définitions voient en « l’apprendre par cœur » quelque chose de positif. Il est alors possible de s’interroger sur le bien-fondé de la recherche de sens et de compréhension totale qui prédominent dans les méthodes pédagogiques de certains enseignants. Certaines matières, certaines notions ne sont-elles pas tout simplement vouées à être emmagasinées, « apprises par cœur » ?
D’ailleurs, à l’expression « donner du sens », si la majorité des enseignants sondés apportent une définition visant à accroître la « compréhension » des élèves, souvent via l’utilisation d’exemples, 14,5 % des professeurs interrogés (moyenne des trois populations enseignantes sus citées) voient par cette méthode la possibilité de « justifier l’utilité » de leur matière ou de la notion abordée. « Donner du sens » aurait par conséquent un but utilitaire alors qu’aucun professeur ne mentionne l’idée phare consistant à « établir des liens » ou « connecter » entre elles diverses notions.
Quant au « comprendre », si pour 30 % des enseignants sollicités (toujours en moyenne des trois populations) y associent la notion d’appropriation, seulement 19 % y associent le fait de pouvoir « expliquer » les choses, et pire, 10 % la capacité de les restituer.
Enfin le « difficile » est synonyme « d’effort à produire » chez 37 % des enseignants interrogés, de « besoin de réflexion » pour 20 % d’entre eux, mais de « mobilisation de plusieurs connaissances » chez seulement 10 % d’entre eux.
Ces éléments viennent renforcer l’idée de « défauts métacognitifs » mis en évidence par Martine Rémond. En effet, selon les définitions qu’ils accordent aux mots, les enseignants vont mettre en place des méthodes pédagogiques différentes, n’assurant pas aux élèves les mêmes chances de réussite, ni les mêmes risques d’échec.
Il n‘en demeure pas moins que ces enquêtes revêtent un intérêt dans la mesure où, toutes précautions prises, elles permettent de situer le niveau des élèves en fonction de divers critères et d’en évaluer l’évolution.
Les résultats de PIRLS 2006 concernaient des enfants de CM1, enfants qui, sans erreur de parcours, seront soumis à PISA dans sa prochaine édition de 2012.
* 50 paradoxes dans l’enseignement : pour en rire ou pour en pleurer / Antibi.- Math’Adore, 2011
