Quand McKinsey et l’OCDE oublient les données brutes et extrapolent sur la base d’un modèle peu convaincant

Dans son rapport sur l’évolution du métier d’enseignant, le cabinet McKinsey propose l’idée de rémunérer les enseignants au mérite, et utilise, en guise d’argument, une affirmation de l’OCDE selon laquelle la rémunération au mérite permet d’améliorer les résultats des élèves lorsque les professeurs sont mal payés (comme en France) tandis que cela aurait l’effet inverse lorsque les professeurs sont bien payés.

Cette affirmation se base sur le graphique suivant, issu d’un document de l’OCDE intitulé Does performance-based pay improve teaching ? dans lequel on trouve le graphique suivant :

Ce graphique a été repris, moyennant quelques variations visuelles, dans la page 38 du document Approfondissement Valorisation du Mérite_vf de McKinsey, que vous trouverez en fin d’article :

Ce modèle suggère également que les résultats des élèves sont positivement corrélés à la rémunération de base des enseignants. Il est étonnant que cette proposition ne soit pas évoquée.

Nous pouvons afficher les nuages de points issus des données brutes fournies avec l’étude ainsi que leurs droites de régression linéaire respectives. Je vous laisse juge de la pertinence de résumer ces données par une simple droite :

Les points pouvant s’éloigner très fortement des droites qui sont censées les modéliser, il est complètement vain d’utiliser celles-ci avec une visée prédictive.

Pour juger de la pertinence de ce modèle, il est également intéressant de jeter un œil à deux grandeurs annexes :

  • L’intervalle de confiance, qui permet de visualiser l’incertitude sur l’emplacement de la droite, est une zone dans laquelle la droite a, compte-tenu de la variabilité des données, 95% de chances de se trouver.
  • L’intervalle de fluctuation, qui permet de visualiser l’incertitude sur l’emplacement des données, est une zone dans laquelle celles-ci ont 95% de chances de se trouver.

On obtient alors le graphique suivant :

On peut constater sur celui-ci qu’il y a une forte incertitude sur le modèle, l’intervalle de confiance de chacune des droites nous indiquant qu’il y a une probabilité non négligeable pour que la droite bleue des pays qui pratiquent la prime au mérite soit en réalité en-dessous de la droite orange des pays qui ne la pratiquent pas.

De plus, les intervalles de fluctuation se recouvrent de manière tellement large qu’il est impossible d’affirmer qu’un pays qui mettrait en place une prime au mérite (ou l’abandonnerait) puisse constater un effet sur les performances des élèves.

On notera également qu’aucune donnée des pays pratiquant la prime au mérite ne se trouve dans la partie droite du graphique, ce qui n’a pas empêché l’OCDE de prolonger la droite correspondante afin d’en conclure quelque chose pour les pays dans lesquels les professeurs sont bien payés. On remarquera cependant que les pays dans lesquels les professeurs sont bien rémunérés ne pratiquent pas la prime au mérite.

Le document technique fourni par l’OCDE nous indique que leur analyse est en réalité plus complexe qu’une simple régression linéaire et inclut des données qui ne sont pas présentes dans le fichier xls fourni avec l’étude, ainsi que des variables qui sont passées sous silence dans le document principal.
Si d’autres variables permettent d’expliquer les fortes variations observées lorsqu’on compare la performance des élèves en lecture et le salaire des enseignants ramené au PIB par habitant, ces variables devraient être mentionnées dans le document principal. Cela signifie qu’il existe d’autres leviers dont il serait intéressant de quantifier les effets.
Par ailleurs, si la corrélation est significative, cela implique que les données se trouvent proches d’un hyperplan qui ne saurait être résumé par une unique droite :
– d’une part, rien ne nous garantit que les deux droites soient dans la même position l’une par rapport à l’autre si on observe une autre intersection des hyperplans correspondants ;
– d’autre part, l’incertitude due à la variabilité des données devrait être quantifiée en faisant apparaître les intervalles de confiance et de fluctuation des hyperplans : plus cette dispersion est importante, plus la valeur prédictive du modèle est faible.

On peut également lire dans ce document technique que le Canada, le Chili, la France, le Mexique, la Nouvelle-Zélande, la Slovaquie et la Turquie ont été exclues de l’étude en raison de données manquantes. On constate cependant que pour 4 de ces pays, la pratique de la prime au mérite est connue, et que chacun de ces pays a un score de lecture inférieur à la moyenne des pays retenus pour l’étude (qui est de 497). Ce score de lecture est même inférieur pour 3 d’entre eux à celui de l’Autriche (qui est de 470, score le plus faible de toute l’étude).

PaysPerformance moyenne en lecturePrime au mériteSalaire des enseignants en % du PIB/hab.
Canada524n.c.n.c.
Chili449ouin.c
France496n.c.105
Mexique425ouin.c
Nouvelle-Zélande521n.c.142
Slovaquie477ouin.c.
Turquie464ouin.c.

Ajouter ces 4 pays ayant de faibles performances en lecture aux 12 points de données existants est susceptible de déplacer la droite bleue (plus exactement l’hyperplan sous-jacent) vers le bas du graphique, et possiblement modifier sa pente, ce qui peut radicalement changer les conclusions de l’étude.

Un grand merci à @JulienGossa et @_MickaelM_ pour avoir initié la réflexion.

Code Python utilisé pour générer les graphiques :

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import statsmodels.formula.api as smf

df = pd.read_csv('perf_remu_OCDE.csv')
moyenne = df['Mean_perf'].mean();
df['Mean_perf']-=moyenne
df['YSALARY']*=100
df.sort_values(by=['YSALARY'], inplace=True)
df_oui = df.loc[df['TPP']=='oui']
df_non = df.loc[df['TPP']=='non']

name_x = 'salaire enseignant en % du PIB par habitant'
name_y = 'score lecture PISA - score moyen'
name_hue = 'prime au mérite'

alpha = .05
results1 = smf.ols('Mean_perf ~ YSALARY', df_oui).fit()
predictions1 = results1.get_prediction(df_oui).summary_frame(alpha)
results2 = smf.ols('Mean_perf ~ YSALARY', df_non).fit()
predictions2 = results2.get_prediction(df_non).summary_frame(alpha)


x1 = df_oui['YSALARY']
y1 = df_oui['Mean_perf']
x2 = df_non['YSALARY']
y2 = df_non['Mean_perf']

fig, ax = plt.subplots(figsize=(12, 6.75), dpi=80)

ax.fill_between(x1, predictions1['obs_ci_lower'], predictions1['obs_ci_upper'], alpha=.1, color='royalblue', label='Intervalle de fluctuation avec prime au mérite')
ax.fill_between(x2, predictions2['obs_ci_lower'], predictions2['obs_ci_upper'], alpha=.1, color='darkorange', label='Intervalle de fluctuation sans prime au mérite')

ax.fill_between(x1, predictions1['mean_ci_lower'], predictions1['mean_ci_upper'], alpha=.5, color='royalblue', label='Intervalle de confiance avec prime au mérite')
ax.fill_between(x2, predictions2['mean_ci_lower'], predictions2['mean_ci_upper'], alpha=.5, color='darkorange', label='Intervalle de confiance sans prime au mérite')

ax.plot(x1, predictions1['mean'], color='royalblue', label='Modèle linéaire avec prime au mérite')
ax.plot(x2, predictions2['mean'], color='darkorange', label='Modèle linéaire sans prime au mérite')

ax.scatter(x1, y1, label='Avec prime au mérite', marker='o', color='royalblue')
ax.scatter(x2, y2, label='Sans prime au mérite', marker='o', color='darkorange')


plt.xlabel(name_x)
plt.ylabel(name_y)
plt.legend(loc ="lower right")

fig.savefig('data.png')

Fichier csv contenant les données utilisées par le programme :

Annexes d’approfondissement du rapport McKinsey :

Salaires des professeurs de l’Éducation nationale : annonces grandiloquentes et déclassement au long cours

Depuis quelques années, les rares augmentations du salaire des enseignants font l’objet d’une communication qui n’est malheureusement pas en adéquation avec la réalité :

  • En 2016, vousnousils, magazine en ligne traitant d’éducation, relaie l’annonce d’une « forte revalorisation des carrières dans le cadre du PPCR [NDLR : Parcours professionnels, carrière et rémunération] », qui entrera en vigueur en 2017.
    Or, dans une note d’information de septembre 2020, la DEPP [NDLR : Direction de l’évaluation, de la prospective et de la performance] constate « Si, en 2017, l’entrée en vigueur du protocole Parcours professionnels, carrière et rémunération avait fortement dynamisé les salaires des enseignants déjà rémunérés par le ministère de l’Éducation nationale l’année précédente, en 2018, sous l’effet d’une inflation plus forte, ils ont en moyenne vu leur salaire net stagner en euros constants ».
  • Le 20 décembre 2019, Jean-Michel Blanquer, alors ministre de l’Éducation nationale, annonce que l’on est « à la veille d’une revalorisation historique des professeurs en France ».
    Le 18 novembre 2020, vousnousils dresse le bilan : « À partir de mai 2021, les enseignants débutants toucheront donc une prime de 100 euros nets par mois, et cette dernière sera dégressive sur les 15 premières années de carrière. De ce fait, les deux tiers des professeurs seront écartés de cette mesure, et ceux ayant entre 11 et 15 ans d’ancienneté ne toucheront que 36 euros nets de plus par mois ».
  • En juin 2022, Stanislas Guérini, ministre de la Transformation et de la Fonction publiques, annonce « La plus forte augmentation [NDLR : du point d’indice] depuis 1985, soit 37 ans ».
    Il omet bien entendu de mentionner que cette augmentation de 3,5% a été précédée d’une stagnation non moins historique : 5 ans et 5 mois sans augmentation pendant lesquels l’indice des prix à la consommation a augmenté, lui, de 11,9%.
  • En septembre 2022, Pap Ndiaye, le ministre de l’Éducation nationale promet une « revalorisation historique » et annonce une hausse de la rémunération de « 10% en moyenne » en 2023 dans un contexte où l’inflation dépasse 6% par an.
    Il annonce également que les professeurs qui accepteront des tâches supplémentaires pourront voir leur rémunération augmenter « jusqu’à 25% » dans certains cas particuliers. Si le ministère du travail s’empare de cette idée, nul doute qu’un retour aux 39 heures sera proposé aux salariés afin de maintenir leur pouvoir d’achat.

Le schéma semble désormais bien établi : des années de discussions et d’annonces grandiloquentes pour, au final, accoucher de mesurettes qui échouent ne serait-ce qu’à compenser l’augmentation du coût de la vie.
On peut constater dans le tableau suivant que la valeur du point d’indice a suivi d’assez près l’inflation (indice des prix à la consommation) jusque dans les années 1990, ce qui n’est plus le cas depuis.

DécennieNombre de revalorisations du point d’indicePourcentage de revalorisation du point d’indicePourcentage d’augmentation de l’indice des prix à la consommation
1970-197954171%140,6%
1980-19893284,6%95%
1990-19991918,8%19,2%
2000-2009158,5%18,5%
2010-201931,7%12%
2020-2022 (incomplète)13,4%8,7%
Évolutions comparées du point d’indice et de l’indice des prix à la consommation

Il est important de noter que ce décrochage n’est pas un phénomène général.
Entre 1990 et 2022, le SMIC mensuel brut a augmenté de 118%, et le salaire médian net du secteur privé a augmenté de 133% entre 1990 et 2020, ce qui compense plus que largement l’inflation – l’indice des prix à la consommation ayant augmenté respectivement de 71% et de 58% sur chacun de ces deux intervalles de temps.
Nous évoquions déjà ce phénomène l’an dernier.

Au sein de la fonction publique, certains corps ont vu le blocage du point d’indice compensé en partie par une revalorisation des grilles ou des primes, ce qui n’a été le cas qu’à la marge pour les enseignants.
Cette revalorisation au cas par cas entraîne une perte de lisibilité globale des salaires de la fonction publique : à une augmentation régulière du point d’indice – permettant à tous les salaires de la fonction publique de suivre l’augmentation du coût de la vie – a succédé une série d’augmentations fragmentaires, aboutissant à une décorrélation des salaires des différents corps de la fonction publique ; certains décrochant plus violemment que d’autres.

En utilisant le générateur de graphiques de notre Observatoire des salaires des enseignants de l’Éducation nationale, nous pouvons constater qu’entre 1990 et 2022 le pouvoir d’achat :
– a baissé de 8% pour les certifiés débutants,
– a baissé de 12 à 23% pour les certifiés ayant 12 ans d’ancienneté,
– a baissé de 17% pour les certifiés ayant 32 ans de carrière (et potentiellement de seulement 2% pour les rares élus à la nouvelle classe exceptionnelle).

Évolution du pouvoir d’achat des professeurs certifiés depuis 1990

Comme nous l’avons mentionné plus haut, le pouvoir d’achat des salariés du privé a, dans l’ensemble, augmenté. Il est donc intéressant de voir où se situe le salaire des enseignants par rapport à la distribution des salaires du privé.
On constate alors qu’un certifié ayant 32 ans de carrière en 2020 se trouve à la même place qu’un certifié ayant 12 ans de carrière en 1990 ; et qu’un certifié ayant 12 ans de carrière en 2020 se trouve à la même place qu’un enseignant débutant en 1990.
Si cette tendance venait à perdurer encore 30 ans, un enseignant en fin de carrière dans les années 2050 se trouverait à la même place dans l’échelle salariale qu’un enseignant débutant en 1990.

Évolution de la place dans l’échelle salariale des professeurs certifiés depuis 1990

Cette tendance de long terme conduit parfois à des situations individuelles ubuesques : un certifié, qui débutait en 2013 au-dessus du salaire médian (50% sur l’axe des ordonnées du graphique suivant), a pu voir son salaire passer en-dessous du salaire médian après 7 ou 8 ans d’ancienneté.

Évolution d’un certifié ayant débuté en 2013 par rapport à la distribution des salaires du secteur privé

Force est de constater que la réalité des chiffres ne s’accorde malheureusement pas aux superlatifs des discours. Nos décisionnaires utilisent la même rhétorique que les climato-sceptiques : présenter avec insistance les quelques moments où la météo est clémente pour mieux occulter le fait que l’évolution du climat est néfaste et que rien de conséquent et véritablement efficace n’est fait pour infléchir la tendance.
Ce déclassement salarial des enseignants est probablement une des causes majeures de la pénurie de candidats. Faire perdurer une telle situation ne peut qu’aboutir à des conséquences délétères de long terme : manque d’enseignants dans les classes, recrutement de personnes ayant un niveau de plus en plus faible, augmentation du turnover et perte d’enseignants expérimentés.
Ce sont les élèves qui, in fine, vont payer – et payent déjà – le prix fort de ces politiques.

Évolutions comparées des salaires des enseignants français et de l’OCDE

Afin d’approfondir la comparaison entres les salaires des enseignants de France et du reste de l’OCDE esquissée dans cet article, voici quatre graphiques concernant respectivement les enseignants :
– du deuxième cycle du secondaire ;
– du premier cycle du secondaire ;
– du primaire ;
– de l’éducation de la petite enfance.

Sont représentés sur chacun d’entre eux le salaire brut des enseignants français (ligne rouge) ainsi que les salaires bruts médian (ligne bleue) et moyen (pointillés bleus) de la sélection de pays de l’OCDE pour lesquels les données sont disponibles sur l’intégralité de l’historique depuis l’an 2000 [1].
Sont indiqués en bleu clair, à titre indicatif, les salaires bruts de l’ensemble des pays de l’OCDE (cela inclut des pays pour lesquels les données de certaines années sont manquantes, ce qui rend les comparaisons au fil du temps moins pertinentes).
Dans ce qui suit, les termes médiane et moyenne de l’OCDE correspondront aux courbes bleues foncées (calculées uniquement avec les pays ayant des données pour chaque année).

On peut constater qu’à l’inverse des médiane et moyenne de l’OCDE, le salaire des enseignants français a globalement diminué depuis l’an 2000.
Excepté pour les enseignants de la petite enfance, le salaire des enseignants français, qui était au-dessus de la médiane et de la moyenne de l’OCDE en 2000, est passé avant 2005 en-dessous de ces valeurs, dénotant un déclassement par rapport aux autres pays.

Si les salaires des enseignants du deuxième cycle de secondaire avaient évolué de la même manière que la médiane de l’OCDE, ceux-ci seraient supérieurs de 14,2% à leur valeur actuelle ; et de 17,6% s’ils avaient évolués comme la moyenne de l’OCDE.

Si les salaires des enseignants du premier cycle de secondaire avaient évolué de la même manière que la médiane de l’OCDE, ceux-ci seraient supérieurs de 14,4% à leur valeur actuelle ; et de 21,4% s’ils avaient évolués comme la moyenne de l’OCDE.

Si les salaires des enseignants du primaire avaient évolué de la même manière que la médiane de l’OCDE, ceux-ci seraient supérieurs de 17,4% à leur valeur actuelle ; et de 21,7% s’ils avaient évolués comme la moyenne de l’OCDE.

Si les salaires des enseignants de la petite enfance avaient évolué de la même manière que la médiane de l’OCDE, ceux-ci seraient supérieurs de 30,9% à leur valeur actuelle ; et de 24,7% s’ils avaient évolués comme la moyenne de l’OCDE.
Il semblerait que l’on observe ici une combinaison du déclassement des enseignants français couplé à une forte revalorisation dans le reste de l’OCDE.

Sources :
Données brutes OCDE
Données reformatées issues de ces données brutes

[1] Pays dont les données sont disponibles sur tout l’intervalle de temps, et formant la sélection retenue dans les graphiques correspondants :

  • 2ème cycle du secondaire : Autriche, Danemark, Finlande, France, Grèce, Hongrie, Irlande, Israël, Italie, Japon, Slovénie, Turquie, USA
  • 1er cycle du secondaire : Autriche, Danemark, Finlande, France, Grèce, Hongrie, Irlande, Israël, Italie, Japon, Mexique, Slovénie, Turquie, USA
  • primaire : Autriche, Danemark, Finlande, France, Grèce, Hongrie, Irlande, Israël, Italie, Japon, Mexique, Slovénie, Turquie, USA
  • petite enfance : Danemark, Finlande, France, Grèce, Hongrie, Israël, Mexique, Turquie

Graphiques interactifs : évolution des salaires dans l’Éducation nationale

La page suivante vous propose quatre outils interactifs permettant de suivre le pouvoir d’achat des enseignants ainsi que leur place par rapport à la distribution des salaires dans le secteur privé.

Déclassement des salaires : pourquoi il serait raisonnable d’augmenter les enseignants d’au moins 20% sans contrepartie

[MAJ du 16/12/2021]

La pétition dont il est question à la fin de cet article a été classée de manière prématurée hier par le président de la commission éducation de l’Assemblée Nationale : https://twitter.com/stylos_les/status/1471363208678154245
Il n’est donc plus possible de la signer, alors que son expiration devait initialement intervenir en juin 2022.

[Fin de la MAJ]

Ces derniers temps, certains articles de presse parlent de la revalorisation des retraites complémentaires Agirc-Arrco, qui est inférieure à l’inflation depuis quelques années. Ceci entraîne donc une perte de pouvoir d’achat pour les retraités.
Or, cela fait au moins 20 ans que les enseignants français se trouvent dans cette situation : 20 ans de salaires qui augmentent moins vite que l’inflation, 20 ans de perte de pouvoir d’achat.
On observe un véritable décrochage des traitements de la fonction publique par rapport au coût de la vie. Et ce décrochage est encore pire si on le compare aux salaires du secteur privé.
Cet article se focalise sur le traitement des fonctionnaires de catégorie A, dont font partie les enseignants, mais un constat similaire peut être fait en ce qui concerne les fonctionnaires des autres catégories.

Depuis début 2001, le SMIC horaire brut a augmenté de 63% et le salaire net médian équivalent temps plein du secteur privé de 46,5% (donnée de 2019, les données plus récentes n’étant pas encore disponibles).
Pendant ce temps, l’indice des prix à la consommation a progressé de 37,9%. Les salaires ayant augmenté plus rapidement que les prix, le pouvoir d’achat des employés du secteur privé a augmenté dans le temps.
Pendant la même période, les traitements de la fonction publique ont progressé moins rapidement que les prix, entraînant une perte de pouvoir d’achat. L’indice de traitement net de la catégorie A n’a augmenté en effet que de 10,3%.

L’indice de traitement net pour la catégorie A de la fonction publique est un indice calculé par l’INSEE dont l’évolution est similaire au traitement net de l’ensemble des fonctionnaires de cette catégorie. Cet indicateur ne prend pas en compte les primes, dont le montant est de toute manière assez faible dans l’Éducation Nationale, et dont les revalorisations, à l’instar de celles de l’ISOE, se font très rares et peu généreuses, mais il tient compte à la fois des revalorisations du point d’indice et des changements dans le nombre de points d’indice majoré (qu’il s’agisse des changements individuels dus à l’avancement de carrière ou bien des changements collectifs dus à des réformes). L’INSEE fournit une fiche méthodologique expliquant le mode de calcul de cet indice de traitement net.

Il faudrait que le traitement net des enseignants augmente de 25 % pour compenser le retard accumulé en terme de pouvoir d’achat (de manière à rattraper l’indice des prix à la consommation).
D’après un rapport déposé récemment au Sénat par Gérard Longuet, les enseignants ont perdu entre 15 et 25% de pouvoir d’achat en 20 ans. Pour compenser cette diminution, une hausse de 17,5 à 33% serait nécessaire. Le chiffre de 25% ci-dessus se trouve ainsi dans cette fourchette, ce qui semble cohérent.

Afin de garantir la même progression du pouvoir d’achat que pour le salaire net médian des salariés du secteur privé, cette augmentation devrait même être de 33 %.



On remarque cette tendance également dans les données de l’OCDE, les salaires des enseignants ayant baissé en France alors qu’ils ont en moyenne augmenté dans les autres pays. L’augmentation que l’on note en 2020 sur le graphique ci-dessous semble coïncider avec l’introduction de nouvelles heures supplémentaires que les enseignants ne peuvent refuser, et ne traduit donc pas une augmentation à quantité de travail constante.
Le café pédagogique note, en se basant également sur les données de l’OCDE, que les enseignants français effectuent en moyenne plus d’heures de cours tout en étant moins bien rémunérés que la moyenne des autres pays : « Sur 33 systèmes éducatifs étudiés par l’OCDE, la France est au 22ème rang pour le coût salarial de ses enseignants. Aucun grand pays développé ne dépense aussi peu pour ses enseignants. »

Jean-Michel Blanquer a récemment augmenté le salaire des jeunes enseignants en introduisant une nouvelle prime. Cela représente une augmentation d’environ 6% pour les professeurs certifiés en tout début de carrière, mais ce pourcentage diminue très rapidement dès les première années d’ancienneté. C’est un premier geste, cependant il ne concerne qu’une minorité d’enseignants, la plupart d’entre eux ne bénéficiant que d’une prime d’équipement informatique de 150€ par an.
Jusqu’à présent on est donc loin de rattraper le retard accumulé en 20 ans.

Ce déclassement salarial des enseignants français n’est pas compatible avec l’importance du service public d’éducation, et ce sont, in fine, les élèves eux-mêmes qui pâtissent de cette politique de sape.
Rémunérer les enseignants à leur juste valeur permettra de rendre le métier de nouveau attractif et de mettre fin à la crise des vocations qui fait que depuis de nombreuses années les concours ne font plus le plein, laissant toujours plus de postes non pourvus.
De la qualité de la rémunération découlera la qualité du recrutement, dont découlera à son tour la qualité de l’enseignement.

La pétition suivante demande à l’Assemblée Nationale l’examen d’une augmentation de 20% du salaire des enseignants :
https://petitions.assemblee-nationale.fr/initiatives/i-282 .
Au vu des données de ces vingt dernières années, cette demande est on ne peut plus raisonnable.
Un débat en séance publique aura lieu sur cette pétition si un minimum de 500 000 signatures est atteint. La France comptant environ 870 000 enseignants, cet objectif est donc parfaitement atteignable si l’on parvient à faire connaître cette pétition, ainsi que son bien fondé, au plus grand nombre.

QR code vers la pétition

Données brutes :
SMIC horaire
Salaires du secteur privé jusqu’à 2018 et en 2019
Indice des prix à la consommation
Indice de traitement net de la catégorie A de la fonction publique
Salaires des enseignants de l’OCDE