Ce que mesurer décide : les chiffres comme bataille politique
Un chiffre n'est pas un fait nu : il est le produit d'une définition, d'un périmètre et d'un choix de méthode. Le chômage, l'inflation, la pauvreté et le PIB se mesurent tous par convention. Comprendre ces conventions explique pourquoi débattre d'un chiffre n'est pas un détail technique - et pourquoi un indicateur devenu objectif cesse d'être un bon indicateur.
On oppose volontiers les chiffres aux opinions : d'un côté les faits, de l'autre les impressions. L'opposition est utile, mais elle cache l'essentiel. Un chiffre n'est pas un fait nu : c'est le produit d'une définition, d'un périmètre, d'une méthode et d'une décision sur ce qu'on inclut ou non. Changer la définition change le chiffre, sans qu'aucune donnée ait menti.
C'est pourquoi la mesure est un terrain de conflit, et non un arbitre extérieur au conflit.
1. Mesurer, c'est d'abord définir
Prenez trois grandeurs que tout le monde croit connaître.
Le chômage. Le chiffre dépend entièrement de la frontière tracée entre « sans emploi », « en recherche » et « inactif ». Une convention internationale fixe cette frontière, et elle laisse dehors des situations réelles : une personne découragée qui a cessé de chercher cesse d'être comptée comme chômeuse (Wikipédia, chômage ; travailleur découragé). Le taux peut donc baisser parce que des gens ont renoncé.
La pauvreté. Un seuil absolu (un panier de biens) et un seuil relatif (une fraction du revenu médian) ne mesurent pas la même chose, et peuvent évoluer en sens inverse : la pauvreté absolue peut reculer pendant que la pauvreté relative augmente (Wikipédia, seuil de pauvreté). Les deux sont légitimes ; l'un des deux est souvent présenté comme « le » chiffre.
La criminalité. Ce qui est compté n'est pas le crime, mais ce qui a été signalé et enregistré. L'écart entre les deux porte un nom : le chiffre noir de la criminalité (Wikipédia). Une hausse des signalements peut donc signifier plus de violences, ou plus de confiance dans la police - et une baisse, l'inverse.
Dans les trois cas, la question n'est pas « le chiffre est-il vrai ? », mais « quelle définition a été retenue, et par qui ? ».
L'histoire coloniale offre le cas le plus net, et il porte sur des personnes. À partir de 1871, l'administration britannique des Indes organise des recensements décennaux qui demandent à chaque personne sa caste, et qui la classent ensuite dans une nomenclature établie à Londres et à Calcutta. Le résultat est documenté : des populations qui ne se décrivaient pas ainsi se retrouvent dans une case, les catégories se rigidifient, et certaines deviennent des identités politiques revendiquées - puis électorales. La mesure n'a pas décrit une structure sociale préexistante : elle en a produit une partie.
2. Les agrégats sont des conventions, et leurs auteurs le savaient
Le cas du produit intérieur brut est le plus instructif, parce que son inventeur comptable en a lui-même averti. Les premiers comptes nationaux répondaient à un besoin de guerre : mesurer ce qu'une économie peut produire. Le responsable de ces travaux aux États-Unis a mis en garde contre l'usage qui en serait fait : le bien-être d'une nation, disait-il en substance, ne peut guère être déduit d'une mesure du produit national (Wikipédia, Simon Kuznets ; produit intérieur brut).
Ce qui manque au PIB n'est pas un détail : le travail non rémunéré, la destruction de ressources naturelles, la santé, la répartition. D'où des tentatives d'indicateurs complémentaires, comme l'indice de développement humain, qui combine revenu, espérance de vie et instruction (Wikipédia), ou des indicateurs dits au-delà du PIB, qui retranchent des coûts environnementaux et sociaux (Wikipédia). Aucun n'est parfait ; leur existence montre seulement que le choix de l'indicateur est un choix de société.
3. Le cas du coût de la vie
Mesurer l'inflation paraît plus simple qu'il ne l'est : les prix changent, la qualité change, les produits disparaissent, les habitudes aussi. Faut-il traiter un téléphone plus puissant comme le même produit à prix plus élevé, ou comme un produit différent à prix constant ? La réponse est une convention méthodologique, et elle a des effets budgétaires considérables, puisque les pensions et les salaires indexés en dépendent. Une commission officielle a été créée aux États-Unis précisément pour réévaluer ces méthodes et estimer le biais de l'indice des prix (Wikipédia, commission Boskin).
Retenons la leçon générale : quand un chiffre sert à répartir de l'argent, la définition du chiffre devient un objet de négociation. Ce n'est pas une anomalie : c'est le fonctionnement normal de la statistique publique, et c'est pourquoi elle est encadrée par des institutions indépendantes.
4. Trois lois expliquent pourquoi les indicateurs se retournent
Il existe une littérature solide sur un phénomène contre-intuitif : un indicateur utilisé comme objectif cesse d'être un bon indicateur.
La loi de Goodhart : lorsqu'une mesure devient une cible, elle cesse de bien mesurer ce qu'elle mesurait (Wikipédia).
La loi de Campbell : plus un indicateur quantitatif sert à la décision, plus il est sujet à la corruption et plus il déforme les processus qu'il prétend décrire (Wikipédia).
Le sophisme de McNamara : mesurer d'abord ce qui est facile à mesurer, puis traiter comme non pertinent ce qui n'a pas été mesuré (Wikipédia).
Les exemples ne manquent pas : objectifs de résultat scolaire qui conduisent à écarter les élèves en difficulté, objectifs policiers qui conduisent à reclasser des plaintes, objectifs de file d'attente qui conduisent à fermer les guichets aux cas complexes. Dans chaque cas, la personne qui produit le chiffre a une raison de l'améliorer autrement que par le résultat réel.
Approfondir : les biais qui ne sont pas des mensonges
La plupart des chiffres faux ne sont pas falsifiés : ils sont biaisés, c'est-à-dire orientés par la façon dont l'échantillon a été constitué. Quatre mécanismes suffisent à produire de fausses conclusions avec des données exactes. Le biais de survie : on étudie ce qui a réussi parce que les échecs ont disparu des archives (les entreprises cotées, les avions revenus). Le biais de sélection : la population observée n'est pas celle sur laquelle on veut conclure (une enquête en ligne mesure les gens qui répondent à des enquêtes en ligne). La non-réponse : les personnes qui ne répondent pas diffèrent systématiquement de celles qui répondent. La régression vers la moyenne : après un événement extrême, le retour naturel à la normale est attribué à l'action entreprise. Aucun de ces mécanismes ne suppose de mauvaise foi ; tous exigent la même réponse : décrire la méthode avant de commenter le résultat.
5. Ce qui distingue une mesure d'une impression
Si définitions et méthodes décident, alors la qualité d'un chiffre tient à ce qui l'accompagne. Une mesure utilisable dit ce qu'elle compte, qui est compté, comment les cas limites sont traités, et quelle est son incertitude. Une mesure décorative donne un nombre au chiffre près sans dire comment il a été obtenu.
Cela déplace le débat, et de façon utile. La bonne question n'est pas « les chiffres ou l'expérience ? » mais « les définitions explicites ou les définitions implicites ? ». Un chiffre sans définition n'est pas un fait : c'est une impression déguisée en fait. Et comme un droit sans organisation reste un texte, un chiffre sans méthode reste une opinion - c'est le fil qui relie cette note à celle sur le droit du travail et à celle sur la dette, où la façon de compter décidait qui payait.
6. Trois règles pratiques
En guise de conclusion utile, trois règles qui s'appliquent à tout débat chiffré.
- Demander la définition avant le nombre. Taux, seuil, périmètre : si la réponse est vague, le chiffre ne vaut rien.
- Comparer ce qui est comparable. Un taux de chômage entre deux pays, un taux d'incarcération, un coût public par personne : la comparaison n'est valide que si les définitions concordent, et l'écart de définition doit être dit.
- Séparer la mesure de la décision. Une institution qui produit les chiffres et une autorité qui décide ne devraient pas être la même, sinon la loi de Goodhart s'applique mécaniquement.
Explorez dans le simulateur
C'est exactement le programme de notre simulateur fédéral : rendre les paramètres visibles, montrer ce que chaque hypothèse change, et laisser les résultats mesurables parler plutôt que les étiquettes politiques. Un modèle explicite vaut mieux qu'un chiffre anonyme, parce qu'on peut discuter ses hypothèses une par une.
Pour aller plus loin
Sources : chômage, définitions et frontière avec l'inactivité (Wikipédia) · travailleurs découragés, sortie du comptage (Wikipédia) · seuils de pauvreté absolus et relatifs (Wikipédia) · chiffre noir de la criminalité (Wikipédia) · produit intérieur brut, convention comptable et angles morts (Wikipédia) · Simon Kuznets et l'avertissement sur l'usage du produit national comme mesure du bien-être (Wikipédia) · indice de développement humain (Wikipédia) · indicateurs au-delà du PIB, coûts environnementaux et sociaux retranchés (Wikipédia) · commission Boskin et réévaluation de l'indice des prix (Wikipédia) · loi de Goodhart (Wikipédia) · loi de Campbell (Wikipédia) · fallacy de McNamara (Wikipédia) · biais de survie (Wikipédia) · biais de sélection (Wikipédia) · bonheur national brut, mesure alternative du développement (Wikipédia) · sur les recensements coloniaux des castes aux Indes (1871-1921) et la fabrication des catégories : « Caste Confusion and Census Enumeration in Colonial India, 1871-1921 », Histoire sociale / Social History 45(90), 2012 (DOI 10.1353/his.2012.0026).