Caractériser et mesurer les politiques publiques pour les comparer : comment produire des indicateurs d’action publique ?

Characterizing and measuring public policies in order to compare them: how can we produce public policy indicators?

Responsables scientifiques :

Thomas Aguilera (Sciences Po Rennes, ARENES) thomas.aguilera@sciencespo.fr
Tom Chevalier (CNRS, Sciences Po, CEE) tom.chevalier@sciencespo.fr

Comparer les politiques publiques, dans le temps ou dans l’espace, suppose de les rendre comparables, donc commensurables. Cette opération passe par l’identification ou la construction d’unités d’observation et d’étalonnage qui peuvent prendre plusieurs formes selon les stratégies de recherche. Dans le cadre de comparaisons small-N ou medium-N, trois types de stratégies ont souvent été envisagées. Si la comparaison est synchronique, la « méthode comparative » permet d’identifier les variables qui feraient que des situations ou des politiques se ressemblent ou sont différentes. Dans le cas d’une comparaison de type cross-case et within-case, la comparaison d’études de cas a prédominé, notamment dans le cadre du néo-institutionnalisme historique qui a beaucoup pratiqué la comparative-historical analysis via du process-tracing croisé de cas. En France, cette approche par « monographies comparées » a eu beaucoup de succès depuis les années 2000 et a permis d’introduire la comparaison dans un contexte national plutôt défavorable à la comparaison et méfiant envers les « comparaisons ventriloques » jugées trop déductives. Cette voie intermédiaire entre les approches variable-oriented et case-oriented n’est pas sans lien avec une troisième option qui s’était tissée autour du développement de la QCA qui a permis de conceptualiser et d’opérationnaliser des comparaisons de nombres intermédiaires de cas.

Du côté des comparatistes plutôt orientés sur un nombre limités de cas, une exigence de formalisation a alors vu le jour visant à donner la mesure des différences entre politiques publiques pour mieux les caractériser autour d’étalons communs en vue d’une comparaison. Ce faisant, un pont a été établi avec les stratégies de comparaisons large-N de politiques publiques et/ou de pays, qui, de fait, doivent passer par la mesure formelle quantifiée nécessaire pour, au moins, résumer l’information en la réduisant descriptivement à des nombres, au plus, réaliser des traitements statistiques visant l’inférence dans une perspective plus explicative. Ce qui pose la question de la construction des indicateurs de politiques publiques : que faut-il mesurer lorsqu’on compare des politiques publiques ? comment caractériser ces politiques pour les rendre comparables ? En somme, comment mesurer l’action publique pour permettre la comparaison entre programme de politiques publiques, secteurs, territoires, pays ou séquences temporelles ?

Les politistes ont comparé des outputs ou des outcomes de politiques publiques codés sous forme de variables bien balisées par des indicateurs. Ils ont souvent d’abord considéré des budgets et des indicateurs de dépenses publiques. L’avantage de choisir ces unités d’analyse relativement standardisées était de rendre facilement commensurables des politiques publiques et de produire des comparaisons entre pays, entre secteurs, et dans le temps. Mais cela a débouché sur ce qui a été dénommé sur de nombreuses critiques résumées dans le « dependent variable problem », car en effet les politiques publiques ne se résument pas à leur budget et leurs différences peuvent être d’ordre plus institutionnel (types). En fonction des secteurs et sous-champs (action publique, économie politique comparée, welfare studies), les chercheurs ont alors souvent complexifié leurs indicateurs en prenant en compte d’autres composantes des politiques publiques. Plusieurs techniques peuvent être mobilisées : construire des indicateurs catégoriels afin de saisir les différences proprement qualitatives entre politiques publiques ; concevoir des scores attribués par les chercheurs et mesurant les différences de degré entre politiques publiques, tout en s’appuyant sur des éléments qualitatifs codés. In fine, on peut conceptualiser des régimes (d’Etat, de régulation, de politique publique…) sur la base de ces indicateurs et construire notamment des typologies.

Dans tous les cas, l’opérationnalisation de stratégies de recherche comparatives peut passer par l’élaboration d’indicateurs sur laquelle cette ST propose de réfléchir à travers l’examen de quatre principales questions.

• Premièrement, comment rendre compte de différences « qualitatives » et institutionnelles caractérisant des politiques publiques codées par des indicateurs quantitatifs ?
• Deuxièmement, les indicateurs peuvent-ils voyager d’un secteur à l’autre ? Par exemple, cela peut-il avoir du sens d’apprécier les montants moyens des prestations lorsqu’il s’agit de politiques réglementaires ?
• Troisièmement, et en conséquence des deux premières, comment choisir / construire les indicateurs les plus appropriés aux questions de recherche ?
• Quatrièmement, quelles sont les méthodes à disposition des chercheurs dans cette optique de construction d’indicateurs ?

Comparing public policies across time and space requires rendering them comparable, and therefore commensurable. This task entails identifying or constructing units of observation and calibration, which may take different forms depending on research designs. For small-N or medium-N comparisons, three main strategies have often been mobilized. In synchronic analyses, the “comparative method” is used to identify the variables that account for similarities and differences across situations or policies. In cross-case and within-case designs, case study comparisons have predominated—particularly within historical neo-institutionalism, which has long practiced comparative-historical analysis through cross-case process tracing. In France, this “comparative monograph” approach has been especially influential since the 2000s, introducing comparison into a national academic context traditionally resistant to it and skeptical of “ventriloquist comparisons” considered overly deductive. This middle ground between variable-oriented and case-oriented approaches is closely linked to a third option that emerged with the development of Qualitative Comparative Analysis (QCA), which enabled the conceptualization and operationalization of comparisons across an intermediate number of cases.

For comparativists working on a limited number of cases, the demand for greater formalization soon arose. This involved measuring differences between public policies in order to characterize them more precisely around common benchmarks of comparison. In doing so, a bridge was established with large-N strategies, which necessarily rely on the quantified measurement of policies—at minimum to summarize information descriptively in numerical form, and at best to conduct statistical analyses aimed at inference. This shift raises crucial questions about the construction of public policy indicators: what exactly should be measured when comparing policies? How should policies be characterized to make them comparable? In short, how can public policies be measured in order to enable comparisons across programs, sectors, territories, countries, or time periods?

Political scientists have often compared public policy outputs or outcomes coded as variables through clearly defined indicators. Budgets and public spending indicators were among the first measures adopted, given their relative standardization and their capacity to render policies easily commensurable across countries, sectors, and time. However, this approach led to what has been widely criticized as the “dependent variable problem”: public policies cannot be reduced to financial dimensions alone, since their differences are also institutional and qualitative in nature. Depending on the sector or subfield (policy analysis, comparative political economy, welfare studies), researchers have therefore developed more complex indicators. These include categorical indicators designed to capture qualitative distinctions; scores assigned by researchers that capture differences in degree while drawing on coded qualitative material; and, ultimately, the construction of typologies and regime classifications (state regimes, regulatory regimes, policy regimes, etc.) derived from such indicators.

In all cases, the operationalization of comparative strategies rests on the development of indicators. This ST invites reflection on four central questions:

• How can “qualitative” and institutional differences be captured through quantitative indicators?
• Can indicators travel across sectors—for example, can average benefit levels be meaningfully assessed in the case of regulatory policies?
• How can researchers select or construct the most appropriate indicators for their research questions?
• What methods are available for the construction of such indicators?

Session 1 / Construire des indicateurs d’action publique en politique comparée

Marie-Victoire Bouquet (INED), Olivier Giraud (CNAM), Alice Picard (EHESP), Alis Sopadzhyan (EHESP), Loic Trabud (INED), Caractériser les régimes d’autonomie par leur instrumentation. Proposition d’indicateurs issus de la comparaison de cinq cas nationaux (France, Allemagne, Japon, Canada, Angleterre)

Alistair Cole (Sciences Po Lyon, PACTE), Mesurer la décentralisation : des indicateurs fiscaux aux indicateurs multidimensionnels pour l’analyse comparative des politiques publiques

Emiliano Grossman (Sciences Po, CDSP/CEE), La souplesse de l’agenda comme mesure de la réactivité politique : repenser la capacité de traitement de l’information dans un système politique

Antoine Lemor (Université de Sherbrooke, Canada) et Shanon Dinan (Université Laval, Canada), Mesurer et quantifier la fabrique de l’action publique par les textes : un nouveau cadre méthodologique basé sur le Traitement automatique du langage naturel (TALN) et les grands modèles de langage (LLM)

Pierre Wokuri (Sciences Po Rennes), Comment conceptualiser et identifier les reconfigurations des stratégies étatiques et des politiques publiques en matière de transition écologique ? Apports et limites d’un indicateur d’examen de la teneur et de l’ampleur de l’« État développeur vert » à partir des cas de la Colombie, de la France et de l’Ouganda 

Session 2 / L’enjeu des comparaisons infranationales

Amanda Lanigan (Université d’Uppsala) et Charlotte Thomas-Hébert (Université d’Aalborg), L’inaction institutionalisée : mesurer l’efficacité des organismes de contrôle civil de la police à Chicago et New York

Angèle Le Prigent (Université de Rennes, ARENES) et Eileen Michel (Sciences Po Rennes, ARENES), Expliquer la différenciation territoriale du social et de la route. Proposition d’indicateurs de comparaison intersectorielle des Départements français

Alice Mazeaud (La Rochelle Université, UMR LIENS) et Andy Smith (Sciences Po Bordeaux, Centre Émile Durkheim), Construire des indicateurs et des scores pour comparer l’appropriation différenciée de l’action climatique par les collectivités territoriales.

Sabrina Neyret et Julie Pollard (UNIL), Saisir la mise en œuvre à partir d’indicateurs : comment effectuer des comparaisons infranationales et intersectorielles de processus d’action publique ?

Catherine XHARDEZ (Université de Montréal), Construire des indicateurs pour comparer l’action publique migratoire des entités fédérées

Aguilera Thomas Thomas.aguilera@sciencespo.fr

Bouquet Marie-Victoire marie-victoire.bouquet@ined.fr

Chevalier Tom tom.chevalier@sciencespo.fr

Cole Alistair alistair.cole@sciencespo-lyon.fr

Dinan Shannon shannon.dinan@pol.ulaval.ca

Grossman Emiliano emiliano.grossman@sciencespo.fr

Lanigan Amanda amanda.lanigan@pcr.uu.se

Lemor Antoine antoine.lemor@umontreal.ca

Le Prigent Angele angele.le-prigent@univ-rennes.fr

Lipari Giraud Olivier olivier.lipari-giraud@cnrs.fr

Mazeaud Alice alice.mazeaud01@univ-lr.fr

Michel Eileen eileen.michel@sciencespo-rennes.fr

Neyret Sabrina sabrina.neyret@unil.ch

Picard Alice alice.picard@ehesp.fr

Pollard Julie julie.pollard@unil.ch

Smith Andy a.smith@sciencespobordeaux.fr

Sopadzhiyan Alis alis.sopadzhiyan@ehesp.fr

Thomas-Hébert Charlotte Charlotte.Thomas-Hebert@univ-paris1.fr

Wokuri Pierre pierrewokuri@gmail.com

Xhardez Catherine catherine.xhardez@umontreal.ca