Un triple mouvement s’est exercé les dernières années dans le paysage français de l’évaluation des politiques publiques : la montée puis la décrue de l’importance des expérimentations contrôlées, l’institutionnalisation grandissante de l’évaluation, et l’apparition d’évaluations menées dans le cadre de la Modernisation de l’Action Publique. Certaines de ces évolutions ont été présentées dans de précédentes analyses (voir les notes du CEP présentant l’expérience française de l’évaluation et celle relative aux évaluations par le Cimap) : nous insistons ici sur les tendances récentes qui se dégagent.

Heurs et malheurs des expérimentations contrôlées

L’approche d’évaluation des politiques publiques par expérimentation contrôlée assortie de tirage aléatoire est une approche originale qui se distingue des méthodologies d’évaluation plus classiques (qualitatives par le biais d’entretiens ou quantitatives en mobilisant des bases de données). Son originalité est qu’en visant à estimer l’« effet causal » du dispositif évalué, l’expérimentation contrôlée construit un échantillon de deux groupes dont les « caractéristiques individuelles » moyennes sont comparables (par tirage aléatoire), l’un bénéficiant du dispositif, l’autre non (voir la présentation par Yannick L’Horty et Pascale Petit, enseignants-chercheurs à l’Université Paris-Est Marne-La-Vallée). L’effet causal est estimé en comparant les deux groupes après une période d’application de la politique. Une expérimentation contrôlée inclut souvent un volet qualitatif évaluant le processus et la manière dont la politique s’est mise en œuvre.

La mise en œuvre de telles expérimentations-évaluations (souvent appelées « expérimentations sociales ») s’est inscrite dans le cadre du Fonds d’expérimentation pour la Jeunesse (FEJ) mis en place par le Haut-Commissariat à la Jeunesse de Martin Hirsch dès 2008 à la suite de l’expérimentation RSA (voir le rapport final). Le FEJ s’est vu ainsi doter à ses débuts d’un budget en propre visant à porter des projets sur des thématiques sociales et économiques centrés sur la jeunesse. Une double inflexion touche le FEJ :

– une mutation de sa philosophie, le contenu des projets concernant maintenant des objectifs « uniquement scolaires et périscolaires », le FEJ se trouvant sous la tutelle de l’Education Nationale à partir de novembre 2010 (voir l’analyse de Sarfati et Simha, chercheurs au Centre d’Etude de l’Emploi sur ce point, pour qui cette évolution est symptomatique d’une « recentralisation » significative)

– un budget réduit à zéro euro pour 2013 (voir par exemple la position de Michel Abhervé (enseignant-chercheur à l’Université de Paris-Est Marne-La-Vallée) à ce sujet). Le projet de loi de finance 2014 (cf. Le bleu budgétaire du Programme 411 : programmes innovants pour la jeunesse [version 1^er octobre 2013]) pérennise ce ‘changement de doctrine’ : « L’appel  à  projets  tirera  les  enseignements  des  pratiques  antérieures,  notamment  celles  du  fonds  d’expérimentation pour la jeunesse (FEJ). ».

La poussée de l’expérimentation contrôlée, son coût, les questions éthiques qu’elle soulève, voire son risque d’éviction des autres méthodes d’évaluation (voir par exemple l’analyse de Gomel et Serverin, chercheurs au Centre d’Etude de l’Emploi) ont été souvent critiqués. Mais plus qu’au dégonflement d’une bulle, son évolution récente est un changement de doctrine, une redéfinition de méthodes et de finalité (la jeunesse n’est plus la population cible). Cette évolution (abandon ?) nous semble regrettable dans la mesure où bien que non exemptes de défauts, ces expérimentations avaient le mérite d’introduire des innovations aux apports intéressants : idée de test/expérience, implication des acteurs dans la mise en œuvre du dispositif, rencontre entre chercheurs et décideurs politiques, renouvellement de l’action publique…

L’institutionnalisation grandissante de l’évaluation

Une institutionnalisation grandissante de l’évaluation des politiques publiques au niveau national s’opère depuis plus d’une dizaine d’années en France. Plusieurs évolutions caractérisent (voir aussi cette note du CEP), à des degrés divers, cette institutionnalisation, dont :

– l’approche de la LOLF (28 mars 2003) qui introduit des indicateurs de performance dans le pilotage des politiques publiques.

– une obligation d’évaluation ex ante de tout nouveau projet de loi du Parlement (Loi organique du 16 Avril 2009).

– l’obligation d’évaluation pour opérateurs et financeurs de l’Etat intervenant dans les domaines de l’emploi et des compétences (loi du 24 novembre 2009).

– la montée en responsabilité de la Cour de Comptes (CC) dans l’assistance du Parlement dans l’évaluation (consacré par la loi du 3 février 2011).

Parmi toutes ces évolutions, la CC a été identifiée comme un interlocuteur-clé, ce qui a donné l’impulsion à des commandes d’évaluation, mais aussi à des politiques évaluées à son initiative. Même si la Cour elle représente un interlocuteur important de l’administration, cela peut participer du brouillage de lignes entre les ‘disciplines’ comme la Cour a d’abord une culture de contrôle et d’audit. Des questions peuvent donc se poser sur sa capacité à effectuer des évaluations, mais aussi sur sa capacité à gérer de tels flux (« la CC ne peut pas tout faire » : cf. billet de blog sur les 11èmes JFE). Un de ses rôles étant le contrôle du bon usage du budget de l’Etat, il est sans doute difficile pour la CC, au moins pour un moment, d’échapper à ce rôle de « contrôle »… la CC peut-elle facilement s’autonomiser de sa fonction première ?

Evaluations menées dans le cadre de la  MAP : beaucoup de bruit pour rien ?

La MAP (Modernisation de l’action publique) correspond à la nouvelle doctrine de Réforme de l’Etat et fait donc suite à la RGPP. Ainsi que l’avions relevé dans de précédentes analyses (cf. le billet de blog sur les 11èmes JFE et la note d’actualité de Mai 2013 du CEP consacrée aux évaluations du Cimap), de nombreuses interrogations sur la qualité et la nature de ces évaluations subsistent. Les évaluations pilotées par le secrétariat général à la MAP (Sgmap) et lancées par le Gouvernement Ayrault sont en effet mises en œuvre au sein des ministères compétents avec l’appui des inspections générales (qui sont nécessairement plus compétents en contrôle et audit plus qu’en évaluation). Des experts en évaluation ont rejoint le comité de pilotage du Cimap (Comité interministériel de MAP) gérant les évaluations, mais on sait peu de choses sur les méthodes employées. Les délais paraissent courts voire très courts (en moins d’un an, plus de 40 politiques sont ainsi évaluées) ce qui souligne un certain sentiment d’urgence. La filiation de ces évaluations avec l’ex-RGPP est assez évidente : le but affiché est de prioriser les politiques afin de dégager des ressources budgétaires.

Un plaidoyer pour la pluralité des méthodes et une plus forte implication des chercheurs

Les constats présentés plus haut plaident à notre sens pour une conservation et une promotion de la pluralité des méthodes et moments des évaluations : qualitatives, quantitatives, expérimentations sociales, ex ante et ex post … toutes ces méthodes ou « moments » de l’évaluation nous semblent plus complémentaires que substituables et participent de la richesse de l’information publique des décideurs publics et des citoyens (et autant que possible partagée !). La décrue de l’importance des expérimentations sociales peut sans doute être regrettée au moins dans le sens où ces expériences permettent des collaborations et un partage du travail et d’informations entre acteurs de terrain, administration et chercheurs/praticiens de l’évaluation : ces évolutions plaident pour un meilleur dialogue entre chercheurs/praticiens de l’évaluation et l’administration (cela rejoint le témoignage d’Antoine Bozio (enseignant-chercheur à l’Ecole d’Economie de Paris) rapporté par Laurent Fargues dans acteurspublic.com). Mais un dialogue n’est pas suffisant. Plus précisément, il convient d’insister sur le besoin d’impliquer de manière plus substantielle les chercheurs et les praticiens (particulièrement économistes et sociologues) dans les évaluations menées : leur place doit y être plus prépondérante pour mener des évaluations de politiques publiques à standards de qualité qui se rapprocheraient des standards académiques (cela s’inscrirait d’ailleurs dans la montée en compétences recherchée par le Sgmap pour la qualité de ses évaluations). A l’heure où le gouvernement Ayrault (notamment à travers la réforme de l’Etat) insiste sur l’importance de l’Open data et de la transparence de l’action publique, la participation de la société civile (et donc des citoyens) est sans doute également un atout pertinent à ajouter dans les processus d’évaluation. « Pluralité », « qualité » et « participation » des évaluations sont ainsi, à notre sens, à même de participer à la confiance nécessaire des parties prenantes des politiques publiques mises en œuvre, à la bonne implémentation de ces politiques et à une décision « éclairée » de la part des décideurs.

Tweet

Nicolas Fleury