Ce billet présente les principes et objectifs de la « méta-analyse » (méthode de revue de littérature), à l’occasion du 8ème colloque du réseau de recherche Meta-Analysis of Economics Research Network, qui a pour objectif de promouvoir et de diffuser l’utilisation des pratiques de méta-analyse.

Méta-analyse : de quoi parle t’on ?

La méta-analyse correspond à une analyse statistique de l’ensemble de la littérature économétrique (travaux publiés ou non) portant sur une question de recherche déterminée (en médecine, psychologie, sciences sociales…) : par exemple, une telle analyse peut s’intéresser à l’effet du salaire minimum sur l’emploi. Elle vise, tout particulièrement, à mettre en évidence la valeur d’un paramètre estimé à partir des travaux existants : effet de la variable d’intérêt (salaire) sur la variable expliquée (emploi). Stanley et Jarell (1989), deux chercheurs précurseurs de la technique en économie, définissent ainsi la méta-analyse (au sens large) comme « à la fois un cadre d’analyse pour organiser et interpréter des reproductions exactes et inexactes [d’études], pour passer en revue de manière plus objective la littérature et d’expliquer ses disparités, et pour (…) [analyser] le phénomène socio-économique de la recherche en sciences sociales » (traduction de l’auteur).

Dans son acception d’analyse quantitative d’une littérature spécialisée (basée sur des travaux économétriques), la méta-analyse tient en particulier compte :

– de possible choix de spécification orientant le sens des effets trouvés : recherche de la spécification économétrique qui garantit de   confirmer le résultat attendu / l’hypothèse formulée par les auteurs.

– de possibles biais de publication : les travaux publiés résultent d’un choix, soit des chercheurs eux-mêmes, soit des évaluateurs de la   revue ou de l’éditeur, en fonction de l’idéologie ou de leur conformité par rapport à la théorie économique.

–  de l’hétérogénéité dans les sources de données sur lesquelles est fondée l’analyse empirique (pays, période, qualité des données…).

Concrètement, les données utilisées dans une méta-analyse sont potentiellement toute la littérature existante sur une question de recherche précise, mais elle va plus loin que l’aspect descriptif d’une revue de littérature « classique ». Les méthodes statistiques appliquées sur une littérature donnée doivent permettre de répondre à la question « existe-t-il un véritable effet empirique ? » tout en s’assurant que l’hétérogénéité des études et les biais potentiels de publication sont pris en compte. La méta-analyse répond notamment aux critiques adressées à la crédibilité des travaux économétriques telles que soulignées par Edward Leamer dans sa célèbre critique de 1983 : dans ce papier, Leamer insistait sur la fragilité des données sur lesquelles se basaient les travaux économétriques et sur la nécessité de présenter plusieurs spécifications (variables introduites ou non) des modèles mobilisés afin de tester la robustesse des résultats. De nombreux observateurs tendent cependant à affirmer que les problèmes soulevés par Leamer doivent maintenant doit être nuancés, en particulier depuis le développement de pratique mobilisant des échantillons randomisés (voir notamment ce billet)  ou mobilisant des expériences naturelles (Acemoglu et Pieschke, 2010).

L’expérience cumulative des chercheurs praticiens de méta-analyse les conduit à proposer plusieurs types de recommandations, notamment une jugée d’importance première : offrir un accès public aux données utilisées dans les travaux de recherche, à des fins de réplicatibilité (pour discuter, valider ou non les résultats trouvés).

La conférence du MAER-Network de 2014

La 8ème conférence annuelle du réseau de recherche Meta-Analysis of Economics Research Network (MAER-Net, animé par Tom Stanley) s’est déroulée du 11 au 13 septembre 2014 à Athènes. Les principaux objectifs du colloque et du MAER-Net sont de promouvoir et de diffuser l’utilisation des pratiques de méta-analyse, en examinant de nouvelles applications en économie mobilisant de telles techniques statistiques, et en discutant de questions méthodologiques. En dehors des sessions thématiques présentant de nouveaux travaux (économie de l’environnement, économie des pays en transition, macroéconomie, finance, économie du développement, croissance…), des sessions spéciales ont donné l’occasion à plusieurs chercheurs de faire des points méthodologiques ou de revenir sur plusieurs décennies de méta-analyse en économie (incluant les présentations de Stanley et Ioannidis développées ci-après).

Tom Stanley (Hendrix College, Arkansas) présente un panorama de 25 ans de méta-analyse. En dehors de points techniques et méthodologiques, il montre notamment, depuis la fin des années 1980, le caractère exponentiel du nombre de méta-analyse effectuées. Parmi les « satisfécits » qu’il pointe dans son regard sur ces 25 années : un aperçu plus objectif de la recherche en économie et l’explication des disparités dans les résultats de recherche. Sur le point plus particulier de l’analyse de la socio-économie de la recherche en économie, il note d’importantes questions en suspens malgré des progrès certains. Il souligne plusieurs faits frappants mis en lumière par ce champ de recherche, dont l’existence apparente d’un « cycle de recherche » : les résultats des travaux économétriques confirment généralement une nouvelle hypothèse de recherche, avant que plus tard les incitations pour la rejeter s’accroissent, et que les résultats des travaux tendent de plus à en plus à infirmer cette hypothèse.

John Ioannidis (Université de Stanford, Californie) présente les principaux biais qui peuvent affecter la fiabilité des résultats soutenus dans les recherches économiques empiriques, incluant : taille de l’échantillon, grandeur de l’effet trouvé, flexibilité dans les relations économétriques estimées, problèmes de conflit d’intérêt liés au mode de financement/au financeur, « conformisme » des chercheurs et/ou dans l’évaluation par les pairs, taille de l’équipe de recherche et concurrence entre équipes. Des problèmes d’erreurs (involontaires) ou de fraude peuvent également subvenir et orienter les résultats de la recherche. Ioannidis reconnait en particulier que les travaux économiques bénéficient de plus en plus de sources de données plus robustes avec le poids grandissants des études incorporant des expérimentations contrôlées avec échantillons « randomisés » ou « expériences naturelles ». Il souligne cependant que la taille souvent réduite des échantillons utilisés est susceptible de remettre fréquemment en question les résultats établis.

Conclusion : une méthode

La méta-analyse est une méthode de revue de littérature économétrique de plus en plus pratiquée, et qui se répand de manière croissante dans le paysage académique. Sans prétention d’apporter une réponse définitive à une question de recherche donnée, cette méthode permet une bonne organisation de surveys, plus conclusifs et plus nuancés (tout en évitant les biais pouvant prendre place dans des revues de littérature plus « littéraires » !) : la méta-analyse permet ainsi une interprétation des travaux économiques répondant à un besoin de clarté et à une demande croissante de plus d’objectivité et de plus de recul.

Nicolas Fleury