Quelle est la fiabilité des méta-analyses relatives à la psychologie et à des disciplines apparentées ? Une investigation de la qualité d'un échantillon de méta-analyses publiées sur PsycINFO en 2016

Abstract

La littérature scientifique est affectée par des pratiques de publication, de recherche, et de problèmes méthodologiques courants qui réduisent la qualité de la littérature publiée. Les méta-analyses s’inscrivent dans ce contexte et sont elles-mêmes sujettes à une série de problèmes, dont l’ampleur a été explorée dans des investigations relevant du domaine biomédical. A ce jour, ce genre d’étude n’existe pas en ce qui concerne la psychologie et des disciplines apparentées. Ce mémoire a pour but d’adresser cette problématique.

Pour ce faire, 170 méta-analyses issues de PsycINFO et publiées en 2016 ont été sélectionnées et codées sur trois check-lists : la liste PRISMA (Moher et al., 2009) porte sur la qualité du « reporting » des méta-analyses (c’est-à-dire le rapport dans les articles publiés des informations qui permettent d’évaluer et de répliquer l’analyse), et les listes AMSTAR (Shea et al., 2007) et AMSTAR 2 (Shea et al., 2017) permettent d’évaluer leur qualité méthodologique. Les méta-analyses ont été séparées en deux groupes selon que leurs auteurs rapportent avoir utilisé ou non la grille PRISMA. Plusieurs questions sont adressées : la qualité globale de reporting et méthodologique ; l’influence du facteur d’impact, de l’index H et de l’expérience du premier auteur en matière de revues systématiques (dont la méta-analyse est le résultat quantifié) sur les scores AMSTAR et AMSTAR 2, ainsi que sur la propension des auteurs à utiliser PRISMA ; et enfin l’influence de l’adoption de PRISMA sur les scores PRISMA, AMSTAR et AMSTAR 2. Les résultats montrent que la qualité de reporting et méthodologique des méta-analyses n’est pas optimale. Le facteur d’impact, l’index H et l’expérience du premier auteur ressortent statistiquement significatifs de certains tests, mais leur taille d’effet laisse penser qu’ils n’ont qu’une petite influence sur les scores AMSTAR et AMSTAR 2. Ces variables ne semblent pas non plus être d’une importance cruciale quant à la propension des auteurs à utiliser PRISMA. Enfin, il a pu être montré que l’utilisation de PRISMA est liée à une meilleure qualité méthodologique et de reporting, surtout au niveau de certains items des check-lists.

En conclusion, la qualité méthodologique et de reporting des méta-analyses relatives à la psychologie et à des disciplines apparentées n’est pas optimale, et le facteur d’impact, l’index H et l’expérience du premier auteur ne sont pas, selon les résultats, d’un rôle déterminant. L’utilisation de PRISMA semble avoir une influence positive sur les scores des checks-lists, mais l’amélioration globale des méta-analyses nécessite également des changements dans certains aspects du fonctionnement de la science.