Analyser la robustesse des méthodes épidémiologiques : comprendre et juger la qualité scientifique en santé publique

Un aperçu essentiel : pourquoi juger la méthode avant juger les résultats ?

Avant de scruter les conclusions d’une étude sur la pollution atmosphérique ou l’efficacité vaccinale, une étape cruciale s’impose : examiner la méthode. En 2020, plus de 120 000 articles scientifiques ont été publiés sur le Covid-19 (PubMed). Or, l’abondance des données ne fait pas la qualité. Nombre d’études n’ont pas été répliquées ni même évaluées pour la solidité de leur protocole. En santé publique, la pertinence des politiques ou des conseils repose d’abord sur la justesse des outils utilisés pour acquérir la connaissance.

Définitions balises : que sont validité et fiabilité en épidémiologie ?

Validité désigne le degré avec lequel un outil mesure ce qu’il prétend mesurer. La fiabilité, elle, concerne la reproductibilité : si l’on refait la même mesure dans les mêmes conditions, obtient-on le même résultat ?

• Validité interne : Mesure la capacité de l’étude à produire des résultats corrects pour la population étudiée.
• Validité externe (ou généralisabilité) : Évalue si les résultats peuvent s’appliquer à d’autres groupes ou contextes.
• Fiabilité inter-observateur : Cohérence entre plusieurs observateurs indépendants.
• Fiabilité test-retest : Cohérence lors de mesures répétées dans le temps.

Mener l’enquête méthodologique : les questions-clés à se poser

Tout épidémiologiste aguerri interroge systématiquement la méthode employée. Voici les axes d’analyse incontournables :

• Comment a été sélectionnée la population d’étude ?
  • Biais de sélection : par exemple, surreprésenter les personnes motivées à participer peut fausser les résultats (cf. Sackett, 1979).
• La mesure de l’exposition ou de l’issue est-elle précise ?
  • Biais de mesure : les questionnaires auto-administrés comportent souvent une part d’erreur (Phillips & Smith, Epidemiology, 1997).
• La méthode prend-elle en compte les facteurs de confusion ?
  • Les techniques d’appariement ou la régression multivariée servent à limiter cet écueil.
• La méthode est-elle reproductible ?
  • Une méthode dépendante d’un seul appareil ou évaluateur pose question.

Zoom sur la validité interne : indicateurs et menaces fréquentes

Une étude peut paraître solide mais être vite fragilisée en cas de biais majeurs. Quelques facteurs à scruter :

1. Le biais d’information
   • Si l’exposition est mesurée différemment selon le groupe, la validité interne vacille.
   • Exemple : dans une étude cas-témoins sur le tabac et le cancer du poumon, les cas (patients malades) se souviennent parfois mieux de leur exposition passée que les témoins (CDC).
2. Le biais de confusion
   • Ne pas tenir compte de facteurs comme l’âge ou le statut socio-économique peut donner des résultats trompeurs.
   • Exemple marquant : la corrélation entre consommation de glace et noyades, toutes deux liées à la saison estivale (variable confondante).
3. Le biais de sélection
   • L’absence de randomisation ou de groupe témoin tiré au hasard remet en cause la causalité observée.

La validité externe : penser au-delà de l’échantillon

Même une méthode interne exemplaire n’aura d’intérêt en santé publique que si ses résultats s’appliquent au terrain. Le Public Health England rapporte qu’environ 85% des essais cliniques sont menés sur des populations très homogènes, parfois peu représentatives (PHE, 2022). Or, pour transposer les résultats à la vraie vie, il faut évaluer :

• La diversité des participants : sexe, âge, ethnicité, comorbidités
• Le contexte socio-économique
• Le cadre de soins (ex. : à l’hôpital vs. en soins primaires)

On évoque souvent l’étude Physicians’ Health Study sur l’aspirine, dont les résultats (réduction du risque d’infarctus chez les hommes médecins) n’étaient pas valides pour les femmes ou d’autres tranches d’âge (NEJM, 1989). La généralisation est donc rarement automatique.

Fiabilité des méthodes épidémiologiques : critères et tests fréquents

La fiabilité d’une mesure ou d’un instrument s’appréhende par différents tests statistiques et protocoles viables :

• Coefficient de corrélation intra-classe (ICC) : souvent utilisé pour la fiabilité inter-observateurs (recommandé dans les études d’imagerie médicale, selon Koo & Li, 2016).
• Kappa de Cohen : mesure la concordance entre deux observateurs. Par exemple, un Kappa > 0,8 traduit une très bonne fiabilité.
• Analyse test-retest : vérifie la stabilité d’un instrument de mesure dans le temps. Essentiel pour les questionnaires comportementaux : une étude de 2018 a montré que seulement 54% des outils d’évaluation de l'activité physique chez les adolescents avaient une bonne fiabilité test-retest (BMC Public Health).

Les outils d’évaluation disponibles : indispensables en lecture critique

Pour systématiser l’analyse, plusieurs grilles ont été développées :

• STROBE : Strengthening the Reporting of Observational Studies in Epidemiology : 22 points pour les études observationnelles (STROBE).
• CONSORT : adapte cette logique pour les essais cliniques randomisés (CONSORT Statement).
• GRADE : outil de hiérarchisation de la qualité des preuves (GRADE working group).

Ces outils guident l’identification des faiblesses structurelles potentiellement occultées par la beauté d’un graphique ou d’un modèle prédictif sophistiqué !

Erreurs fréquentes dans l’interprétation des méthodes : garder l’œil critique

• Confondre association et causalité : Un effet observé n’est pas nécessairement dû à la cause étudiée (cf. les travaux fondateurs d’Austin Bradford Hill sur les critères de causalité, 1965).
• Supposer la fiabilité universelle d’un instrument : Un test fiable dans une population donnée ne l’est pas forcément ailleurs.
• Oublier l’impact du contexte : Le taux de participation, la langue ou la compréhension du questionnaire peuvent faire varier considérablement la fiabilité d’une collecte de données.

Gestion des conflits d’intérêts, transparence et reproductibilité des méthodes : les garants ultimes

Dans la foulée du mouvement “Open Science”, évaluer la qualité méthodologique passe aujourd’hui par l’analyse de points autrefois négligés :

• Publication du protocole avant l’étude : Pratique désormais encouragée (notamment sur ClinicalTrials.gov) pour prévenir le biais de publication et le “cherry-picking” des résultats.
• Reproductibilité : Depuis la publication de l’étude “Reproducibility Project” (Science, 2015), qui a révélé que moins de 40% des résultats publiés dans des revues psychologiques majeures étaient réplicables, la transparence méthodologique est au centre des préoccupations scientifiques (Open Science Collaboration, 2015).
• Déclaration des conflits d’intérêts : Un tiers des études sur les traitements médicamenteux financées par l’industrie présentent des conclusions plus favorables, indépendamment de la qualité méthodologique (BMJ, 2017).

Pour aller plus loin : s’armer pour l’avenir de la recherche en santé publique

Apprendre à juger la validité et la fiabilité des méthodes, c’est s’approprier un véritable pouvoir d’analyse, crucial à l’heure des fake news et de la surabondance d’études. La clé : s’interroger toujours sur le “comment” avant le “pourquoi”, croiser les regards, utiliser les grilles d’évaluation existantes, et ne jamais considérer un chiffre ou un résultat isolé hors de sa méthode.

Le futur de la santé publique sera fait d’études de plus en plus riches, issues du big data, mêlant modèles mathématiques, données massives et intelligence artificielle (cf. JHU, 2023). Mais la question de la solidité de la méthode restera intemporelle. Le regard critique, la recherche de robustesse et la discussion ouverte sont, plus que jamais, nos meilleurs alliés.