2 TL ; DR - Guide d’évaluation des comparaisons à un groupe contrôle externe
3 Les études de comparaison externe, de quoi s’agit-il ?
5 Les problématiques méthodologiques soulevées par les comparaisons externes
6 Les comparaisons externes sont des études observationnelles
7 Position des agences de régulation et de HTA
8 De la nécessité d’avoir des preuves de l’intérêt cliniques des nouveaux traitements
9 Les sources de données utilisables
10 Les problématiques liées à l’aspect rétrospectif de ces études
10.1.2 Solution
10.3 Importance du protocole et le plan d’analyse statistique
12 Démarche hypothético déductive
13 L’inférence causale et les hypothèses sous-jacentes
15 Les techniques d’analyses statistiques
16 Le diagnostic d’absence de biais de confusion résiduel
18 Identifications des patients dans la source de données
21 Les outils d’évaluation du risque de biais
22 L’émulation d’un essai cible
23 Le benchmarking et les contrôles positifs
24 Analyses de sensibilité , analyses quantitatives du biais
26 Contrôle du risque alpha global
La solution à cette problématique n’est pas simple. Elle passe par différents éléments de méthode qui pourront finalement relativement assurer l’absence de HARKing et donc la fiabilité des résultats.
Un protocole et un plan d’analyse statistique doivent impérativement avoir été élaborés a priori, avant toutes analyses inférentielles des données.
Une analyse inférentielle est une analyse qui produit les résultats pour lesquels on réalise l’étude, comme les résultats d’efficacité et de sécurité dans le cas de l’évaluation d’un traitement.
Pour attester de cela, le protocole doit être versionné et daté. Il doit être aussi enregistré.
Mais aucune de ces mesures ne donne une garantie absolue, car un protocole, un SAP peut être écrit et enregistré après avoir fait l’analyse des données (étant donné qu’elles existent déjà).
Des garanties supplémentaires peuvent être parfois apportées quand les données ne sont accessibles que sur autorisation de leur gestionnaire, mais cela ne concerne qu’un faible nombre de sources de données. Même dans ce cas cette autorisation n’est pas une garantie absolue, car les mêmes données ont pu être disponibles antérieurement dans le cadre d’un tout autre projet.
L’inscription du travail de recherche que représente la comparaison externe dans le cadre d’un « Registered Report » augmentera notablement le degré de confiance vis à vis des résultats qui seront produits ultérieurement.
Registered report
Un registered report est un format de publication scientifique dans lequel le protocole de l’étude, incluant la question de recherche, la méthodologie et le plan d’analyse statistique, est soumis à une revue par les pairs et enregistré auprès d’une revue scientifique avant la collecte ou l’analyse des données. Ce processus vise à garantir la transparence et l’intégrité scientifique, en évitant que les résultats de l’étude n’influencent la conception ou l’analyse, ce qui limite les risques de HARKing (formulation d’hypothèses après connaissance des résultats) et de p-hacking (multiplication d’analyses pour obtenir des résultats significatifs). Une fois le protocole accepté, la revue s’engage à publier les résultats quelle que soit leur nature, à condition que l’étude soit menée conformément au protocole enregistré.
Pour les registres, les cohortes collections, etc. il est fréquent que les études soient réalisées par l’équipe gestionnaire de la source de données.
Dans ces conditions, il est finalement attendu que les auteurs attestent explicitement dans le protocole, le SAP, les rapports et les publications que l’étude a été entièrement construite avant toutes analyses inférentielles. Si au moment de l’analyse, des choix préétablis s’avèrent inadéquats, une section « déviation par rapport à l’analyse prévue » permettra de les décrites et de les justifier.
Cette attestation n’est pas non plus une garantie absolue, mais la faire à tort devient un acte de fraude scientifique (et non plus de méconduite scientifique).
Dans le cadre du recours à groupe contrôle externe pour une étude monobras, le choix du groupe contrôle dans le protocole de l’étude monobras apporte une garantie absolue d’absence de HARKing, car l’étude monobras étant prospective, le choix du groupe contrôle est alors forcément antérieur à toute analyse inférentielle.
