2 TL ; DR - Guide d’évaluation des comparaisons à un groupe contrôle externe
3 Les études de comparaison externe, de quoi s’agit-il ?
5 Les problématiques méthodologiques soulevées par les comparaisons externes
6 Les comparaisons externes sont des études observationnelles
7 Position des agences de régulation et de HTA
8 De la nécessité d’avoir des preuves de l’intérêt cliniques des nouveaux traitements
9 Les sources de données utilisables
10 Les problématiques liées à l’aspect rétrospectif de ces études
10.3 Importance du protocole et le plan d’analyse statistique
12 Démarche hypothético déductive
13 L’inférence causale et les hypothèses sous-jacentes
15 Les techniques d’analyses statistiques
16 Le diagnostic d’absence de biais de confusion résiduel
18 Identifications des patients dans la source de données
21 Les outils d’évaluation du risque de biais
22 L’émulation d’un essai cible
23 Le benchmarking et les contrôles positifs
24 Analyses de sensibilité , analyses quantitatives du biais
26 Contrôle du risque alpha global
L’établissement d’un protocole et d’un plan d’analyse statistique (SAP) est indispensable, non seulement pour protocoliser la démarche de l’étude, mais surtout, dans le cas d’études rétrospectives, pour assoir la garantie d’absence de HARKing et de p hacking.
Pour apporter cette garantie, le protocole et le plan d’analyse statistique doivent avoir été établis a priori avant toutes analyses inférentielles.
Le récent guide FDA sur l’utilisation des RWD et RWE pour les dispositifs médicaux mentionne : « Therefore, to mitigate potential bias, careful study design is needed, and a study protocol and analysis plan should be created prior to accessing, retrieving, and analyzing RWD, regardless of whether the RWD are already collected (retrospective) or if they are to be collected in the future (prospective design). » page 8 [50]
Le document NICE real-world evidence framework est lui aussi explicite [64] : “Planning studies before conduct improves the quality of studies and can reduce the risk of developers performing multiple analyses and selecting those producing the most favourable results.”, “Pre-specifying analysis plans is especially important for studies of comparative effects. For such studies, we encourage publishing the study protocol on a publicly accessible platform, with any changes to the protocol registered and justified”
Dans cette perspective le protocole doit être daté, signé, et enregistré dans un registre d’études.
Cet enregistrement peut être effectué dans clinicaltrials.gov qui comprends maintenant un descripteur « observationnal study ». Il permet d’obtenir un numéro NCT d’identification unique de l’étude.
Exemples d’enregistrement NCT d’études de comparaison externe :
https://clinicaltrials.gov/study/NCT05796726
https://clinicaltrials.gov/study/NCT04697446
https://clinicaltrials.gov/study/NCT00230243
https://clinicaltrials.gov/study/NCT05236257
https://clinicaltrials.gov/study/NCT06973161
https://clinicaltrials.gov/study/NCT06504524
Il existe plusieurs autres registres possibles comme le « HMA-EMA Catalogue of real-world data studies » de l’EMA (https://catalogues.ema.europa.eu/ ) ou les plateformes d’open science comme Center for open science (https://www.cos.io/ ).
Une initiative de l’ISPOR cherche aussi à promouvoir la transparence dans les études observationnelles : Real-World Evidence Transparency Initiative (https://www.ispor.org/strategic-initiatives/real-world-evidence/real-world-evidence-transparency-initiative ). Leur registre est hébergé sur le site de science ouverte OSF (https://osf.io/registries/rwe ).
La publication sur une plateforme d’open science comme OSF (https://osf.io/ ), Zenodo (https://zenodo.org/ ), etc., permet de rendre publics les documents de l’étude (protocole et SAP) et assure une totale transparence sur l’étude. Cette publication peut être effectuée à la place ou en complément d’un enregistrement sur un registre d’études plus classiques. En effet, les informations collectées par les registres d’études sont en général succinctes et s’avèrent insuffisantes pour apporter toute la transparence nécessaire pour garantir la fiabilité des résultats de l’étude une fois réalisée.
L’enregistrement du protocole et du SAP est explicitement mentionné dans plusieurs guides d’agences : NICE [64] , HAS [44] , comme dans ceux de plusieurs sociétés savantes comme l’ISPOR [60] [62] [105] , l’ESMO [106] .
Cet enregistrement est aussi souhaité par presque tous les journaux, comme le JAMA [107] ou le BMJ [108] . Il est aussi considéré comme primordial dans les guidelines de l’ISPOR [60] [61] [62] (cf. section 11).
Bien entendu l’existence d’un protocole et d’un plan d’analyse statistique ne suffit pas à elle seule pour garantir l’absence de HARKing ou de p-hacking. Encore faut-il que ces documents donnent des éléments factuels et transparents comme quoi ils ont bien été élaborés à priori et avant tout accès aux données des critères de jugement, c’est-à-dire avant toute analyse inférentielle. Cela doit être justifié en attestant de cela de façon explicite et non ambiguë dans le protocole, le SAP, les rapports de l’étude et la ou les publications (cf. section 10).
