Comparaisons à un groupe contrôle externe

Bien qu’il soit tout à fait possible de construire un groupe contrôle externe de manière prospective, ces études sont quasi exclusivement des analyses rétrospectives utilisant des données historiques (cf. section 8).

La démarche rétrospective de ces études offre la possibilité de construire l’étude et son analyse en fonction des résultats produits (HARKing et p hacking) en explorant différentes sources de données, fenêtres temporelles d’extraction, jeux de variables d’ajustement, méthodes d’analyse et en ne retenant que l’analyse donnant les résultats les plus intéressants. Ainsi les résultats produits n’auraient qu’une valeur exploratoire insuffisante pour changer les pratiques.

La possibilité de HARKing et de p hacking représente l’une des plus grosses limites méthodologiques des études rétrospectives, mettant ainsi en périls la validité des comparaisons à un groupe contrôle externe historique

Étude/analyse rétrospective . Le terme rétrospectif a été utilisé en épidémiologie avec de nombreuses acceptions toutes différentes. Actuellement il désigne des études (pour les puristes, des analyses) conçues alors que les données existent déjà. Devant la polysémie de ce terme, certains, comme les recommandations de reporting STROBE [98] , recommandent de ne plus l’utiliser, d’employer éventuellement le terme « historique » pour qualifier les données et surtout de bien décrire la chronologie entre la génération des données (génération des périodes de temps exposées) et la décision d’utiliser ces données pour l’analyse considérée.

Pour considérer que les résultats d’une analyse rétrospective sont de nature confirmatoire, il faut pouvoir exclure avec certitude HARKing et p-hacking. Cela implique d’avoir la garantit que l’analyse a été unique et réalisée d’après un protocole et un plan d’analyse statistique (SAP) établi a priori. Le protocole et le SAP doivent être datés et signés, l’étude doit avoir été enregistrée avant sa réalisation dans un registre comme clinicaltrials.gov (cf. section 10.3) et, surtout, les investigateurs doivent attester explicitement dans le rapport et la publication que l’étude a été conçue avant toutes analyses inférentielles [87] .

La réalisation d’une analyse de faisabilité (cf. section 10.4), avant de décider de réaliser l’étude, est problématique sur ce plan et doit impérativement garantir que la faisabilité a été évaluée sans disposer des données sur les critères de jugement et sans réalisation d’aucune analyse inférentielle [87] .

La FDA a rejeté une comparaison externe note n° 13 pour laquelle le risque de HARking était important [99] . La comparaison externe avait été décidée et conçue après que les résultats du groupe traité avaient été connus. Les résultats du groupe contrôle choisi étaient aussi déjà connus, car ayant fait l’objet d’une publication. Et cette publication avait déjà était utilisé pour faire une comparaison indirecte de type MAIC avec les résultats du groupe traité. Dans son avis la FDA rappelle l’intérêt des externally controlled trial qui évite l’ensemble de ces problèmes (cf. section 3).

Globalement cette comparaison externe présentait tous les défauts de conception liés au caractère rétrospectif de ces analyses et pouvant conduire au HARKing. Non seulement les données, mais aussi les résultats étaient disponibles au moment de la conception de la comparaison externe. Le groupe contrôle était finalement la récupération d’un travail antérieur de RWE réalisé avec son propre objectif. Cette situation est très fréquente, car les registres et les cohortes ont presque toujours des objectifs de description qui conduise par principe à faire des publications de ce type. Il apparait donc que les objectifs initiaux des registres et cohortes compromettent leur utilisabilité pour produire des groupes contrôles externes acceptables pour l’évaluation des nouveaux traitements. Une solution serait de n’exploiter que les nouveaux patients inclus dans les registres depuis leur dernière publication.

De plus, ces mêmes données avaient déjà été exploitées dans une MAIC réalisée avec la publication du groupe contrôle ce qui est équivalent à une analyse inférentielle de la comparaison externe réalisée avant la conception de l’étude de comparaison indirecte et faisant décider de sa réalisation.

Il est complètement impossible d’exclure que cette analyse n’a pas été décidée uniquement du fait qu’elle conduisait au résultat attendu. Elle ne peut être considérée comme un test loyal de l’hypothèse de la supériorité du nouveau traitement à son contrôle et n’a donc aucune valeur de preuve.

[13] https://download.open.fda.gov/crl/CRL_NDA210862_20251104.pdf