Comparaisons à un groupe contrôle externe

Pour rendre acceptable à but décisionnel une approche rétrospective, il est nécessaire de garantir l’absence de p hacking. Cela passe par l’élaboration d’un plan d’analyse statistique a priori, avant toutes analyses inférentielles (directe ou indirecte, cf. problématique des publications descriptives des sources de données) et par son strict respect lors de l’analyse effective des données. Cela permet de garantir que les résultats sur lesquels reposera la prise de décision proviennent d’une analyse unique des données, définies indépendamment des résultats qu'elle produit. Il existe maintenant un guide décrivant le contenu de ce document [103]

Cependant l’établissement d’un SAP ne donne pas une garantie formelle d’absence de p hacking, car ce plan peut avoir été établi après une analyse non déclarée. Il en est de même pour l’enregistrement du protocole ou du SAP. Ainsi la garantie d’absence de p-hacking ne peut passer que par une attestation explicite dans le rapport et la publication de l’étude que l’analyse présentée a été unique et établie a priori. Bien que purement déclarative, cette attestation explicite donne des garanties fortes, car, si en réalité cela n’a pas été respecté, cette mention relèvera du domaine de la fraude scientifique. Ce point est abordé dans les guidelines de plusieurs agences (cf. Tableau 12) sous la forme du besoin d’une transparence forte sur la réalisation de l’étude [13] .

On peut remarquer que la problématique des analyses cachées et du p hacking concerne aussi les études prospectives, comme les essais cliniques randomisés. La solution a été apportée par le plan d’analyse statistique, mais dans les études prospectives la date de ce document, antérieure à la disponibilité des données, donne une garantie formelle qu’il a bien été établi a priori, indépendamment des données. Mais cette garantie formelle est impossible à apporter avec une analyse rétrospective, car la date d’établissement du SAP est forcément postérieure à la disponibilité des données par définition.

Études ou analyses rétrospectives ? Compte tenu de ces limites des études rétrospectives, certains ne parlent que d’analyses et non pas d’études rétrospectives, pour mettre l’accent sur le fait que les garanties méthodologiques apportées par les études prospectives ne peuvent pas être apportées dans la démarche rétrospective.

Tableau 12 – mention des problématiques liées aux études rétrospectives dans les guides des agences

Agence	Document	Page	Extrait
EMA	Draft Concept Paper on the Development of a Reflection 5 Paper on the Use of External Controls for Evidence Generation in Regulatory Decision-Making	3	Prospectively planned external control comparisons vs comparisons conducted when results are already available (either trial data, external control or both)
EMA	Reflection paper on use of real-world data in noninterventional studies to generate real-world evidence for regulatory purposes	-	Problématique non abordée dans ce document
MHRA	MHRA draft guideline on the use of external control arms based on real-world data to support regulatory decisions		§23. The protocol for the trial should be of the same standard, style and level of detail as would be expected for a traditional RCT intended to support a regulatory submission, including prespecification of the objectives, data to be collected, primary and secondary endpoints and analysis methods. §26 It is important that the protocol is finalised before enrolment begins e.g. the design and analysis methods should be sufficiently specified in the protocol and there should be no amendments planned to fill in important missing details. §47 The precise method to be used for the analysis and the covariates to be included should be pre-specified and justified in the protocol.
FDA	Considerations for the Use of Real-World Data and Real-World Evidence to Support Regulatory Decision-Making for Drug and Biological Products	5, section 2	2. Transparency Regarding Data Collection and Analysis FDA must be confident (based on corresponding documentation) that particular data sources or databases were not selected, or that specific analyses were not conducted, to favor a certain conclusion. The protocol and SAP should be finalized and shared with FDA prior to conducting the prespecified analyses described in the protocol and SAP. In addition, any revisions to the protocol should be date-stamped, and the rationale for each change should be provided. To ensure transparency regarding their study design, sponsors should post their study protocols on a publicly available website, such as ClinicalTrials.gov13 or the web page for the European Network of Centres for Pharmacoepidemiology and Pharmacovigilance (ENCePP) for post-authorization studies.
FDA	Real-World Evidence: Considerations Regarding Non-Interventional Studies for Drug and Biological Products Guidance for Industry	7	The prespecified SAP should address the specific study objectives and detail the primary 216 analysis and any secondary analyses.
FDA	Considerations for the Design and Conduct of Externally Controlled Trials for Drug and Biological Products	NA	-
HAS	Rapid access to innovative medicinal products while ensuring relevant health technology assessment. Position of the French National Authority for Health [44]	2	To avoid a post hoc selection, the choice of an external control must be done prior to conducting the trial, after a well-performed systematic search. It must fit the standard of care. The retained external source of data must be chosen because it fits best the research question and not because it would arbitrarily favour the treatment of interest
NICE	NICE real-world evidence framework [64]	125	Planning studies before conduct improves the quality of studies and can reduce the risk of developers performing multiple analyses and selecting those producing the most favourable results. Developers should aim to pre-specify as much of the study plan as possible When decisions will be driven by the data, these should be clearly described and planned approaches justified. Pre-specifying analysis plans is especially important for studies of comparative effects. For such studies, we encourage publishing the study protocol on a publicly accessible platform, with any changes to the protocol registered and justified.

Il faut aussi noter que le principe de détermination a priori de la méthode d’analyse est quelque peu antinomique avec les principes et pratiques de la modélisation statistique [104] . Dans cette approche il convient de trouver le modèle le mieux spécifié, c’est-à-dire qui mathématiquement représente le mieux les données. Pour cela il est nécessaire de tester plusieurs méthodes (modèle traitement, modèle d’outcome, méthode double robuste) et plusieurs modèles pour chaque approche. Le choix du modèle final s’effectuant en comparant les prédictions données par chaque modèle. Théoriquement le choix ne se fait pas sur l’effet traitement obtenu, mais celui-ci est forcément calculé et donc révélé aux investigateurs durant ce processus.