Accéder au contenu principal
Recevez par mail les nouveaux posts du blog

#M011 DUPLICATE-RCT : Peut-on se passer des essais contrôlés randomisés ?

De quoi parle-t-on ?

Shirley V. Wang, Sebastien Schneeweiss, and the RCT-DUPLICATE Initiative, Emulation of Randomized Clinical Trials With Nonrandomized Database Analyses, Results of 32 Clinical Trials, JAMA. 2023;329(16):1376-1385. doi:10.1001/jama.2023.4221

Pourquoi a-t-on choisi cet article ?

Depuis la naissance de l’evidence based medicine, les essais contrôlés randomisés règnent en haut de la pyramide du niveau de preuve1,2. Et si, à l’heure de l’émulation d’essais contrôlés par les méthodes de pharmaco-épidémiologie, cette ère était révolue ? C’est la question à laquelle Shirley V. Wang et Sebastian Schneeweiss, au sein de RCT-Duplicate Initiative, ont essayé de répondre dans leur article du JAMA publié en avril 2023.
Leur idée est la suivante : reproduire le plus fidèlement possible 32 essais contrôlés randomisés via 3 bases de données d’assurances santé américaines (Optum Clinformatics, MarketScan et Medicare), et comparer les résultats obtenus. Verdict ?

Ce qu’en pense la SFPT : principaux messages de l’article

Les résultats de cette étude étaient attendus avec impatience, car ils devaient représenter l’aboutissement d’une discussion vieille de plus de 20 ans3–5 au sujet de la possibilité de produire des preuves de l’efficacité des traitements par des études observationnelle (« real world evidence »6)
Ce qui est remarquable c’est que durant cette période, la question a été abordée de manière rationnelle en cherchant 1) ce qui pourrait expliquer la non-confirmation par des RCT de résultats d’études observationnelles qui paraissaient cependant robustes et 2) qu’elles étaient les solutions aux problèmes identifiées.
Cette démarche rigoureuse, souvent théorique (comme la théorie de l’inférence causale) a permis de mettre en évidence que les problèmes ne résidaient pas uniquement au niveau de la confusion et du manque de randomisation, mais concernaient aussi des points de démarche scientifique de base (approche exploratoire, rétrospective, p-hacking) qui pouvaient être facilement solutionnés par l’application des mêmes principes que ceux employés dans l’essai contrôlé randomisé (étude de confirmation d’hypothèse7,8, protocole et plan d’analyse établis a priori avec une attestation de non-dérogation des analyses, utilisation d’estimands causal, etc.2). Ces réflexions ont débouché sur l’approche de l’émulation de l’essai cible9,10.
Nous sommes donc face à un article d’une qualité méthodologique rare, associé à une quantité de travail qui l’est tout autant (32 émulations d’essais cliniques dans un seul article !). S’il n’y avait qu’un message à retenir : Lorsque l’on s’approche au plus près possible des conditions du RCT cible, la performance de l’émulation est bonne voire très bonne… Malheureusement, cela est rarement possible. Les auteurs nous livrent en toute transparence les nombreuses difficultés rencontrées pour émuler l’essai cible (Comment mimer un placebo ? Comment suivre les titrations de posologie ? comment approximer les critères d’inclusion ou les critères de jugements ?), qui limitent la capacité de ces études de pharmaco-épidémiologie à se glisser « dans la peau » des RCT.
En revanche, les exemples de concordance devraient inciter à mener un nouveau cycle de réflexion/développement/validation en commençant par essayer de comprendre les causes des discordances afin d’identifier, si c’est possible, des conditions de validité de cette approche. Ce cycle devant déboucher sur une nouvelle validation empirique, qui devra comporter quelques cas de validations prospectives (par exemple avec des phases 4 randomisées en cours)

Pour approfondir

Les RCTs à émuler ont été choisis en fonction 1) de la disponibilité dans les bases de données des critères clés (PICOT : Population, Intervention, Comparator, Ouctome, Time)) des RCTs 2) de la capacité à générer une puissance statistique au moins équivalente. Une simulation parfaite a été au mieux recherché mais une concordance parfaite reste bien sûr utopique. La simulation des RCTs émulés s’est basée sur les critères PICOT de chaque étude avec un appariement à des contrôles via un score de propension. Sur les 992 essais cliniques initialement screenés, 40 ont été considérés émulables et 22 ont été secondairement exclus en raison d’un manque de puissance ; ce qui a donné lieu à des recherches supplémentaires pour aboutir à l’identification de 32 RCTs. L’une des grandes originalités de cette démarche est la création d’un index de « qualité d’émulation » qui sera ensuite utilisé pour des analyses de sensibilité. Cet index intègre des jugements qualitatifs sur la similarité de chaque critère PICOT et la présence ou l’absence de particularité des RCTs qui sont impossible à émuler dans les bases médico-administratives (début du follow up à l’hôpital, phase de run-in qui sélectionne les répondeurs, randomisation et arrêt de traitement concomitant, et effet retardé du traitement).
Au sein de ces 32 RCTs inclus avec analyse de supériorité ou de non-infériorité : 23 étudiaient des évènement cardiovasculaires, 1 étudiait l’influence des anti-diabétiques sur l’hémoglobine A1C, 2 étudiaient des thérapies anti-ostéoporotiques, 1 étudiait des thérapies utilisées dans la maladie rénale chronique, 3 étudiaient des traitements pour la prise en charge de la bronchopneumopathie chronique obstructive et 2 pour la prise en charge de l’asthme.
La méthodologie de l’émulation est la suivante :

  1. Extraction des éléments clés du RCT à émuler (PICOT)
  2. Transposition des caractéristiques des PICOT dans les bases de données médico-administratives
  3. Evaluation de la faisabilité (puissance et comparabilité des groupes après ajustement sur score de propension)
  4. Définition des critères de jugements principaux et secondaires
  5. Pre-enregistrement du protocole
  6. Analyse et interprétation des résultats.

Les auteurs ont utilisé 3 critères pour juger de l’agrément entre les résultats des RCTs et des RCT-émulés :

  1. concordance de signification statistique, définie par des estimations et des intervalles de confiance à 95% du même côté de la valeur nulle ;
  2. concordance d'estimation, définie par le fait que les estimations de l'émulation de l'essai se situent dans l'IC à 95 % des résultats de l'essai ;
  3. concordance de différence standardisée entre les estimations de l'effet de traitement des essais et des émulations, définie par des différences standardisées entre les résultats de l'essai et les résultats de l'émulation de l'essai.


Cette méthodologie a permis de mettre en évidence des résultats qui ne peuvent laisser indifférents les personnes impliquées dans la recherche qui entoure le médicament. Effectivement, la corrélation entre les coefficients des RCTs et des RCTs émulés est bonne avec un coefficient de Pearson calculé à 0.82 (intervalle de confiance (IC) 95% : 0.64, 0.91) sur les 32 comparaisons. Plus précisément, 75 % des RCT-émulés avait une concordance de signification statistique, 66 % une concordance d'estimation et 75 % une concordance sur la différence standardisée. La différence moyenne entre les RCTs et les RCTs-émulés était de 0.01 (IC 95% : -0.38, 0.39).
En s’intéressant de plus près aux 16 comparaisons ayant une très bonne correspondance entre les critères du RCT et les informations présentes dans les bases de données, la corrélation s’approche de la perfection avec un coefficient de corrélation de Pearson à 0.93 (IC 95% : 0.79, 0.97). Il s’agit cependant d’une analyse post-hoc exploratoire dont on ne peut tirer de conclusion définitive et l’observateur attentif remarquera quelques outliers même au sein de ces essais avec une bonne qualité d’émulation (Figure 1 article, essais 16 et 19).
Néanmoins, en raison de l’absence de certaines données dans les bases de données médico-administratives, certains écarts, parfois importants, ont dû être faits entre RCTs et RCTs émulés. Par exemple, bien que les critères d’inclusion et d’exclusion ont été les mêmes au sein d’une paire RCT/RCT émulé, la distribution de certaines variables reste souvent différentes notamment pour des variables importantes comme l’âge et le sexe. Des variables aussi importantes que l’hémoglobine glyquée ou la pression artérielle sont également manquantes la plupart du temps et ne permettent pas de s’assurer de la bonne comparabilité des groupes à l’inclusion dans les RCTs émulés. Les taux d’évènements dans les bases de données étaient d’ailleurs généralement supérieurs dans les essais émulés. Ce type de design ne rend donc pas le problème de la gestion de la confusion non mesurée caduque et souligne la nécessité d’une approche formalisée soigneuse d’identification des facteurs de confusion potentiels.
De plus, la comparaison du médicament d’intérêt contre placebo est impossible et a donc été remplacée par un comparateur hautement suspecté comme n’interagissant pas avec l’évènement d’intérêt. Les protocoles de titrations de doses sont suivis rigoureusement dans les RCTs, tandis que dans les RCTs émulés, on suppose que les médecins appliquent des titrations équivalentes. En pratique clinique, il est aussi connu que la compliance au traitement est moins bonne qu’au sein d’essais cliniques pouvant générés des biais notamment sur des effets de long terme11.

Conclusion

L’approche scientifique en émulation d’essais cliniques randomisés et en pharmaco-épidémiologie de façon plus large peut rejoindre celle des RCTs : Génération a priori d’une hypothèse, réalisation d’une étude confirmatoire de cette hypothèse, établissement préalable du protocole et du plan d’analyse, sans dérogation à ce plan. Lorsque c’est le cas, la confusion résiduelle et le manque de randomisation ne paraissent pas être des freins en soi à la production de preuves solides. Néanmoins, la faible proportion d’essais considérés comme émulables et les approximations faites sur une proportion importante d’essais émulés, donc engendrant des questions causales différentes, laisse encore une place unique aux RCTs.

Références

  1. Sackett DL. Rules of Evidence and Clinical Recommendations on the Use of Antithrombotic Agents. Chest. 1989;95(2, Supplement):2S-4S. doi:10.1378/chest.95.2_Supplement.2S
  2. Livre blanc - GT méthodologie. Accessed June 14, 2023. https://sfpt-fr.org/livreblancmethodo/index.htm
  3. Concato J. Observational versus experimental studies: what’s the evidence for a hierarchy? NeuroRx. 2004;1(3):341-347. doi:10.1602/neurorx.1.3.341
  4. Concato J, Shah N, Horwitz RI. Randomized, controlled trials, observational studies, and the hierarchy of research designs. N Engl J Med. 2000;342(25):1887-1892. doi:10.1056/NEJM200006223422507
  5. Research C for DE and. Considerations for the Design and Conduct of Externally Controlled Trials for Drug and Biological Products. U.S. Food and Drug Administration. Published January 31, 2023. Accessed June 12, 2023. https://www.fda.gov/regulatory-information/search-fda-guidance-documents/considerations-design-and-conduct-externally-controlled-trials-drug-and-biological-products
  6. Concato J, Corrigan-Curay J. Real-World Evidence - Where Are We Now? N Engl J Med. 2022;386(18):1680-1682. doi:10.1056/NEJMp2200089
  7. Berger ML, Mamdani M, Atkins D, Johnson ML. Good research practices for comparative effectiveness research: defining, reporting and interpreting nonrandomized studies of treatment effects using secondary data sources: the ISPOR Good Research Practices for Retrospective Database Analysis Task Force Report--Part I. Value Health. 2009;12(8):1044-1052. doi:10.1111/j.1524-4733.2009.00600.x
  8. Berger ML, Sox H, Willke RJ, et al. Good Practices for Real-World Data Studies of Treatment and/or Comparative Effectiveness: Recommendations from the Joint ISPOR-ISPE Special Task Force on Real-World Evidence in Health Care Decision Making. Value Health. 2017;20(8):1003-1008. doi:10.1016/j.jval.2017.08.3019
  9. Hernán MA. Methods of Public Health Research - Strengthening Causal Inference from Observational Data. N Engl J Med. 2021;385(15):1345-1348. doi:10.1056/NEJMp2113319
  10. Hernán MA, Alonso A, Logan R, et al. Observational studies analyzed like randomized experiments: an application to postmenopausal hormone therapy and coronary heart disease. Epidemiology. 2008;19(6):766-779. doi:10.1097/EDE.0b013e3181875e61
  11. Higano CS, Hafron J. Adherence With Oral Anticancer Therapies: Clinical Trial vs Real-world Experiences With a Focus on Prostate Cancer. J Urol. 2023;209(3):485-493. doi:10.1097/JU.0000000000003081

pharmacoépidémiologie, études randomisées

  • Dernière mise à jour le .