Comparaisons à un groupe contrôle externe

Le but de la E-value [178] est de caractériser numériquement par une seule valeur les propriétés que devrait avoir un facteur de confusion non pris en compte pour expliquer à lui seul le résultat de l’étude. Cette valeur permettra d’apprécier la robustesse de ce résultat vis-à-vis d’un potentiel biais de confusion résiduelle.

Deux paramètres rentrent en ligne de compte dans le calcul de la E -value : 1) la fréquence du facteur oublié (noté U) dans les 2 groupes ou, plus précisément, l’importance de la différence entre les deux groupes de cette fréquence (quantifiée par exemple par un risque ratio, noté RR _EU ) et 2) la force de liaison de ce facteur avec le critère de jugement (noté D), c’est-à-dire de combien ce facteur multiplie la fréquence du critère de jugement (mesuré aussi par un risque ratio, noté RR _UD ).

L’approche de l’E-value donne les valeurs minimales de ces deux paramètres que devrait avoir un facteur de confusion oublié pour invalider (nullifier) le résultat obtenu. Par exemple, si ces valeurs (RR _EU , RR _UD ) sont égales à (2, 2), il faudrait que le facteur oublié soit 2 fois plus fréquent dans le groupe traité que dans le groupe contrôle et qu’il multiplie par 2 la fréquence du critère de jugement. Si ces valeurs sont réalistes, la robustesse du résultat obtenu est remise en cause, car il n’est pas suffisamment important en taille pour ne pas pouvoir provenir uniquement du facteur de confusion non pris en compte. En revanche, si l’E-value est trop élevée pour être réaliste, le résultat est robuste, il ne peut pas être entièrement expliqué par une confusion résiduelle. Le résultat permet de conclure à un effet non nul du traitement, même si la taille de l’effet peut être surestimée par le résultat produit (certaines méthodes permettent de corriger le résultat, mais nécessitent de faire des hypothèses numériques sur le ou les facteurs oubliés).

En réalité il n’y a pas qu’un seul couple de valeurs de (RR _EU , RR _UD ) qui nullifie le résultat, mais une infinité. Un facteur oublié, très lié au critère de jugement, peut fortement biaiser le résultat même si sa distribution est peu déséquilibrée entre les 2 groupes, et, à l’inverse, un faible déterminant du critère de jugement peut tout autant biaiser le résultat en cas d’une grande asymétrie de sa fréquence entre les 2 groupes. Il existe ainsi une frontière de nullification dans le plan des paramètres (RR _EU , RR _UD ) comme le représente la Figure 12.

Figure 12 – La E-value est l’intersection avec la bissectrice de la courbe matérialisant la perte de l’association observée dans une étude en cas d’oubli d’un facteur de confusion lié avec le critère de jugement avec un risque relatif RR _UD (ordonnée) et déséquilibré entre les deux groupes suivant un rapport RR _EU (abscisse) (extraite de la référence [179] ).

L’analyse de la robustesse du résultat s’effectue alors de la même façon, mais en appréciant globalement la plausibilité de toutes les valeurs délimitées par cette frontière de nullification.

Pour prendre en compte l’incertitude statistique, ces calculs ne doivent pas être réalisés pour chercher à nullifier l’estimation ponctuelle, mais bien la borne péjorative de l’intervalle de confiance du résultat obtenu par la comparaison indirecte.

Dans une comparaison externe du pralsetinib au pembrolizumab [175] , le hazard ratio sur la survie globale (OS) est HR=0.36 [0.21, 0.64]. La figure 2A reproduite ci-dessous donne les résultats de l’analyse quantitative de biais pour les facteurs de confusions non pris en compte :

Sur ce schéma apparait la limite de nullification de l’estimation ponctuelle (HR point estimate) à partir de la laquelle sont déterminée les zones de couleur qui représente la valeur du risque ratio corrigé du biais (ARR adjusted RR). Cependant figure aussi la limite de nullification de la borne péjorative (la plus proche de l’absence d’effet, ici la borne supérieure, upper 95% CI) qui est la limite sur laquelle se joue la perte de la signification statistique. Sont aussi représentés (les croix) les facteurs de confusions pris en compte présenté par une croix centrée sur le RR de leur association avec le critère de jugement (en ordonnée) et le RR de leur déséquilibre entre les 2 groupes en abscisse. La largeur et hauteur de croix représentent les intervalles de confiance. Cette information permet d’apprécier l’ordre de grandeur de l’association avec le critère de jugement et celui du déséquilibre des facteurs connus et mesurés afin d’aider à l’appréciation de la plausibilité de l’existence de facteur correspondant à la limite de nullification. Il faut cependant noter que ces valeurs sont celles trouvées dans le jeu de données analysé. Il serait préférable qu’il s’agisse, pour la force de liaison avec le critère de jugement, d’estimations provenant de la littérature (des études dédiées à l’estimation des facteurs pronostiques et des facteurs de risques). Pour le déséquilibre, il n’est pas non plus certain que le niveau de déséquilibre des facteurs mesurés soit similaire à celui des covariables non mesurées.

Cette publication propose aussi d’autre analyse quantitative de biais pour apprécier les conséquences des données manquantes, de la fréquence des métastases cérébrales, et d’une éventuelle mauvaise performance du comparateur dans ces données de vraie vie.