Ferran.Torres@uab.es1

Problemas estadísticos habituales: confusión,

missings, multiplicidad

OUTLINE

Ferran.Torres@uab.es 3

Outline Interacción, factores de confusión y subgrupos Multiplicidad Missing data Otros:

Análisis intermedios Ajustes por covariables Superioridad vs No-Inferioridad Meta-análisis

Med Clin (Barc.) 2005;125(Supl. 1):72-76

INTERACCIÓN, FACTORES DE CONFUSIÓN Y SUBGRUPOS

Ferran.Torres@uab.es 5

Interacción

Presencia de un efecto modificador de la intensidad o sentido de la relación entre diferentes estratos de una variable.

Ejemplos: Sexo con tratamiento. Centro con tratamiento. Edad con tratamiento.

Ferran.Torres@uab.es 6

InteracciónIM Hábito de fumar

No Sí

Sí 9 34

No 491 466

Edad < 45 añosIM Hábito de fumar

No SíSí 4 6No 296 294

Edad >= 45 añosIM Hábito de fumar

No SíSí 5 28No 195 172

1.8% 6.8% d=5%

1.3% 2.0% d=0.7%

2.5% 14% d=11.5%

Ferran.Torres@uab.es 7

Interacción

% IM

5

10

15

Edad >= 45 años

Edad < 45 años

No Fumado

r

Fumador

Ferran.Torres@uab.es 8

Factores de confusión

Categoría especial de sesgos que cumplen:

1) Son factores de riesgo para la enfermedad (o la variable en estudio).

2) Se asocian a la exposición (o la intervención) en estudio.

3) No son pasos o factores intermedios.

Ferran.Torres@uab.es 9

Factores de confusiónIM Café

No SíSí 10 40NO 490 460

No fumadoresIM Café

No SíSí 8 7No 472 413

FumadoresIM Café

No SíSí 2 7No 18 73

2% 8.7% d=6.7%

1.67% 1.67% d=0% 10% 10% d=0%

Ferran.Torres@uab.es 10

Factor de Confusión

% IM

5

10

15

Fumador

No Fumador

Café Sí

Café No

Ferran.Torres@uab.es 11

Subgrupos y la Paradoja de Simpson

Experimental Controln (%) n (%)

ALL Succes 70 (70%) 60 (60%)Failure 30 (30%) 40 (40%)

100 100

Ferran.Torres@uab.es 12

Paradoja de Simpson continuación

Experimental Controln (%) n (%)

MALE Succes 10 (33%) 24 (40%)Failure 20 (67%) 36 (60%)

30 60

FEMALE Succes 60 (86%) 36 (90%)Failure 10 (14%) 4 (10%)

70 40

Experimental Controln (%) n (%)

ALL Succes 70 (70%) 60 (60%)Failure 30 (30%) 40 (40%)

100 100

Ferran.Torres@uab.es 13

Estudios de Subgrupos

AspirinaPlaceboMuerte vascular150

147

Total 1357 1442

11.1% 10.2%

p=0.42045 d=-0.9

Estudio ISIS-2: Muerte vascular por subgrupos de zodiacoGeminis/Libra Otros Signos

AspirinaPlacebo

Muerte vascular654 868

Total 7228 7157

9.0% 12.1%

p<0.0001 d=3.1

Interacción p = 0.019

Lancet 1988; 2: 349–60.

Ferran.Torres@uab.es 14

Cambios a raíz del ISIS-2

Lancet 2005; 365: 1657–61

Ferran.Torres@uab.es 15

“The answer to a randomized controlled trial that does not confirm one’s beliefs is not the conduct of several subanalyses until one can see what one believes. Rather, the answer is to re-examine one’s beliefs carefully.”

BMJ 1999; 318: 1008–09.

Ferran.Torres@uab.es 16

Lancet 2005; 365: 1657–61

Ferran.Torres@uab.es 17

Subgrupos

Recomendaciones: (Pocock, Simon, Peto) 1) Examinar el en subgrupos sólo si el efecto

global es significativo 2) Examinar subgrupos sólo si la interacción es

significativa 3) Plantearse ajustes de en función de los

objetivos 4) Aspectos que aumentan la credibilidad:

Pre-especificación en protocolo Evaluar la plausibilidad biológica

Ferran.Torres@uab.es 18

Lancet 2005; 365: 176–86

MULTIPLICIDAD

Ferran.Torres@uab.es 20

Ley de Murphy de la Investigación

Una cantidad de investigación suficiente nos

permitirá probar cualquier teoría

Ferran.Torres@uab.es 21

Multiplicidad

K hipótesis independientes: H01 , H02 , ... , H0K

S resultados significativos ( p<)

Pr (S 1 | H01 H02 ... H0K = H0.) = 1 - Pr (S=0|H0.)

= 1- (1 - )K

K Pr(S>=1|Ho.) K Pr(S>=1|Ho.)

1 0.0500 10 0.4013

2 0.0975 15 0.5367

3 0.1426 20 0.6415

4 0.1855 25 0.7226

5 0.2262 30 0.7854

Ferran.Torres@uab.es 22

Fuentes de Multiplicidad en EC

Múltiples criterios de evaluación

Múltiples tiempos de observación (medidas repetidas)

Múltiples análisis (intermedios, secuenciales)

Múltiples comparaciones: diseños con más de dos tratamientos subgrupos

Ferran.Torres@uab.es 23

Ejemplos de multiplicidad en EC

caso A caso B caso Cvariables 2 5 5tiempos 2 4 4subgrupos 2 3 3comparaciones 1 1 3

total 8 60 180% falsos positivos 33.66% 96.61% 99.99%

Ferran.Torres@uab.es 24

Multiplicidad Corrección de Bonferroni

K pruebas con un nivel de significación de Tomar como nivel de significación de cada

prueba /k

Ejemplo: 5 pruebas independientes Se pretende un nivel global del 5% Se toma como significativa una prueba si su nivel

de significación es de 5% / 5= 1%

Ferran.Torres@uab.es 25

Lancet 2005; 365: 1591–95

Ferran.Torres@uab.es 26

Estrategias para ‘cargar’ con los múltiples contrastes de un Ensayo clínico

Ferran.Torres@uab.es 27

Manejo de la multiplicidad

Escenario 1: Una única variable Identificar una variable principal y el resto son

secundarias

El EC es concluyente si la variable principal es significativa (valor de p <= 0.05, p.e.)

El cálculo del tamaño de la muestra depende sólo de la variable principal.

Ferran.Torres@uab.es 28

Ferran.Torres@uab.es 29

Manejo de la multiplicidad Escenario 2 Dividir el Error de Tipo IIdentificar dos o más variables principales

Dividir el error de Tipo I global, 0.05, entre estas variables principales, por ejemplo: 0.04 para la primera y 0.01 para la segunda.

El EC es concluyente si una de las variables principales es significativa.

Se calcula el tamaño de la muestra para cada una de las variables por separado, utilizando el valor de Error de Tipo I especificado para cada una de ellas, y se utiliza el mayor de todos ellos.

Ferran.Torres@uab.es 30

Manejo de la multiplicidad Escenario 3 Procedimiento de Rechazo

Secuencial Identificar n variables principales, p.e. n=3

Ordenar los valores de p del mayor al menor.

Se evalúa la primera variable con el valor de p mayor, si es significativa al 0.05, se evalúa la segunda variable con el mayor valor de p con un nivel de significación de 0.05/2, en caso de ser significativa se evalúa la tercera con un valor de p de 0.05/3. El procedimiento se detiene en el momento que no se obtiene significación estadística en alguno de los pasos (Hochberg)

Ferran.Torres@uab.es 31

Manejo de la multiplicidad

Escenario 3 (continuación) El EC resulta concluyente si la primera variable

es significativa. Para el cálculo del tamaño de la muestra se

utilizará un Error de Tipo I de 0.05/n y se deberá realizar para cada una de las variables que se analicen como principales. Se resuelve seleccionando el mayor de ellos.

Ferran.Torres@uab.es 32

Manejo de la multiplicidad Escenario 4 Jerárquico

Se pre-especifica la jerarquía de las n variables principales.

Se evalúa si la 1ª variables es significativa al 0.05, si lo es se comprueba la 2ª al 0.05, si lo es se comprueba la 3ª al 0.05 de significación. Se detiene en el momento que una de las variables no resulta significativa.

El EC es concluyente si la primera variable principal observada resulta significativa.

Calcular la N separadamente para cada variable al 5%

Ferran.Torres@uab.es 33

Variables secundarias Sentido de las variables secundarias como

“confirmatorias”: La variable primaria presenta resultados significativos

y Las comparaciones realizadas en las variables

secundarias también están ‘protegidas’ bajo el mismo Error de Tipo I que la variable principal.

Se indican también procedimientos similares a los comentados para la protección del Error de tipo I entre las variables secundarias.

Ferran.Torres@uab.es 34

Análisis intermedios En EC de larga duración, se pueden planificar

inspecciones intermedias formales (interim analysis) con el fin de

Investigar evidencias abrumadoras de eficacia a favor de E, con lo que sería posible parar prematuramente el EC y concluir superioridad de E respecto a C

Investigar la inutilidad del EC, p.e. que la eficacia de E respecto a C fuese tan insignificante que no suponga una evidencia clara de obtener resultados positivos.

Por temas de seguridad, análogamente a lo comentado para eficacia.

Ferran.Torres@uab.es 35

Interim Analyses in the CDP

Z ValueZ ValueZ ValueZ Value

+2+2

+1+1

00

-1-1

-2-2

+2+2

+1+1

00

-1-1

-2-210 20 30 40 50 60 70 80 90 10010 20 30 40 50 60 70 80 90 100

Month of Follow-upMonth of Follow-up

(Month 0 = March 1966, Month 100 = July 1974)

Coronary Drug Project Mortality Surveillance

Circulation. 1973;47:I-1

http://clinicaltrials.gov/ct/show/NCT00000483;jsessionid=C4EA2EA9C3351138F8CAB6AFB723820A?order=23

Ferran.Torres@uab.es 36

Lancet 2005; 365: 1657–61

Ferran.Torres@uab.es 37

Diseño SÍ aplicable a método secuencial

Análisis

Desarrollo total

Reclutamiento

Ferran.Torres@uab.es 38

Métodos secuenciales por grupos

Pocock (1977)

Pruebas de significación repetidas K = Nº máximo de inspecciones a

realizar K fijo a priori Análisis con pruebas estadísticas

clásicas (2, t-test, ...)

Ferran.Torres@uab.es 39

K z ' z ' z '1 2.782 0.005 2.576 0.010 2.178 0.0292 1.967 0.049 1.969 0.049 2.178 0.029

1 3.438 0.001 2.576 0.010 2.289 0.0222 2.431 0.015 2.576 0.010 2.289 0.0223 1.985 0.047 1.969 0.049 2.289 0.022

1 4.084 0.000 3.291 0.001 2.361 0.0182 2.888 0.004 3.291 0.001 2.361 0.0183 2.358 0.018 3.291 0.001 2.361 0.0184 2.042 0.041 1.969 0.049 2.361 0.018

1 4.555 0.000 3.291 0.001 2.413 0.0162 3.221 0.001 3.291 0.001 2.413 0.0163 2.630 0.009 3.291 0.001 2.413 0.0164 2.277 0.023 3.291 0.001 2.413 0.0165 2.037 0.042 1.969 0.049 2.413 0.016

O'Brien & Fleming Peto Pocock

Group Sequential Methods

“MISSING DATA”

Ferran.Torres@uab.es 41

Evolución de los sujetos

PACVisita

SelecciónVisitaBasal RND

Toma de 1a.Medicación Visita 1 Visita 2 Visita 3 Visita 4

1 X X A X X X X X

2 X X A

3 X X B X X X

4 X X A X

5 X X B X X X X/A @ X/A @

6 X X B X X

7 X X A X X X X

8 X

9 X X B X X X X X

10 X X B X X/ERR. X X X

Ferran.Torres@uab.es 42

Ex: LOCF & lineal extrapolation lineal

36

32

28

24-

20

16

12

8

4 0 2 4 6 8 10 12 14 16 18 Time (months)

LOCF

Lineal Regresion

Bias

Adas-Cog

> Worse

< Better

Ferran.Torres@uab.es 43

Ex: Early drop-out due to AE

Adas-Cog

36

32

28

24-

20

16

12

8

4 0 2 4 6 8 10 12 14 16 18 Time (months)

Placebo

Active

> Worse

< Better

Bias:

Favours Active

Ferran.Torres@uab.es 44

Ex: Early drop-out due to lack of Efficacy

Adas-Cog

36

32

28

24-

20

16

12

8

4 0 2 4 6 8 10 12 14 16 18 Time (months)

Placebo

Active

> Worse

< Better

Bias:

Favours Placebo

Ferran.Torres@uab.es 45

RND

B

Baseline Last Visit

≠ Frecuencies

A

Drop-outs and missing dataDrop-outs and missing data

A A A A A AB B A

Visit 2Visit 1

A

Ferran.Torres@uab.es 46

RND

Baseline Last Visit

≠ Timing

A

Drop-outs and missing dataDrop-outs and missing data

A A A A B B

Visit 2Visit 1

B B B

Ferran.Torres@uab.es 47

Handling of MD Methods for imputation:

Many techniques No gold standard for every situation In principle, all methods may be valid:

Simple methods to more complex: From LOCF to multiple imputation methods Worst Case, “Mean methods”

But their appropriateness has to be justified

Statistical approaches less sensitive to MD: Mixed models Survival models

They assume no relationship between treatment and the missing outcome, and generally this cannot be assumed