04.01 Meta FTorresferran.torres.name/edu/fitoterapia/download/07 Meta FTorres.pdf · • El...

1

[email protected] [email protected] [email protected]@uab.es 11

MetaMeta--ananáálisislisis

[email protected] [email protected] -- [email protected]@uab.es 22

Preguntas bPreguntas báásicassicas

•• ¿¿QuQuéé es?es?•• ¿¿Para quPara quéé sirve?sirve?•• ¿¿CCóómo se regula?mo se regula?•• ¿¿CCóómo se hace?mo se hace?•• ¿¿QuQuéé mméétodos?todos?•• ¿¿CuCuáándo?ndo?


INDICEINDICE

1. Definici1. Definicióónn2. Objetivos 2. Objetivos 3. Antecedentes hist3. Antecedentes históóricosricos4. Protocolo y desarrollo de un meta4. Protocolo y desarrollo de un meta--

ananáálisislisis5. Estimadores del tama5. Estimadores del tamañño del efectoo del efecto6. Ejemplo de meta6. Ejemplo de meta--ananáálisislisis

2


DefiniciDefinicióónnEl metaEl meta--ananáálisis es unalisis es una revisirevisióón sistemn sistemááticatica de un de un gran ngran núúmeromero de estudiosde estudios queque utilizautiliza mméétodos todos estadestadíísticossticos parapara combinar, sintetizar e integrarcombinar, sintetizar e integrarla informacila informacióón de variosn de varios estudios independientesestudios independientesque son considerados por el que son considerados por el ananáálistalista como como ““combinablescombinables””

Adaptado de:Adaptado de:- Glass GV. Primary and Meta-analysis of research. Educational Researcher 1976;5:3-8.- Huque MF. Experiences with meta-analysis in NDA submissions. Proc

Biopharmaceutical Section of the American Statistical Association 1988;28-33.- Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic

reviews of randomized control trials in health care from the Potsdamconsultation meta-analysis. J Clin Epidemiol 1995;48:168-71.

- D’Agostino RB, Weintraub M. Meta-analysis: a method for sythesizing research. Clin Pharmacol Ther 1995; 58:605-616.


Objetivos (1)Objetivos (1)El metaEl meta--ananáálisis, cuando se realiza de forma lisis, cuando se realiza de forma adecuada, puede ser utilizado para los siguientes adecuada, puede ser utilizado para los siguientes proppropóósitos:sitos:

•• Incrementar la potencia estadIncrementar la potencia estadíística de los stica de los resultados procedentes de mresultados procedentes de múúltiples estudios ltiples estudios individuales y posibilitar el anindividuales y posibilitar el anáálisis estadlisis estadíístico stico de subgruposde subgrupos

•• Mejorar las estimaciones de la magnitud Mejorar las estimaciones de la magnitud del efectodel efecto

•• Resolver controversias cuando hay desacuerdo Resolver controversias cuando hay desacuerdo entre los estudiosentre los estudios.


Objetivos (2)Objetivos (2)•• Contestar nuevas preguntas que no se habContestar nuevas preguntas que no se habíían an

planteado en los estudios individualesplanteado en los estudios individuales•• Confirmar hipConfirmar hipóótesis que no se habtesis que no se habíían podido an podido

confirmar en los estudios individualesconfirmar en los estudios individuales•• Elaborar nuevas hipElaborar nuevas hipóótesis que deben ser tesis que deben ser

contrastadas en futuros estudioscontrastadas en futuros estudios•• Abrir nuevos caminos de investigaciAbrir nuevos caminos de investigacióón o n o

redirigir la investigaciredirigir la investigacióón en curson en curso•• Presentar el perfil de eficacia y seguridad Presentar el perfil de eficacia y seguridad

de los fde los fáármacos.rmacos.

3


Objetivos (3)Objetivos (3)

•• ObtenciObtencióón de estimadores o parn de estimadores o paráámetros para metros para estudios de estudios de farmacoeconomfarmacoeconomííaa, calidad de vida, , calidad de vida, etc.etc.

Adaptado de:Adaptado de:- Fleiss JL, Gross A. Meta-analysis in epidemiology, with special

reference to studies of association between exposure toenvironmental tobacco smoke and lung cancer: a critique. J Clin Epidemiol 1991; 127-139.


OBJETIVOSOBJETIVOS

ConclusiConclusióón:n:–– Ganancia en precisiGanancia en precisióónn–– ComparaciComparacióón crn críítica de los resultadostica de los resultados–– Diferencias en magnitud o sentidoDiferencias en magnitud o sentido–– Posibilidad de generalizarPosibilidad de generalizar


EVOLUCIEVOLUCIÓÓN DEL USO DEL MN DEL USO DEL MÉÉTODO METATODO META--ANALANALÍÍTICOTICO

Período de tiempo Total Ratio articulos/mes

1950-1959 1 0.008

1960-1969 8 0.067

1970-1979 18 0.150

1980-1984 73 1.217

1985-1989 333 5.550

1990-1992 (Junio) 245 5.833

1992 (Julio)-1995 1503 36.429

4


EVOLUCIEVOLUCIÓÓN DEL USO DEL MN DEL USO DEL MÉÉTODO METATODO META--ANALANALÍÍTICOTICO

Ratio articulos/mes

0,0005,000

10,00015,00020,00025,00030,00035,00040,000

1950-1959

1960-1969

1970-1979

1980-1984

1985-1989

1990-1992

(Junio)

1992(Julio)-1995

Ratio articulos/mes


CARACTERCARACTERÍÍSTICASSTICASAreasAreas de aplicacide aplicacióónn

Ciencias de la educaciCiencias de la educacióónnPsicologPsicologííaaBiologBiologííaaMedicinaMedicinaCiencias medioCiencias medio--ambientalesambientalesQuQuíímicamicaFFíísicasicaEconomEconomííaaEtc...Etc...


CARACTERCARACTERÍÍSTICASSTICASProblemas preliminaresProblemas preliminares–– SelecciSeleccióón de materialn de material

BibliografBibliografííaa–– BBúúsqueda informatizada (squeda informatizada (MedlineMedline, , ScienceScience CitacionCitacion IndexIndex, ...), ...)–– BBúúsqueda manual (Citas referenciadas, conferencias)squeda manual (Citas referenciadas, conferencias)–– Lenguas extranjerasLenguas extranjeras–– Estudios presentados a conferencias y congresosEstudios presentados a conferencias y congresos–– Calidad de los estudiosCalidad de los estudios

–– DiseDiseñños distintos (estudios de cohortes, casoos distintos (estudios de cohortes, caso--control, ...)control, ...)

5


CARACTERCARACTERÍÍSTICASSTICASDatos:Datos:–– Tipos de medida de los efectosTipos de medida de los efectos–– Escalas de medidaEscalas de medida–– ExtensiExtensióón de la informacin de la informacióónn

Datos originalesDatos originalesEstadEstadíísticos de resumensticos de resumenEstimaciEstimacióón del efecto y errores estn del efecto y errores estáándarndarValores de significaciValores de significacióónn


CARACTERCARACTERÍÍSTICASSTICAS

Datos:Datos:–– Toda la informaciToda la informacióón, a excepcin, a excepcióón de los n de los

datos originales, complica enormemente el datos originales, complica enormemente el ajuste por distinto factores de confusiajuste por distinto factores de confusióón n potencialespotenciales

Disponibilidad de los estudios: Disponibilidad de los estudios: Sesgo Sesgo de publicacide publicacióónn


CARACTERCARACTERÍÍSTICASSTICAS

No independencia de los estudios No independencia de los estudios –– Tiempo: momento en que se realiza el Tiempo: momento en que se realiza el

estudioestudio–– Centro o investigadorCentro o investigador–– MMúúltiple publicaciltiple publicacióón de los resultadosn de los resultados–– Mismos sujetos (en distintos estudios)Mismos sujetos (en distintos estudios)

6


Ventajas y limitacionesVentajas y limitaciones

VentajasVentajasConsideraciConsideracióón sistemn sistemáática (evaluacitica (evaluacióón no n no sesgada)sesgada)CuantificaciCuantificacióón de los resultadosn de los resultadosAumento de precisiAumento de precisióón de los resultadosn de los resultadosMayor capacidad de estudiar efectos en Mayor capacidad de estudiar efectos en subgrupossubgruposMayor facilidad para evaluar las discrepancias Mayor facilidad para evaluar las discrepancias entre estudiosentre estudiosMayor generalizaciMayor generalizacióón de las conclusionesn de las conclusiones


Ventajas y limitacionesVentajas y limitaciones

Limitaciones:Limitaciones:La calidad estLa calidad estáá limitada por los estudios limitada por los estudios individualesindividualesDificultad para establecer los criterios de inclusiDificultad para establecer los criterios de inclusióónnSesgo de selecciSesgo de seleccióón (publicacin (publicacióón, lengua, calidad ...)n, lengua, calidad ...)


ProtocoloProtocolo•• Como en cualquier otro estudio, antes de iniciar unComo en cualquier otro estudio, antes de iniciar un

metameta--ananáálisis se debe elaborar un protocolo completolisis se debe elaborar un protocolo completoy detalladoy detallado

•• El protocolo deberEl protocolo deberíía incluir como ma incluir como míínimo:nimo:-- Una descripciUna descripcióón detallada de los objetivos e hipn detallada de los objetivos e hipóótesis que tesis que

se van a probarse van a probar-- Los criterios de inclusiLos criterios de inclusióón y exclusin y exclusióón de los estudiosn de los estudios-- Los procedimientos que se utilizarLos procedimientos que se utilizaráán para probar la n para probar la

homogeneidad de los tamahomogeneidad de los tamañños de los efectos entre os de los efectos entre estudiosestudios

-- Los mLos méétodos estadtodos estadíísticos que se utilizarsticos que se utilizaráán para estimar el n para estimar el tamatamañño del efecto globalo del efecto global

-- Los mLos méétodos que se utilizartodos que se utilizaráán para presentar y resumirn para presentar y resumirlos resultadoslos resultados

7


AnAnáálisis de la heterogeneidadlisis de la heterogeneidad•• Respuesta a la siguiente pregunta:Respuesta a la siguiente pregunta:

¿¿SON COMBINABLES LOS ESTUDIOS?SON COMBINABLES LOS ESTUDIOS?

•• Pruebas de homogeneidad de los resultados de los Pruebas de homogeneidad de los resultados de los estudios individuales:estudios individuales:-- Prueba jiPrueba ji--cadradocadrado Q de Q de CochranCochran-- Prueba jiPrueba ji--cuadrado de cuadrado de BreslowBreslow--DayDay

•• Las pruebas de homogeneidad tienen baja potencia Las pruebas de homogeneidad tienen baja potencia para detectar la heterogeneidadpara detectar la heterogeneidad

•• Un valor p de la prueba de homogeneidad 0.10, Un valor p de la prueba de homogeneidad 0.10, sugiere heterogeneidad entre estudios y, por tanto, sugiere heterogeneidad entre estudios y, por tanto, podrpodríía no ser va no ser váálido combinar los estudioslido combinar los estudios


Egger et al. Systematic reviews in health care. London: BMJ books, 2001.


Magnitud del efecto (1)Magnitud del efecto (1)•• Los mLos méétodos estadtodos estadíísticos utilizados para estimar sticos utilizados para estimar

el tamael tamañño del efecto global de diferentes estudios o del efecto global de diferentes estudios se basan ense basan en Modelos de Efectos Fijos y Efectos Modelos de Efectos Fijos y Efectos AleatoriosAleatorios

•• LosLos Modelos de Efectos FijosModelos de Efectos Fijos asumen un efecto asumen un efecto constante del tratamiento entre estudios, es decir, constante del tratamiento entre estudios, es decir, los tamalos tamañños de los efectos entre estudios son os de los efectos entre estudios son homoghomogééneos o similares.neos o similares.-- Los diferentes estudios pertenecen a una misma Los diferentes estudios pertenecen a una misma

poblacipoblacióónn-- Consideran la variabilidad Consideran la variabilidad intraintra--estudioestudio

8


Magnitud del efecto (2)Magnitud del efecto (2)•• LosLos Modelos de Efectos AleatoriosModelos de Efectos Aleatorios consideran que consideran que

existe una variaciexiste una variacióón entre estudiosn entre estudios-- Los estudios provienen de poblaciones diferentesLos estudios provienen de poblaciones diferentes-- Consideran la variabilidad Consideran la variabilidad intraintra e e interinter--estudioestudio


Magnitud del efecto (3)Magnitud del efecto (3)•• Ninguno de los dos modelos se puede considerarNinguno de los dos modelos se puede considerar

““correctocorrecto””::

-- Si los estudios son homogSi los estudios son homogééneosneosLa elecciLa eleccióón entre un modelo de efectos fijos n entre un modelo de efectos fijos y efectos aleatorios no es importante, ya que los y efectos aleatorios no es importante, ya que los resultados serresultados seráán idn idéénticosnticos

-- Si los estudios no son homogSi los estudios no son homogééneosneosEs mEs máás apropiado elegir un modelo de efectos s apropiado elegir un modelo de efectos aleatoriosaleatorios

•• Los modelos de efectos fijos y efectos aleatorios Los modelos de efectos fijos y efectos aleatorios utilizan diferentes mutilizan diferentes méétodos estadtodos estadíísticos para sticos para combinarlos resultadoscombinarlos resultados


Magnitud del efecto (4)Magnitud del efecto (4)

Efectos fijos Efectos aleatorios Método Efecto Método Efecto

V. Cualit. Mantel-Haenszel OR, RR DerSimonian- Laird

Ratios y Diferencias

Peto OR

Basado en la varianza general

Ratios y diferencias

V. Cuantit. Diferencias tipificadas entre

medias

Cuantitativas

Diferencias tipificadas

entre medias

Cuantitativas

9


AnAnáálisis de sensibilidad (1)lisis de sensibilidad (1)•• Un anUn anáálisis de sensibilidad evallisis de sensibilidad evalúúa la estabilidad dea la estabilidad de

las conclusiones de un anlas conclusiones de un anáálisis seglisis segúún las asunciones n las asunciones (supuestos) que se han realizado en el an(supuestos) que se han realizado en el anáálisislisis

•• Cuando una conclusiCuando una conclusióón permanece invariante al variar n permanece invariante al variar las asunciones del anlas asunciones del anáálisis, se refuerza la confianza lisis, se refuerza la confianza en la validez de las conclusiones del anen la validez de las conclusiones del anáálisislisis

•• El anEl anáálisis de sensibilidad permite identificar las lisis de sensibilidad permite identificar las asunciones masunciones máás crs crííticas del anticas del anáálisislisis

•• Conocer las asunciones crConocer las asunciones crííticas de un anticas de un anáálisis puede lisis puede ser utilizado para formular las prioridades para una ser utilizado para formular las prioridades para una futura investigacifutura investigacióón enfocada a resolver el problema n enfocada a resolver el problema planteado en el anplanteado en el anáálisislisis


AnAnáálisis de sensibilidad (2)lisis de sensibilidad (2)

ANÁLISIS ASUNCIONESANÁLISIS DE

SENSIBILIDAD- Est im a c ió n d e lam a g n itu d d e le fe c to g lo b a lm e d ia n te u nm o d e lo d e e fe c to sfijo s

- La s m a g n itu d e sd e lo s e fe c to s d elo s e stu d io s so nh o m o g é n e o s osim ila re s

- Est im a r la m a g n itu dd e l e fe c to g lo b a lm e d ia n te u n m o d e lod e e fe c to s a le a to rio s

Si lo s re su lta d o s d e lo s d o s a n á lisis so n sim ila re s, la a su n c ió n d e la n á lisis e s c o rre c ta

La m a g n itu d d e l e fe c to g lo b a l e st im a d o e s v a lid o Si lo s re su lta d o s d e lo s d o s a n á lisis so n d ife re n te s, la a su n c ió nd e l a n á lisis n o e s c o rre c ta , e s d e c ir, la s m a g n itu d e s d e lo se fe c to s d e lo s e stu d io s n o so n h o m o g é n e o s

La m a g n itu d d e l e fe c to g lo b a l e st im a d o p o d ría n o se r v a lid o


AnAnáálisis se sensibilidad (3)lisis se sensibilidad (3)

EFFECTS MODEL

REL

ATI

VE L

IVE-

BIR

TH R

ATI

O

0.0

0.2

0.4

0.6

0.8

1.0

1.2

1.4

1.6

1.8

2.0

FIXED RANDOM FIXED RANDOM

FAVO

UR

S C

ON

TRO

LFA

VOU

RS

TREA

TMEN

T

Homogeneity testP = 0.06 (<<0.10)

Homogeneity testP = 0.63 (>>0.10)

Data from Jeng GT et al. JAMA 1995; 274:830-8

10


AnAnáálisis de la robustezlisis de la robustez

•• AnAnáálisis del sesgo de publicacilisis del sesgo de publicacióón y/o inclusin y/o inclusióón n selectiva de estudios positivosselectiva de estudios positivos

•• CorrelaciCorrelacióón entre la magnitud del efecto y n entre la magnitud del efecto y el tamael tamañño muestral de los estudios.o muestral de los estudios.


AnAnáálisis del sesgo de publicacilisis del sesgo de publicacióón y/o n y/o inclusiinclusióón selectiva de estudios positivos (1)n selectiva de estudios positivos (1)

•• La introducciLa introduccióón del sesgo de publicacin del sesgo de publicacióón y/o n y/o inclusiinclusióón selectiva de estudios positivos en un n selectiva de estudios positivos en un metameta--ananáálisis se debe fundamentalmente a que:lisis se debe fundamentalmente a que:

-- La mayorLa mayoríía de estudios publicados presentan a de estudios publicados presentan resultados positivos significativos y una minorresultados positivos significativos y una minoríía a muestran resultados negativos o no significativos muestran resultados negativos o no significativos

-- Hay una tendencia a seleccionar y, por tanto, Hay una tendencia a seleccionar y, por tanto, incluir en el metaincluir en el meta--ananáálisis los estudios o datos no lisis los estudios o datos no publicados con resultados positivos significativospublicados con resultados positivos significativosy a guardar los que muestran resultados y a guardar los que muestran resultados negativos o no significativosnegativos o no significativos


AnAnáálisis del sesgo de publicacilisis del sesgo de publicacióón y/o inclusin y/o inclusióón n selectiva de estudios positivos (2)selectiva de estudios positivos (2)

PUBLISHED STUDIES VS UNPUBLISHED STUDIES

REL

ATI

VE L

IVE-

BIR

TH R

ATI

O

0.4

0.6

0.8

1.0

1.2

1.4

1.6

1.8

PUBLISHED UNPUBLISHED PUBLISHED + UNPUBLISHED DATA

PUBLISHED+ UNPUBLISHED

FAVOURS CONTROL

FAVOURS TREATMENT

Data from Jeng GT et al. JAMA 1995; 274:830-836

11


Los mLos méétodos utilizados para detectar la introduccitodos utilizados para detectar la introduccióón n del sesgo de publicacidel sesgo de publicacióón en un metan en un meta--ananáálisis son:lisis son:

–– FunnelFunnel plotplot–– El anEl anáálisis de la lisis de la asimetriaasimetria del del funnelfunnel plotplot

Si el nSi el núúmero de estudios incluidos en el metamero de estudios incluidos en el meta--ananáálisis lisis es pequees pequeñño, el o, el funnelfunnel plotplot es poco es poco úútil. En este caso, el til. En este caso, el mejor mmejor méétodo es comparar el tamatodo es comparar el tamañño del efecto o del efecto global entre los estudios publicados y no publicadosglobal entre los estudios publicados y no publicados

En un metaEn un meta--ananáálisis basado en todos los estudios lisis basado en todos los estudios originales, no es necesario analizar el sesgo de originales, no es necesario analizar el sesgo de publicacipublicacióónn

AnAnáálisis del sesgo de publicacilisis del sesgo de publicacióón y/o n y/o inclusiinclusióón selectiva de estudios positivos (3)n selectiva de estudios positivos (3)


FunnelFunnel plotplot

PublishedUnpublishedOverall OR

DEMONSTRATION OF FUNNEL PLOT

ODDS RATIO

SAM

PLE

SIZE

0

20

40

60

80

100

120

140

160

180

200

220

0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0


FunnelFunnel plotplot

PublishedOverall OR

DEMONSTRATION OF FUNNEL PLOT

ODDS RATIO

SAM

PLE

SIZE

0

20

40

60

80

100

120

140

160

180

200

220

0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 2.2

12


AnAnáálisis de la correlacilisis de la correlacióónn•• Una correlaciUna correlacióón significativa entre la magnitud n significativa entre la magnitud

del efecto y el tamadel efecto y el tamañño de la muestra de los estudios o de la muestra de los estudios indica que el tamaindica que el tamañño del efecto depende del tamao del efecto depende del tamañño o del estudiodel estudio

•• Esta correlaciEsta correlacióón puede indicar una verdadera n puede indicar una verdadera heterogeneidad entre estudios, fundamentalmente heterogeneidad entre estudios, fundamentalmente debida a un diferente esfuerzo experimental entre debida a un diferente esfuerzo experimental entre estudios, es decir, la rigurosidad del estudio estarestudios, es decir, la rigurosidad del estudio estaríía a en funcien funcióón de su taman de su tamaññoo

•• En este caso podrEn este caso podríía no ser valido el metaa no ser valido el meta--ananáálisislisis


AnAnáálisis de la correlacilisis de la correlacióónnCORRELATION BETWEEN THE EFFECT SIZE AND SAMPLE SIZE

SAMPLE SIZE

0.00.20.40.60.81.01.21.41.61.82.02.22.4

100 140 180 220 260 300 340 380 420

OD

DS

RA

TIO

r2 = 0.01b = 0.0009p = 0.70


PresentaciPresentacióón grn grááficafica

13


Conclusiones (1)Conclusiones (1)1.1. El metaEl meta--ananáálisis es un herramienta valida y lisis es un herramienta valida y

poderosa para la spoderosa para la sííntesis de la investigacintesis de la investigacióón n siempre y cuando se aplique de forma adecuada siempre y cuando se aplique de forma adecuada (justificaci(justificacióón, protocolo, etc.)n, protocolo, etc.)

2.2. La utilizaciLa utilizacióón no crn no críítica del metatica del meta--ananáálisis puede lisis puede llevar a conclusiones errllevar a conclusiones erróóneas. Las principales neas. Las principales crcrííticas que se realizan a un metaticas que se realizan a un meta--ananáálisis son:lisis son:

-- Sesgo de publicaciSesgo de publicacióón y/o inclusin y/o inclusióón selectiva de n selectiva de estudios positivosestudios positivos

-- Heterogeneidad entre estudiosHeterogeneidad entre estudios-- CorrelaciCorrelacióón entre el taman entre el tamañño del efecto y el o del efecto y el

tamatamañño de la muestrao de la muestra


Conclusiones (2)Conclusiones (2)3.3. ÚÚnicamente cuando estos problemas son nicamente cuando estos problemas son

debidamente considerados y analizados por debidamente considerados y analizados por medio de:medio de:

-- AnAnáálisis de la asimetrlisis de la asimetríía del a del funnelfunnel plotplot-- Pruebas de homogeneidadPruebas de homogeneidad-- AnAnáálisis de la correlacilisis de la correlacióón entre el n entre el

tamatamañño del efecto y el tamao del efecto y el tamañño de la o de la muestra de los estudiosmuestra de los estudios

Es posible aplicar esta tEs posible aplicar esta téécnica estadcnica estadíística stica para combinar los estudios de forma que los para combinar los estudios de forma que los resultados globales sean cientresultados globales sean cientííficamente ficamente validosvalidos


MetaMeta--ananáálisislisisEjemploEjemplo

Ferran Torres Ferran Torres [email protected]@uab.es

14


ExampleExampleFleiss JL The statistical basis of metaFleiss JL The statistical basis of meta--analysis. analysis. Statistical Methods in Medical research 1993; 2: Statistical Methods in Medical research 1993; 2: 121121--145.145.

Results of seven placeboResults of seven placebo--controlled randomised controlled randomised studies of the effect of aspirin in preventing studies of the effect of aspirin in preventing death after myocardial infarctiondeath after myocardial infarction


StudyAAS Placebo AAS Placebo

MRC-1 49 67 615 624CDP 44 64 758 771MRC-2 102 126 832 850GASP 32 38 317 309PARIS 85 104 810 812AMIS 246 219 2267 2257ISIS-2 1570 1720 8587 8600

deaths Total patients

Studies of aspirin in myocardial infarction


Study OR y=ln(OR) se{lnOR} w Prop weightMRC-1 0.72 0.49 1.06 -0.33 0.19 26.3 2.9%CDP 0.68 0.46 1.01 -0.38 0.20 25.1 2.8%MRC-2 0.80 0.61 1.06 -0.22 0.14 49.3 5.4%GASP 0.80 0.49 1.32 -0.22 0.25 15.6 1.7%PARIS 0.79 0.54 1.16 -0.23 0.19 27.1 3.0%AMIS 1.13 0.94 1.37 0.12 0.10 104.3 11.4%ISIS-2 0.90 0.83 0.97 -0.11 0.04 665.1 72.9%

95% CI

8.910=∑ iw3.99yw ii −=∑Pooled estimate of ln(OR) =

OR = 0.90 (0.84 0.96)

11.08.9103.99

−=−

Meta-analysis of Aspirin trials

15


Graphical representationGraphical representation


Study OR y=ln(OR) se{lnOR} w Prop weightMRC-1 0.72 0.49 1.06 -0.33 0.19 26.3 2.9%CDP 0.68 0.46 1.01 -0.38 0.20 25.1 2.8%MRC-2 0.80 0.61 1.06 -0.22 0.14 49.3 5.4%GASP 0.80 0.49 1.32 -0.22 0.25 15.6 1.7%PARIS 0.79 0.54 1.16 -0.23 0.19 27.1 3.0%AMIS 1.13 0.94 1.37 0.12 0.10 104.3 11.4%ISIS-2 0.90 0.83 0.97 -0.11 0.04 665.1 72.9%

95% CI

Fixed OR = 0.90 (0.84 0.96)

Study OR y=ln(OR) var Prop weightMRC-1 0.72 0.46 1.10 -0.33 0.05 8.0%CDP 0.68 0.43 1.05 -0.38 0.05 8.0%MRC-2 0.80 0.57 1.12 -0.22 0.03 13.0%GASP 0.80 0.46 1.36 -0.22 0.07 5.0%PARIS 0.79 0.52 1.20 -0.23 0.05 9.0%AMIS 1.13 0.86 1.48 0.12 0.02 21.0%ISIS-2 0.90 0.72 1.10 -0.11 0.01 36.0%

95% CI

Random OR= 0.88 95%CI : (0.77 ; 0.99)


16




10.4%-14.2% = 3.8%

17


MetaMeta--ananáálisislisisNormativasNormativas

Ferran Torres Ferran Torres [email protected]@uab.es


GuiasGuias y Normativasy NormativasICH ICH -- E9: Statistical Principles for Clinical E9: Statistical Principles for Clinical Trials Note for Guidance on Statistical Trials Note for Guidance on Statistical Principles for Clinical Trials. Principles for Clinical Trials. CMP/ICH/363/96. September 1998CMP/ICH/363/96. September 1998

CPMP/EWP/2330/99: Validity and CPMP/EWP/2330/99: Validity and Interpretation of Pooled Analyses, and one Interpretation of Pooled Analyses, and one Pivotal studyPivotal study

The Potsdam International Consultation on The Potsdam International Consultation on MetaMeta--analysis Potsdam, Germany, March 1994analysis Potsdam, Germany, March 1994

QUORUM. Statement. QUORUM. Statement. Lancet 1999; 354: Lancet 1999; 354: 18961896--1900.1900.


PotsdamPotsdam International International CosultationCosultation

• • JournalJournal of of ClinicalClinical EpidemiologyEpidemiology 1995; 48: 11995; 48: 1--7171

• • Cook DJ, Cook DJ, SackettSackett DL, DL, SpitzerSpitzer WO. WO. MethodologicMethodologicguidelinesguidelines forfor systematicsystematic reviewsreviews of of randomizedrandomizedcontrol control trialstrials in in healthhealth carecare fromfrom thethe PotsdamPotsdamconsultationconsultation metameta--analysisanalysis. J . J ClinClin EpidemiolEpidemiol 1995;1995;48:16848:168--71.71.

Describen los pasos que se deben seguir en el Describen los pasos que se deben seguir en el desarrollo de un metadesarrollo de un meta--ananáálisis rigurosolisis riguroso

18



ICHICH Biostatistical guidelineBiostatistical guideline””Individual clinical trials should alwaysIndividual clinical trials should always bebe large large

enoughenough toto satisfy their objectivessatisfy their objectives..””

””TheThe useuse of metaof meta--analytic techniquesanalytic techniques totocombine these estimatescombine these estimates isis often usefuloften useful,,becausebecause itit allowsallows aa moremore preciseprecise estimateestimate of of thethe sizesize of theof the treatment effectstreatment effects..””


ICHICH Biostatistical guidelineBiostatistical guideline

””UnderUnder exceptional circumstancesexceptional circumstances a metaa meta--analyticanalytic approachapproach maymay be thebe the most most appropriate wayappropriate way to, or theto, or the only wayonly way, of, ofproviding sufficientproviding sufficient overalloverall evidenceevidence ofofefficacyefficacy ......””

19


PtCPtC on Metaon Meta--analysesanalyses

”…”… not tonot to encourageencourage applicantsapplicants toto relyrely on a on a submissionsubmission where stand alonewhere stand alone studiesstudieshave been substitutedhave been substituted by a metaby a meta--analysisanalysis ofof trialstrials ofof inadequate sizeinadequate size..””


AcceptableAcceptable regulatoryregulatory purposes for metapurposes for meta analysisanalysis

ToTo improveimprove the precision of thethe precision of the estimateestimate ofofefficacyefficacy

ToTo evaluate whetherevaluate whether overall positiveoverall positive results results are also seenare also seen inin prepre--specified subgroupsspecified subgroups

ToTo evaluate apparently conflicting resultsevaluate apparently conflicting results..


AcceptableAcceptable regulatoryregulatory purposes for metapurposes for metaanalysisanalysis

ToTo evaluateevaluate anan additional efficacy outcome additional efficacy outcome that requires more power thanthat requires more power than thethe individual individual trials cantrials can provide.provide.

ToTo evaluate safetyevaluate safety in ain a subgroupsubgroup, or a rare, or a rareeventevent in all patients.in all patients.

20


PrePre--specificationspecification: Meta: Meta--analysis protocolanalysis protocol

TheThe objectiveobjective of theof the analyisanalyis..CriteriaCriteria forfor inclusioninclusion andand exclusionexclusion of studies of studies ((studystudy populations,populations, studystudy design,design, dosagedosage,,duration etcduration etc).).StrategyStrategy forfor indentificationindentification of studies.of studies.EndpointsEndpoints. The definitions set up for the. The definitions set up for theindividualindividual studiesstudies shouldshould bebe followedfollowed..


PrePre--specificationspecification: Meta: Meta--analysis protocolanalysis protocol

Statistical methodsStatistical methods. P. P--value morevalue more extremeextremethanthan thethe conventionalconventional 0.05.0.05. EvaluationEvaluation ofofhetreogeneityhetreogeneity..

Plan forPlan for evaluationevaluation ofof robustnessrobustness. . Demonstration ofDemonstration of consistencyconsistency in alternativein alternativeanalysesanalyses..


Timing of the metaTiming of the meta--analysis protocolanalysis protocol

AA retrospective specification shouldretrospective specification should bebeavoided if possibleavoided if possible..

InIn retrospectively specified protocolsretrospectively specified protocols thetheprimary specificationsprimary specifications and definitions set up and definitions set up in thein the indiviindivi--dual studiesdual studies shouldshould bebe followedfollowed..

21


RetrospectiveRetrospective metameta--analysisanalysis

MayMay be acceptablebe acceptable ififsomesome studiesstudies clearlyclearly positivepositivenono majormajor numerical interactionsnumerical interactionspositive trend inpositive trend in inconclusiveinconclusive studiesstudiespooledpooled CICI well awaywell away fromfrom zerozero (or(or unityunity))selection bias unlikelyselection bias unlikelyrobustnessrobustness of theof the findingsfindings


SelectionSelection of studiesof studies

Obligation toObligation to submitsubmit all studies relevant to all studies relevant to thethe claims madeclaims made..

Selection biasSelection bias normally not a problem fornormally not a problem for new new chemical entitieschemical entities..

Selection biasSelection bias inin drug applicationsdrug applications notnot specificspecifictoto applications withapplications with a metaa meta--analysisanalysis


SelectionSelection of studiesof studies

SubstantialSubstantial risk forrisk for selection biasselection bias ininapplications whollyapplications wholly or partlyor partly relyingrelying ononbibliographicalbibliographical data.data.

TheThe strategystrategy forfor indentifyingindentifying relevant relevant studiesstudies shouldshould bebe presented together withpresented together with aathorough discussionthorough discussion of a potentialof a potential selection selection biasbias..

22


Clinical relevanceClinical relevance ofof pooled resultspooled results

Statistical significanceStatistical significance vsvs clinical relevanceclinical relevance..

EmphasisEmphasis onon clinicalclinical judgement.judgement.

Significant effects mightSignificant effects might be to small tobe to small toresultresult in a positive overall risk/in a positive overall risk/benefitbenefit..


HeterogeneityHeterogeneity andand external validityexternal validity

AreAre thethe studystudy populationspopulations sufficientlysufficientlyrepresentative of arepresentative of a common targetcommon target population population ((dosagedosage,, durationduration,, severity etcseverity etc)?)?

Are there anyAre there any reason toreason to suspectsuspect a a clinically clinically relevant interaction?relevant interaction?

Suspected interactionsSuspected interactions and majorand major clinical clinical differences amongdifferences among thethe individualindividual studiesstudies shouldshould bebeevaluatedevaluated in alternativein alternative analysesanalyses..


Pooled analyses Pooled analyses of of safety endpointssafety endpoints

Less Less sophisticatedsophisticated poolingpooling of data from of data from variable variable sourcessources..

Strigent Strigent metameta--analysis analysis for in for in depth evaluation depth evaluation of of safety safety signals from less reliable signals from less reliable analysesanalyses..

SpecialSpecial attentionattention to theto the inclusioninclusion of studiesof studiesthat are likelythat are likely toto dilutedilute potential negativepotential negativeeffecteffect..

IntraIntra--study comparisonsstudy comparisons a minimuma minimumrequirementrequirement..

23


ICH E9 ICH E9 Statistical principlesStatistical principles for for Clinical Clinical TrialsTrials, 1998, 1998

””The The resultsresults of the of the confirmatoryconfirmatory trial(s) trial(s) shouldshould be robust.be robust.””

””In In somesome circumstancescircumstances the the weightweight of of evidenceevidence from a from a singlesingle confirmatoryconfirmatorytrial trial maymay be be sufficientsufficient..””


What What is the is the crucial questioncrucial question??

Do we have enough Do we have enough studies?studies?

oror

Do we have enough Do we have enough data?data?


Arguments forArguments for replicationreplication

More than one study More than one study provides a provides a broader broader basis basis for generalisation of the for generalisation of the resultsresults..

Protection against fraudProtection against fraud

Reduced Reduced risk for risk for some hidden systematic biassome hidden systematic bias

The general The general demand demand for for replication replication of of scientific resultsscientific results

24


Fundamental Fundamental requirementrequirement on theon the phasephaseIIIIII documentationdocumentation

AdequateAdequate andand wellwell--controlledcontrolled data of data of good quality good quality A A sufficient number sufficient number of patients, of patients, withwith a a sufficient variety sufficient variety and and disease conditionsdisease conditions, , collectedcollected by a by a sufficent number sufficent number of of investigatorsinvestigators, , demonstratingdemonstrating a positive risk/a positive risk/benefit benefit in the in the intended intended population at the population at the intended dose intended dose and and manner manner of of useuse..

Minimum Minimum requirementrequirement: : One controlled study with One controlled study with stasta--tistically compelling tistically compelling and and clinically clinically relevant relevant resultsresults..


Reasons to plan forReasons to plan for more than one studymore than one study

Lack ofLack of pharmacological rationalepharmacological rationale

AA new pharmocological principlenew pharmocological principle

PhasePhase I and I and phase phase II data II data limited limited or or unconvincingunconvincing

A A therapeutic therapeutic area area with with a a history history of of failed failed studies or studies or failures failures to to confirm seemingly confirm seemingly convincing resultsconvincing results

Any other need Any other need to to address additional address additional questions questions in the in the phase phase III programIII program


Crucial issuesCrucial issues in thein the one pivotal studyone pivotal study situationsituation

InternalInternal andand external validityexternal validity..

Clinical relevanceClinical relevance. The . The treatment benefit treatment benefit must be must be large enough large enough to be to be clinically clinically relevant.relevant.

Statistical significanceStatistical significance. . PassingPassing the the conventional conventional 5% 5% significance level significance level is is usually usually not not sufficientsufficient..

25


Crucial issuesCrucial issues in thein the one pivotal studyone pivotal study situationsituation

Data Data qualityquality

Internal consistencyInternal consistency.. Similar findingsSimilar findings ininprepre--specified subspecified sub--populations and for populations and for differentdifferent endpointsendpoints..

CenterCenter effectseffects..

PlausibilityPlausibility of theof the hypothesis testedhypothesis tested..


Scientific advice Scientific advice on on One confirmatory studyOne confirmatory studySponsorsSponsors’’ argument argument

New/New/extended indicationextended indication, , pediatric indicationpediatric indicationNew New formulationformulationEffects Effects on on survivalsurvivalSerious disease Serious disease (e.g. cancer)(e.g. cancer)LifeLife--long disease without curelong disease without cureNo therapy currently availableNo therapy currently availableRare Rare disease disease ((orphan drugorphan drug))One study One study in in each each of of two indicationstwo indicationsPlacebo Placebo controlled dosecontrolled dose--finding finding study study positivepositive


Conclusion Conclusion on on One Pivotal studyOne Pivotal study

There There is is no no formal formal requirementrequirement to to include two include two or or more pivotal more pivotal studies in the studies in the phase phase III III program.program.

In In most cases several most cases several studies is the studies is the most most feasible way feasible way to provide the data to provide the data neededneeded..

In the In the exceptional event exceptional event of aof a one pivotal one pivotal study applicationstudy application, , theis study theis study has to be has to be particularly compellingparticularly compelling..

04.01 Meta FTorresferran.torres.name/edu/fitoterapia/download/07 Meta FTorres.pdf · • El...

Documents

Transcript of 04.01 Meta FTorresferran.torres.name/edu/fitoterapia/download/07 Meta FTorres.pdf · • El...