The material was supported by an educational grant from Ferring Cómo evaluar un estudio clínico de...

The material was supported by an educational grant from Ferring

Cómo evaluar un estudio clínico de manera crítica

Nikolaos P. Polyzos M.D. PhD

Objetivos de aprendizaje

• Al terminar esta presentación, usted debería notar que no aceptará las conclusiones de ningún artículo científico sin cuestionarlas.

• Esta presentación lo guiará sobre cómo debería cuestionar las conclusiones de los artículos científicos.

Es menos probable que un descubrimiento de un estudio sea certero cuando: • los estudios que se llevan a cabo en un campo son más

pequeños

• los tamaños de los efectos son menores

• hay mayor flexibilidad en el diseño, las definiciones, los resultados y los modelos analíticos

• hay grandes intereses financieros o de otros tipos y prejuicios

Ioannidis JP, Plos Med 2005

Ensayo: Por qué la mayoría de los hallazgos de investigaciones que se publican son falsos - John P.A. Ioannidis

Por qué debería cuestionar los resultados en todas las publicaciones científicas

Los artículos más citados NO SIEMPRE dicen la verdad

• Los descubrimientos iniciales....pueden resultar erróneos en el futuro

• Entre los estudios más citados (>1000 citas) con argumentos de eficacia – el 16% fue refutado por investigaciones posteriores

– el 16% tuvo efectos iniciales más fuertes

– el 44% fue replicado también con un tamaño mayor de muestra en estudios posteriores comparados con el estudio original más citado originalmente

– el 24% se mantuvo mayormente sin cambios

Los artículos más citados no siempre dicen la verdad

Ioannidis JP, JAMA 2005

Cómo debería cuestionar los resultados en todas las publicaciones

La fabricación de datos existe aún en las revistas más prestigiosas

Sudbø case (Lancet)

De 908 pacientes incluidos en el estudio, 250 tenían la misma fecha de nacimiento.

La fabricación de datos existe aún en las revistas más prestigiosas


Los estudios randomizados de baja calidad pueden mostrar efectos de tratamiento inflados

• Base de datos de embarazo y nacimientos de Cochrane – 250 ensayos controlados de 33 meta-análisis

• Mayores efectos aparentes de tratamiento en estudios de menor calidad– Temas de randomización

• Las razones de momios. Los rangos de probabilidad se exageraron hasta un 41%

– Puesta a ciego inadecuada • Las razones de momios. Los rangos de probabilidad se

exageraron hasta un 17%

Los estudios randomizados de baja calidad pueden mostrar efectos de tratamiento totalmente inflados

Schulz. JAMA 1995; 273 (5): 408–412

GRÁFICO DE META-ANALISIS PARA NACIMIENTO PRETÉRMINO <37 SEMANAS DE GESTACIÓNEstudio o subgrupo Con

TratamientoSin

tratamientoPeso Razón de momios

Relación de probabilidades

(M-A, fija)IC del 95 %

Eventos/total Eventos/total (%)

Estudios de baja calidadSubtotal (IC del 95%) 114/996 147/725 35.2 0.52 (0.38 a 0.72)Prueba de heterogeneidad: χ2 = 4.95, df = 5, P = 0.42, I2 = 0%Prueba de efectos totales: z = 4.01, P<0.001

Estudios de alta calidadSubtotal (IC del 95%) 250/2303 219/2290 64.8 1.15 (0.95 a 1.40)Prueba de heterogeneidad: χ2 = 4.02, 4.95, df=4, = 5, P = 0.40, I2 = 1% Prueba de efectos totales: z = 4.01, P<0.001

Total (IC del 95%) 364/3299 366/3015 100 0.93 (0.79 to 1.10)Prueba de heterogeneidad: χ2 = 25.94, df = 10, P = 0.004, I2 = 61%Prueba de efectos totales: ut2}z = 0.86, P

= 0.39 z = 0.86, P = 0.39

M-H = Modelo de efectos fijos de Mantel-Haenszel

0.1 0.2 0.5 1 2 5 10

Favorece al tratamiento Favorece al no tratamiento

Razón de momiosRelación de probabilidades

(M-A, fija)IC del 95 %

Los estudios de baja calidad demostraron que los efectos del tratamiento no se confirmaron en los estudios de mayor calidad.

Polyzos NP et al., BMJ 2010


Los estudios con resultados negativos no se publican o se publican más tarde

Entre los estudios presentados en las principales conferencias científicas, los estudios con resultados positivos tienen mayores posibilidades de ser publicados (en comparación con los de resultados negativos)

0 20 40 60 80 100

1.0

0.8

0.6

0.4

0.2

0.0

Tiempo hasta la publicación (meses)

Pro

po

rció

n d

e r

esú

men

es

pu

bli

cad

os

en

te

xto

co

mp

leto

Resultado a favor de el brazo experimental

No positivo

Positivo

No positivo - censurado

Positivo -censurado

Los estudios con resultados negativos no se publican o se publican más tarde

Polyzos NP et al., Hum Reprod 2011


Los meta-análisis a menudo se basan en evidencia insuficiente o inconsistente

• 61 revisiones sistemáticas publicadas durante julio de 2012 en Cochrane– 15% de las revisiones incluyeron 1 ó o 0 ensayos

– La mitad abarcaron menos de 1.000 pacientes randomizados

– 31 fueron revisiones actualizadas

– 11 de estas 31 revisiones actualizadas incluyeron la misma cantidad de ensayos y participantes que la revisión anterior que buscaban actualizar

Los meta-análisis a menudo se basan en evidencia insuficiente o inconsistente

Humaidan & Polyzos Nat Med 2012


Los estudios avalados por la industria pueden demostrar efectos de tratamiento mayores


Lexchin J et al., BMJ. 2013OR 4.05; 95% CI 2.98-5.51

Las investigaciones financiadas por las empresas farmacéuticas tienen 4 veces más probabilidades de arrojar resultados que favorecen al producto del patrocinador auspiciante que las investigaciones financiadas por otras fuentes

Estudio (primer autor) Razón de momios Relación de probabilidades

0.1 0.2 0.5 1 2 5 10 100 1000 10000

Azimi12

Cho14

Clifford15

Davidson16

Dieppe18

Djulbegovic19

Djulbegovic20

Friedberg23*

Friedberg23┼

Kamal-Bahl26╪

Kamal-Bahl26§

Koep30

Mandelkern32

Sacristan36¶

Sacristan36**

Thomas38

Vandenbroucke39

Yaphe41

El 82% de los análisis de efectividad de costos patrocinados por la industria demuestran que las drogas son efectivas desde el punto

de vista del costo.


Valachis et al., J Clin Oncol 2012

Los análisis de efectividad de costos comprometidos donde se involucra la industria estaban asociados con supuestos de referencia más bajos de la sensibilidad de la prueba de Papanicolaou.

El comparador “hombre de paja” Straw-man" (testaferro) Hombre Sorbete)

100

90

80

70

60

50

40

30

20

10

00 10 20 30 40 50 60 70 80 90 100

Afiliación del autor o financiación o conflicto de interés con el fabricante

Estimaciones de CEA sin autores afiliados, financiación o conflictos de interés con el fabricante.Estimaciones de CEA con al menos un autor afiliado con el fabricante o la financiación o con conflictos de interés con el fabricante.

1 - Especificidad

Sen

sib

ilid

ad


Polyzos NP et al., BMJ 2010


Estudios financiados por la industria, y hasta también los patrocinados por el gobierno, se han publicado tarde en el pasado.

• Tiempo hasta la publicación – Industria (24 meses) vs. No industria (20 meses) luego de la

terminación del estudio p<0.001Ross JS et al., JAMA 2013

• Tasas de publicación dentro de los dos años – Industria (40%) vs. No gobierno / No industria (56%) – RR = 0.73, 95% CI 0.61–0.87; p<0.001– Industria (40%) vs. ensayos del gobierno (47%); p = 0.22

Ross JS et al., Plos Med 2009

Los estudios auspiciados por la industria pueden publicarse más tarde que los no auspiciados

• Ensayos de los Institutos Nacionales de Salud, INS. Los ensayos de la NIH NO FUERON PUBLICADOS luego de su finalización – 30 meses - la mitad sin publicar – 51 meses - 1/3 sin publicar

Aun los ensayos patrocinados por el gobierno pueden no publicarse enseguida

80

60

40

20

00 20 40 60 80 100

Tiempo desde la finalización del estudio (meses)

Por

cent

aje

de e

stud

ios

publ

icad

os

N° en riesgo

635 635 635 635 493 330 220 153 95 54 44

N° de estudios sin publicarEnsayo terminado antes de 2007

269 264 259 235 221 197 175

Ensayo terminado en 2007-8

366 356 324 282 244 215 176

80

60

40

20

00 5 10 15 20 25 30

Tiempo desde la finalización del estudio (meses)

Por

cent

aje

de e

stud

ios

publ

icad

os

P<.001

Ensayo terminado antes de 2007

Ensayo terminado en 2007-8

Ross JS et al., BMJ 2011

Cómo debería cuestionar los resultados

No rechace de antemano un estudio basándose en su condición, ya que la gestión y la presentación de informes han mejorado con el tiempo

Menores probabilidades hasta de querer leer el artículo completo!!!

La relación de la industria con una publicación disminuye su valor para los médicos.

El patrocinio de la industria:•influye negativamente en la percepción de los médicos sobre su calidad metodológica•reduce la voluntad de creer y actuar en función de los hallazgos del estudio , independientemente de la calidad del mismo.

1.25

1.00

0.75

0.50

Industria vs ninguna No Industria vs NIH(Institutos Nacionales de Salud)

Financiación

Raz

ón

de

mo

mio

s R

elac

ión

de

pro

bab

ilid

ades 0.68 (95% CI, 0.49-0.94)

P = .020.52 (95% CI, 0.37-0.71)

P<.001

Voluntad de los médicos de recetar un medicamento

No rechace de antemano un estudio basándose en su condición

Kesselheim NEJM 2012

• The Good Clinical Practice Directive (Directiva sobre Buenas Prácticas Clínicas 2005/28/EC de 8 de abril de 2005 del Parlamento Europeo y del Consejo)

• EudraCT v9 vs. 9 (Registro de Ensayos Clínicos de la Unión Europea)

• Se deben proporcionar los resultados de todos los ensayos clínicos intervencionales que comenzaron en la UE desde el 1° de Mayo de 2004 en adelante

• El informe y la divulgación pública incluyen:

– Ensayos que terminaron prematuramente

– Ensayos con resultados tanto positivos como negativos

– Ensayos de productos CON O SIN autorización de venta dentro de la comunidad

https://eudract.ema.europa.eu/index.html

Por qué no se debe rechazar de antemano un estudio basándose en su condición

• Para que la industria farmacéutica introduzca Pharma lance, una nueva droga, ésta tiene que pasar satisfactoriamente ensayos clínicos de Fase II para establecer la seguridad y la dosificación, luego los de Fase III para confirmar la eficacia y demostrar aun más la seguridad. Esto se monitorea externamente y debe cumplir con estudios altamente metodológicos

• Las tasas de éxito de Fase II para los nuevos proyectos en desarrollo han caído del 28% (2006-2007) al 18% (2008-2009)

• La tasa de éxito combinada en la Fase III y en la presentación ha bajado a ~50% de 2007 a 2010

Esta situación mejoró a través del tiempo?

Arrowsmith. Nature Reviews Drug Discovery 2011

Arrowsmith. Nature Reviews Drug Discovery 2011

No rechace de antemano un estudio basándose en su condición

Cómo debería cuestionar los resultados

Utilice un criterio de evaluación crítica científica estándar al evaluar un artículo científico

Evalúe críticamente el objetivo del estudio•Cuál es la base para llevarlo a cabo• Está (n) formulada (s) claramente la (s) pregunta (s) del estudio? Si no, lo están, cómo deberían estar?

Pautas sobre cómo leer y criticar un estudio de investigaciónAmerican Nurses Association http://www.nursingworld.org

Utilice un enfoque crítico estándar al evaluar un artículo científico

Evalúe críticamente el diseño del estudio•¿El diseño es adecuado para el estudio?•¿La muestra es coherente con el diseño del estudio? ¿Es suficiente el tamaño? •¿Cómo se recolectaron los datos? •¿El enfoque analítico es consistente con las preguntas del estudio y el diseño de la investigación?



Determine si el estudio se inscribió en un registro público •¿El estudio fue inscripto antes del comienzo del ensayo?•¿Los objetivos primarios son los mismos que los de la versión inscripta del ensayo?


Revise siempre la literatura existente•¿La literatura reciente es relevante para el estudio? ¿Es exhaustiva? ¿Contiene investigaciones recientes? •¿La revisión de la literatura apoya la necesidad de este estudio? •¿Los hallazgos son consistentes con la literatura existente?



Evalúe de manera crítica los resultados y conclusiones•¿Los resultados están presentados claramente en el texto, tablas, figuras y gráficos? •¿Las estadísticas están explicadas claramente? •¿Los resultados están explicados en relación con el fundamento científico y las preguntas de la investigación?•¿Se debatieron las limitaciones presentadas y sus implicancias? •¿Hay recomendaciones para la práctica clínica?



• Ningún estudio carece de limitaciones, los resultados pueden ocurrir por casualidad

• También existe el riesgo de que los resultados sean engañosos. Pueden presentar el riesgo de llevar a conclusiones falsas.

• Cuánto mas robusto es el estudio, más posibilidades de que sea certero.

• Revise siempre toda la literatura y busque la consistencia y las incoherencias en lo que se informa.

• No acepte ni rechace de antemano los resultados de un estudio basándose solamente en la revista que lo publica, el grupo de investigación o su relación con la industria.

Conclusiones

¡GRACIAS!

The material was supported by an educational grant from Ferring Cómo evaluar un estudio clínico de...

Documents

Transcript of The material was supported by an educational grant from Ferring Cómo evaluar un estudio clínico de...