Nuevas formas de generar evidencia: del ensayo clínico aleatorizado

a los estudios basados en registros electrónicos

Josep Jiménez Villa

1. Los ensayos clínicos han sido muy útiles al proporcionar pruebas sobre los efectos de los tratamientos

2. Pero tienen algunas limitaciones relevantes que afectan a su aplicabilidad práctica

3. Los estudios observacionales proporcionan un gran volumen de información que habitualmente no es tenida en cuenta

4. Los registros informáticos se han generalizado y existe un ingente (y creciente) volumen de datos y una mayor capacidad de análisis de estos datos

Indice

¿Podemos mejorarlos y hacerlos más

útiles?

¿Podemos incorporar estos

datos sin introducir sesgos?

¿Podemos sustituir los estudios por el análisis de los “big

data”?

Mejor evidencia científica

disponible

Decisión clínica

Experiencia del profesional

Preferencias y opiniones del paciente

Recursos disponibles

Necesidades del paciente

Efectos de las actuaciones sanitarias

Evidencia científica y toma de decisiones

alta

baja

calid

ad d

e la

evi

denc

ia

Revisiones sistemáticasRevisiones sistemáticas

Estudios de cohortesEstudios de cohortes

Estudios de casos y controlesEstudios de casos y controles

Series de casos clínicosSeries de casos clínicos

Ensayos clínicos aleatoriosEnsayos clínicos aleatorios

Estudios controlados no aleatoriosEstudios controlados no aleatorios

Validez interna de un ECAMinimizar sesgos:

Asignación aleatoriaOcultación de la secuencia aleatoriaEnmascaramientoEvaluación ciega de la respuestaAnálisis por intención de tratar

Minimizar errores aleatorios:Aumentar el tamaño de la muestraMeta-análisis

Limitaciones de los ECA

Validez externa limitada Problemas por la adherencia y los cotratamientos Variables de respuesta no siempre clínicamente relevantes Potencia insuficiente para detectar efectos de moderada

magnitud Significación estadística vs relevancia clínica Inicio y reclutamiento lentos Infraestructura costosa Demasiadas lagunas en la evidencia sobre preguntas

importantes

Diferencias entre las poblaciones estudiadas y las que reciben el tratamiento en la práctica

• Grupos de edad (ancianos, niños)

• Género• Factores étnicos• Comorbilidad no estudiada• Tratamientos

concomitantes (incluyendo OTC)

Hábitos de vida (tabaco, alcohol, dieta, …)

• Diferencias en la gravedad de la enfermedad

• Adherencia de los pacientes

Pacientes mayores de 18 años de un centro de salud con diagnóstico de hiperlipemia sin antecedentes de enfermedad cardiovascular que cumplirían los criterios de selección de los principales ensayos de prevención primaria de enfermedad coronaria

Hervás et al. Aten Primaria 2003; 32: 509-16

Validez externa

16 GPC presentan los niveles de evidencia de 2.711 recomendaciones

314 (11%) están basadas en evidencias clasificadas como “A”:

Recomendaciones basadas en evidencias de múltiples ECA o meta-análisis

El 48% de las recomendaciones tienen evidencias de nivel I:Condiciones para las que hay evidencia y/o consenso general en que un procedimiento o tratamiento determinado es útil y efectivo

El sistema tradicional de ECA es claramente insuficiente para permitir llenar este vacío:- Demasiado caro- Demasiado lento- Incapaz de recoger muchos eventos

clave, incluyendo resultados del mundo real

Práctica clínicaPráctica clínica InvestigaciónInvestigación

Generación de conocimientoGeneración de conocimiento

Gestión del conocimientoGestión del conocimiento

El excesivo énfasis en la validez interna de los estudios ha hecho que la calidad de la respuesta sea más

importante que la calidad de la pregunta

Right AnswersWrong Questions

Situación actual de los ECA

La evaluación de la mayoría de los tratamientos requiere ECA de gran tamaño

Es necesario aumentar la aplicabilidad externa Se necesitan diseños alternativos para abordar preguntas

más prácticas Muchos procedimientos pueden simplificarse o suprimirse

sin afectar a la validez ni a la integridad del estudio

Alternativas al ECA tradicional

Ensayos pragmáticos Diseños adaptativos

Meta-análisis Meta-análisis en red

Inclusión de estudios observacionales Uso de datos procedentes de registros

Estudios observacionales vs. Ensayos clínicos

Revisión sistemática de las comparaciones de las estimaciones del efecto derivadas de los ECA y otros diseños

Los estudios observacionales proporcionan estimaciones válidas de la efectividad si se controlan adecuadamente los factores de confusión

Si los estudios son de alta calidad, las discrepancias son pequeñas y con escaso impacto sobre los resultados

MacLehose RR et al. A systematic review of comparisons of effect sizes derived from randomised and non-randomised studies. Health Technology Assessment 2000; 4 (34).

Los datos observacionales como alternativa

Susceptibles de confusión no controlada:

Sesgo de indicaciónCaracterísticas clave no registradasCaracterísticas clave mal registradasCaracterísticas clave parcialmente ausentes (missing)

Exposición al tratamiento

Factor de confusión

Confusión

“Propensity scores”

Análisis multivariante

“convencional”

Respuesta clínica

Propensity Score Desarrollado por Rosenbaum and Rubin (1983) como alternativa al análisis

multivariante convencional para controlar el fenómeno de confusion en los estudios de cohortes

Es una puntuación que sintetiza la probabilidad individual de recibir un tratamiento en función de un conjunto de covariables (factores de confusión)

Se focaliza más en el diseño de los estudios que en el análisis

En la práctica, no hay diferencias estadísticas entre estos procedimientos y una regresión multivariante en el 90% de los casos

(Shah et al, J Clin Epidemiol 2005)

Propensity Score

Propensity Score

Big Data

Kilobyte (KB) 103 1.000

Megabyte (MB) 106 1.000.000

Gigabyte (GB) 109 1.000.000.000

Terabyte (TB) 1012 1.000.000.000.000

Petabyte (PB) 1015 1.000.000.000.000.000

Exabyte (EB) 1018 1.000.000.000.000.000.000

Zettabyte (ZB) 1021 1.000.000.000.000.000.000.000

Yottabyte (YB) 1024 1.000.000.000.000.000.000.000.000

Brontobyte (BB) 1027 1.000.000.000.000.000.000.000.000.000

Geopbyte (GeB) 1031 1.000.000.000.000.000.000.000.000.000.000

Unidades de información (del byte)

Big Data

Las bases de datos rutinarias existen desde hace décadas. Lo nuevo es la escala, la sofisticación, la ubicuidad y la capacidad de análisis.

Los datos ya no son un simple “back-office”: se tienden a utilizar en la toma de decisiones en la práctica

Algunas preguntas: ¿El acceso a grandes cantidades de datos y el aumento de la capacidad de

análisis implica que el método científico se está quedando obsoleto? ¿El hecho de estimar conductas individuales cruza el límite de la privacidad

personal? ¿Cómo utilizarán las empresas sanitarias y las compañías de seguros los

datos sobre las conductas de los sujetos?David Bollier. The promise and perill of big data. 2010

Cuanto mayor solapamiento, mayor

conocimiento

Información proporcionada por el paciente

Información relativa al

aseguramiento

Información relacionada

con la atención

especializada

Información relacionada con

la atención primaria

Los datos del “mundo real” en salud

MÁS DATOS ≠

MEJOR INFORMACIÓN

Learning Health care systems

Greene SM, Reid RJ, Larson EB. Implementing the Learning Health System: From Concept to Action. Ann Intern Med. 2012;157:207-210.

No es momento de “jubilar” el ECA (todavía),pero hay que mejorarlo (continuar mejorándolo) para superar sus limitaciones

Los estudios observacionales pueden proporcionar evidencias útiles,aunque deben mejorarse los procedimientos para el control de los factores de confusión

Los “big data” tienen un gran potencial para aproximarnos al conocimiento de lo que ocurre en el mundo real,pero para poder definir su papel en la generación de evidencias es necesario solucionar previamente los aspectos éticos, legales y técnicos

Conclusiones

Nuevas formas de generar evidencia: del ensayo clínico aleatorizado

a los estudios basados en registros electrónicos

Josep Jiménez Villa