Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR...

24
Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase Introducción Ejemplo Construcción de una tabla Análisis intuitivo Análisis pormenorizado Nomenclaturas VP, FP, VN, FN, sensibilidad, especificidad, VPP, VPN, LR. Definición y métodos de cálculo Intervalos de confianza de la estimación Uso de la planilla de Excel y denominaciones Valor global de un método diagnóstico y su comparación. Puntos de corte, diagramas y curvas ROC. Lectura crítica y elaboración de ensayos para establecer el valor de un método diagnóstico Introducción: El diagnóstico de una enfermedad o una condición determinada en un momento evolutivo tiene una importancia central para la adopción de decisiones clínicas, y surge de una conjugación de elementos obtenidos del relato, del examen clínico y los estudios complementarios de laboratorio, imágenes, etc. El proceso diagnóstico se orienta también a categorizar la gravedad de la patología y por lo tanto inferir la evolución inmediata o alejada. La evaluación del valor de los métodos de diagnóstico ha llevado al desarrollo de nuevos conceptos y nomenclaturas incluso sofisticadas, que analizaremos a lo largo de esta clase. Ejemplo clínico: Un paciente de 95 años nos consulta por disnea ante esfuerzos menores, y uno de los diagnósticos diferenciales que nos planteamos es el de estenosis aórtica del anciano. La primera aproximación clínica al paciente es el examen físico, y encontramos un soplo sistólico de característica eyectivo en foco aórtico. ¿Qué valor diagnóstico tiene este hallazgo? ¿Qué preguntas nos hacemos para aclarar este aspecto? 1) ¿Son frecuentes las estenosis aórtica sin soplo sistólico? 2) ¿Son frecuentes los soplos sistólicos en el anciano sin estrechez hemodinámicamente relevante de la válvula aórtica? 3) ¿Cuánto me agrega al diagnóstico encontrar un soplo sistólico? 4) ¿Cuánto me agrega al diagnóstico no encontrar un soplo sistólico? Para responder a estas preguntas, encontramos un estudio (en este caso ficticio) en 1200 pacientes en los que el diagnóstico se estableció por eco doppler color (será el criterio de verdad al cual se referirán los hallazgos del examen físico, el denominado método patrón o "gold standard" en la literatura inglesa) que nos informa que de 200 casos de estenosis aórtica del anciano, 195 tenían soplo sistólico eyectivo. A su vez, de 1000 ancianos

Transcript of Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR...

Page 1: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 1

ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO

Indice temático de la clase

• Introducción • Ejemplo • Construcción de una tabla • Análisis intuitivo • Análisis pormenorizado • Nomenclaturas

• VP, FP, VN, FN, sensibilidad, especificidad, VPP, VPN, LR. • Definición y métodos de cálculo • Intervalos de confianza de la estimación

• Uso de la planilla de Excel y denominaciones • Valor global de un método diagnóstico y su comparación. • Puntos de corte, diagramas y curvas ROC. • Lectura crítica y elaboración de ensayos para establecer el valor de un método diagnóstico

Introducción: El diagnóstico de una enfermedad o una condición determinada en un momento evolutivo tiene una importancia central para la adopción de decisiones clínicas, y surge de una conjugación de elementos obtenidos del relato, del examen clínico y los estudios complementarios de laboratorio, imágenes, etc. El proceso diagnóstico se orienta también a categorizar la gravedad de la patología y por lo tanto inferir la evolución inmediata o alejada. La evaluación del valor de los métodos de diagnóstico ha llevado al desarrollo de nuevos conceptos y nomenclaturas incluso sofisticadas, que analizaremos a lo largo de esta clase. Ejemplo clínico: Un paciente de 95 años nos consulta por disnea ante esfuerzos menores, y uno de los diagnósticos diferenciales que nos planteamos es el de estenosis aórtica del anciano. La primera aproximación clínica al paciente es el examen físico, y encontramos un soplo sistólico de característica eyectivo en foco aórtico. ¿Qué valor diagnóstico tiene este hallazgo? ¿Qué preguntas nos hacemos para aclarar este aspecto? 1) ¿Son frecuentes las estenosis aórtica sin soplo sistólico? 2) ¿Son frecuentes los soplos sistólicos en el anciano sin estrechez

hemodinámicamente relevante de la válvula aórtica? 3) ¿Cuánto me agrega al diagnóstico encontrar un soplo sistólico? 4) ¿Cuánto me agrega al diagnóstico no encontrar un soplo sistólico? Para responder a estas preguntas, encontramos un estudio (en este caso ficticio) en 1200 pacientes en los que el diagnóstico se estableció por eco doppler color (será el criterio de verdad al cual se referirán los hallazgos del examen físico, el denominado método patrón o "gold standard" en la literatura inglesa) que nos informa que de 200 casos de estenosis aórtica del anciano, 195 tenían soplo sistólico eyectivo. A su vez, de 1000 ancianos

Page 2: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 2

auscultados sin estenosis aórtica, 700 tenían soplo sistólico. Con este estudio podemos contestar en forma cualitativa las preguntas: 1) No es frecuente la estenosis aórtica sin soplo y, 2) Es frecuente el hallazgo de soplo sistólico sin estenosis aórtica. ¿Cómo traducimos esto en un material útil para aplicar en el paciente? Habitualmente se construye una tabla de tipo 2 x 2 con los siguientes encabezamientos: Enfermos Sanos

Test (+) Verdaderos positivos

(VP) Falsos positivos

(FP) Total con test (+)

VP + FP

Test (-) Falsos negativos

(FN) Verdaderos negativos

(VN) Total con test (-)

VN + FN

Total de enfermos

VP + FN Total de sanos

FP + VN Total poblacional

Volcamos en esta tabla la información de nuestro estudio:

Enfermos Estenosis aórtica

Sanos Sin estenosis

aórtica Totales

Test (+) Soplo sistólico

195 700 895

Test (-) Sin soplo sistólico

5 300 305

Totales 200 1000 1200 Para contestar las preguntas 3 y 4 debemos elaborar un poco la información. A simple vista de la tabla en este caso observamos que es raro (5 en 200) que una estenosis aórtica no tenga soplo. Si no hubiéramos encontrado un soplo sistólico estaríamos casi seguros que nuestro paciente no la padece, efectuando una afirmación negativa. Por contrario, muchos pacientes sanos tienen soplo sistólico, de tal manera que el hallazgo no nos permite afirmar con certeza si nuestro paciente tiene la enfermedad (afirmación positiva). Este razonamiento inicial "lógico" ha sido enriquecido por una serie de elaboraciones conceptuales, para las que necesitaremos desmenuzar con atención la información. Nomenclaturas utilizadas en el análisis de estudios diagnóstico En la tabla se adjudicó una denominación a cada casillero, que será utilizada con frecuencia a lo largo del texto. Verdaderos positivos, VP.

Los pacientes tienen un test positivo y están enfermos. Falsos positivos, FP.

El test es positivo pero el paciente está sano.

Page 3: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 3

Verdadero negativo, VN.

El test es negativo y el paciente está sano. Falsos negativos, FN.

El test es negativo y el paciente está enfermo. Un método perfecto tendría todos los pacientes verdaderos positivos o verdaderos negativos, y obviamente, su valor se reduce cuanto más falsos diagnósticos positivos o negativos genera. Los pacientes enfermos suman los diagnósticos verdaderos positivos (enfermos con test (+)) y falsos negativos (enfermos con test (-)). Enfermos = VP + FN

A su vez los sanos pueden expresarse como la suma de verdaderos negativos (sanos con test negativo) y falsos positivos (sanos con test (+)). Sanos = VN + FP

Resumimos en la tabla los números y la nomenclatura de este ejemplo antes de comenzar el análisis estadístico.

Enfermos Estenosis aórtica

Sanos Sin estenosis

aórtica Totales

Test (+) Soplo sistólico

195 VP

700 FP

895 Positivos

Test (-) Sin soplo sistólico

5 FN

300 VN

305 Negativos

Total 200

Enfermos 1000 Sanos

1200 Total

Sensibilidad, especificidad, valor predictivo y likelihood ratio Los conceptos más utilizados en la evaluación de estudios diagnósticos son los de sensibilidad, especificidad y valor predictivo positivo o negativo. En los últimos años se ha agregado el término de likelihood ratio positivo o negativo, LR, que es de difícil traducción (coeficiente de posibilidad, tasa de posibilidad) pero de gran importancia clínica. En un software que desarrollamos para este tema y que discutiremos más adelante en la clase, preferimos el concepto de "multiplicador de chance negativa o positiva" que creemos es más intuitivo. Sensibilidad:

La sensibilidad de un método es su capacidad de detectar como positivos a los pacientes que tienen la patología. Expresado en términos de la tabla, la sensibilidad se obtiene de calcular: verdaderos positivos / enfermos, o lo que es lo mismo:

Sensibilidad = Verdaderos positivos / (verdaderos positivos + falsos negativos)

Sensibilidad = VP / (VP + FN)

Page 4: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 4

Como surge del concepto y del cálculo, la sensibilidad depende fundamentalmente de la capacidad del método de no incurrir en falsos negativos. Si el método tuviera una sensibilidad perfecta, no existirían pacientes enfermos con test negativo, no habría falsos negativos. En ese caso si el test es negativo sabríamos que el paciente esta sano. En nuestro ejemplo, el cálculo sería:

Sensibilidad del soplo sistólico = VP / (VP + FN) = 195 / (195 + 5) = 97,5%

Una sensibilidad muy elevada. Otra denominación sinónima de sensibilidad es tasa de verdaderos positivos, como surge de la fórmula. Se refiere a la tase de verdaderos positivos entre los enfermos. Valor predictivo negativo: Nos indica qué porcentaje de pacientes de los que tienen test negativo está sano, es decir, en que porcentaje el test es verdaderamente negativo. Puede calcularse como:

Valor predictivo negativo = VN / (VN + FN)

Como vemos en la fórmula, el valor predictivo negativo depende de la cantidad de falsos negativos, al igual que la sensibilidad. Cuanto más sensible es un método, menor posibilidad existe de falsos negativos y por consiguiente mayor es el valor predictivo de un resultado negativo. En el ejemplo de un método de sensibilidad perfecta, sin falsos negativos, el valor predictivo negativo sería de 100% o 1: todo paciente con test negativo sería un verdadero negativo. En nuestro ejemplo:

Valor predictivo negativo del soplo = VN / (VN + FN) = 300 / (300 + 5) = 98% Como la sensibilidad del soplo es elevada, cuando NO encontramos un soplo sistólico podemos predecir que la posibilidad de NO tener un diagnóstico de estenosis aórtica es del 98%, y por consiguiente la posibilidad de padecerla es muy baja. Con estos elementos no podemos descartar el diagnóstico de estenosis aórtica en nuestro paciente (lo que hubiéramos hecho si no tuviera soplo), pero no tenemos todavía elementos para afirmarlo. Especificidad: Es la capacidad de un test de reconocer a los pacientes sanos como negativos. Puede calcularse como:

Especificidad = verdaderos negativos / sanos

Especificidad = verdaderos negativos / (verdaderos negativos + falsos positivos)

Especificidad = VN / (VN + FP)

Como surge de la fórmula, la especificidad de un método depende de su capacidad de no incurrir en diagnósticos falsos positivos. Un método con

Page 5: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 5

una especificidad del 100%, sin falsos positivos, implicaría que ante un resultado positivo podríamos afirmar que el paciente está enfermo. En nuestro ejemplo:

Especificidad del soplo = VN / (VN + FP) = 300 / (300 + 700) = 30%

La especificidad es baja, de tal manera que frente a la presencia de un soplo no podemos estar seguros si se trata o no de una estenosis aórtica. Existen muchos pacientes falsos positivos. Un sinónimo de especificidad es tasa de verdaderos negativos. Se refiere, como se deriva de la fórmula, del porcentaje de verdaderos negativos entre los sanos. Valor predictivo positivo: Es el porcentaje de enfermos que encontramos entre los pacientes que tienen un test positivo. Puede calcularse como: Valor predictivo (+) = verdaderos positivos / (verdaderos positivos + falsos positivos)

Valor predictivo positivo = VP / (VP + FP)

Como se deriva de la fórmula, el valor predictivo positivo de un método depende en forma similar a la especificidad de no incurrir en diagnósticos falsos positivos. Un método con una especificidad del 100%, sin falsos positivos, tiene por consiguiente un valor predictivo positivo de 100% o 1. En nuestro ejemplo:

Valor predictivo positivo del soplo = VP / (VP + FP) = 195 / (195 + 700) = 22% Expresa que cuando auscultamos un soplo sistólico en un paciente añoso sólo aproximadamente uno de cada 5 tendrá una estenosis aórtica. La baja especificidad del método (muchos falsos positivos) hace que el valor predictivo positivo sea bajo. ¿Nos agrega algo la auscultación del soplo sistólico en el anciano? Concepto de likelihood ratio (coeficiente de posibilidad - multiplicador de chance) Cuando aplicamos un método diagnóstico a un paciente, partimos siempre de una presunción o búsqueda previa. Una forma muy útil de evaluar un método es estimar en cuánto se modifica la presunción previa si nos da positivo o negativo. Esa es la utilidad del denominado likelihood ratio. Likelihood ratio positivo: El likelihood ratio positivo indica en cuanto aumenta la chance de estar enfermo si el test es positivo, y el negativo en cuanto disminuye (o podría expresarse en forma inversa como un incremento de la chance de estar sano). Utilizamos para el likelihood ratio la palabra chance y no probabilidad dado que el LR multiplica la chance previa al test (odds).

Page 6: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 6

Probabilidad o riesgo de estar enfermo: cociente entre enfermos / total de pacientes. Odds o chance de estar enfermo : cociente entre enfermos / sanos. Para los que no estén familiarizados con el concepto de odds sugerimos leer el apéndice.

Likelihood ratio positivo = sensibilidad / (1 - especificidad)

En términos conceptuales, aclaramos anteriormente que sensibilidad puede expresarse también como la tasa de verdaderos positivos (verdaderos positivos entre los enfermos). El término 1-especificidad es en realidad la tasa de falsos positivos (falsos positivos entre los sanos):

1 - especificidad = tasa de falsos positivos = FP / (FP + VN) Traducido de esta manera:

Likelihood ratio positivo = tasa de verdaderos positivos / tasa de falsos positivos Cuanto mayor sea la tasa de verdaderos positivos y menor la tasa de falsos positivos mayor será la contribución del método al diagnóstico de la presencia de enfermedad, es decir, su Likelihood ratio positivo. En el ejemplo que presentamos, podemos calcular (Expresamos para este cálculo la sensibilidad en valores de 0 a 1, y no como porcentaje, de tal manera que 75% sería 0,75. Podría usarse indistintamente el procentaje con un resultado final similar). La sensibilidad fue 97,5% (0,975) y la especificidad 30% (0,3)

Likelihood Ratio del soplo sistólico = 0,975 / (1 - 0,3) = 0,975 / 0,7 = 1,39 Este valor indica en cuanto se incrementa la chance si el test es positivo. La chance postest (+) se obtiene de multiplicar la chance previa por el LR(+).

Chance postest (+) = (chance previa) * (LR(+)) En nuestra población la prevalencia de estenosis aórtica era de 17% y la chance era 0,17 / 0,83 = 0,2 o 20%.

Chance postest (+) = (0,2) * (1,39) = 0,28 Vemos que la chance se incrementa un 39% si el test es positivo. Por eso proponemos traducir Likelihood ratio como multiplicador de la chance, porque esa es su significación práctica aunque obviamente no literal. Recordemos que para convertir chances en probabilidades o riesgos usamos la fórmula:

Probabilidad = odds / (1 + odds) En este caso el odds (chance) de estenosis aórtica postest es 0,28 Probabilidad postest (+) en esta población = 0,28 / (1 + 0,28) = 0,28 / 1,28 = 0,22

Page 7: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 7

Vemos que la probabilidad postest (+) es del 22%, idéntica al valor predictivo positivo. Esto es debido a que estamos aplicando todo el cálculo a la misma población, con una prevalencia de estenosis aórtica del 17%. Nuestro paciente es en realidad mucho más añoso que el promedio del estudio que usamos como referencia, y sospechamos que en presencia de síntomas y a esa edad la prevalencia de estenosis aórtica es del 40% (por cada 100 pacientes 40 tienen estenosis aórtica). La chance de estenosis aórtica (odds) es 0,4 / 0,6 = 0,66 o 66% (por cada 100 pacientes sin estenosis aórtica hay 66 con estenosis aórtica). En que nos ayuda la presencia del soplo en su diagnóstico ajustado a esta nueva prevalencia. Aplicando el likelihood ratio (+) a esta nueva chance vemos que:

Chance postest (+) = LR(+) * odds = 1,39 * 0,66 = 0,92 Traducido a probabilidad:

Probabilidad postest (+) = odds / (1 + odds) = 0,92 / 1,92 = 0,48 En esta nueva población podemos aplicar lo que aprendimos del método soplo sistólico de un ensayo clínico, estimando que en ese grupo de mayor prevalencia la probabilidad de estenosis aórtica aumenta del 40%, estimado previamente, al 48% en presencia de soplo. Con todo, no ha sido una gran contribución clínica. Likelihood ratio negativo:

El Likelihood ratio negativo, se calcula:

Likelihood ratio negativo = (1 - sensibilidad) / especificidad

El término 1 - sensibilidad nos indica la tasa de falsos negativos, es decir la tasa de falsos negativos entre los enfermos = FN/ (FN + Verdaderos positivos). Así:

1 - sensibilidad = tasa de falsos negativos = FN / (FN + VP) De tal manera que: Likelihood ratio negativo = tasa de falsos negativos / tasa de verdaderos negativos

Cuanto menor sea la tasa de falsos negativos y mayor la de verdaderos negativos, más se reduce la posibilidad de estar enfermo cuando el test es negativo. En el caso de nuestro ejemplo, con sensibilidad 0,975 y especificidad 0,3 LR negativo = (1 - 0,975) / 0,3 = 0,08 Tomando las dos prevalencias de los ejemplos calculamos el odds y la probabilidad de estar enfermo si el test es negativo Prevalencia 17% (chance 0,20):

Chance postest (-) = (odds) * (LR (-)) = 0,20 * 0,08 = 0,016

Page 8: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 8

Probabilidad postest (-) = odds / (1 + odds) = 0,016 / (1 + 0,016) = 0,016

En la población conocida del ensayo que tomamos como referencia, la probabilidad de tener estenosis aórtica si el test es negativo es menor del 2%, similar al valor predictivo negativo. Que ocurre en la población con mayor chance: prevalencia 40% (chance 0,66).

Chance postest (-) = (odds) * (LR(-)) = 0,66 * 0,08 = 0,052

Probabilidad postest (-) = odds / (1 + odds) = 0,052 / (1 + 0,052) = 0,049 ≅ 5%. La contribución del test negativo ha sido importante. Dado que la sensibilidad y el valor predictivo negativo son elevados, el likelihood ratio negativo es importante (multiplicar por 0,08 la chance es en realidad dividir por 12) y la presunción diagnóstica que partía por la clínica de un 40% baja a menos del 5%, lo que nos llevaría a pensar, en ausencia de soplo, que los síntomas del paciente pueden tener otro origen y no una estenosis aórtica como fue nuestro diagnóstico inicial. Pero nuestro paciente tiene soplo, por lo que este hallazgo no es aplicable. Interpretación conceptual de los valores En el material didáctico que acompaña a esta clase se entrega un libro de Excel® (Estudios de Diagnostico.xls) con tres planillas sobre análisis de estudios diagnósticos. Las primeras dos planillas son ejemplos y la tercera es para efectuar cálculos con datos propios. Más abajo hemos copiado los resultados que aporta la planilla al ingresar los datos del estudio sobre estenosis aórtica que estamos utilizando como ejemplo. Los cálculos coinciden con los que hemos efectuado en forma manual, pero agrega los intervalos de confianza de cada uno de estos parámetros. El intervalo de confianza de todos los parámetros analizados depende del número de pacientes que se han incluido en el estudio, como en todo análisis estadístico. Algunas observaciones que convienen recordar sobre la interpretación de estudios diagnósticos Un estudio con sensibilidad 50% y especificidad 50% es absolutamente nulo, de tal manera que su likelihood ratio positivo o negativo es 1. Expresado de otra manera, la chance de estar enfermo no disminuye ni aumenta de acuerdo al resultado del test. Lo mismo ocurre cuando la suma de sensibilidad y especificidad es 100. Por ejemplo, en 200 pacientes, 100 con patología y 100 sanos, se observó que 90 de cada 100 enfermos tenían test positivo, (sensibilidad 90%) y 90 de cada 100 sanos también tenían test positivo, es decir, sólo 10 de cada 100 sanos tenían test negativo, especificidad 10%. Es obvio que la contribución del estudio es nula.

Page 9: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 9

En general, la contribución diagnóstica de un test es relevante cuando su likelihood ratio positivo es superior a 2 o su likelihood ratio negativo menor de 0,5. El concepto de la relación entre la prevalencia estimada pretest y el valor relativo de los métodos, denominado "criterio bayesiano", se expone en detalle en la clase del Dr. Doval, "Acerca de la Probabilidad, la Probabilidad Condicional y el Teorema de Bayes", que acompaña este módulo. Resultado del Ejemplo en la Planilla de Cálculo:

Estenosis aórtica y soplo en el anciano

enfermos sanos enfermos sanos

test positivo 195 700 895 test positivo a c a+c

test negativo 5 300 305 test negativo b d b+d

200 1000 1200 a+b c+d a+b+c+d

Sensibilidad 97,5% IC 95% Sensibilidad a/(a+b) Positivos entre enfermos

95,3% a 99,7%

Especificidad 30,0% Especificidad d/(c+d) Negativos entre sanos

27,2% a 32,8%

Probabilidad pretest 17% Probabilidad pretest en esta población: prevalencia

(Prevalencia) (a+b)/ (a+b+c+d)

Cálculo automático de esta población

Puede cambiarla por la prevalencia conocida previa

Valor predictivo Positivo

22% VPP % enfermos entre los p con test positivo

19,1% a 24,5%

Valor predictivo

Negativo 98% VPN % sanos entre los p con test negativo

96,9% a 99,8%

Chance pretest (odds) 0,20 Odds pretest: chance de estar enfermo pretest en esta población

Prevalencia / (1 - prevalencia)

Likelihood ratio test (+) 1,39 LR (+) = sensibilidad / (1 - especificidad)

1,26 a 1,54

Likelihood ratio test (-) 0,08 LR (-) = (1 - sensibilidad) / especificidad

0,04 a 0,20

Chance postest (+) 0,28 Chance de estar enfermo si el test es positivo

0,25 a 0,307 Odds postest = LR(+) * odds pretest

Probabilidad postest (+) 22% Probabilidad de enfermedad si el test es positivo

20,2% a 23,5% Probabilidad = odds / (1 + odds)

Chance postest (-) 0,02 Chance de estar enfermo si el test es negativo

0,01 a 0,04 Odds postest (-) = LR(-) * odds pretest

Probabilidad postest (-) 2% Probabilidad de enfermedad si el test es negativo

0,7% a 3,8% Probabilidad = odds / (1 + odds)

Page 10: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 10

MÉTODOS DIAGNÓSTICOS NO DICOTÓMICOS PUNTOS DE CORTE Y CURVAS ROC El ejemplo que hemos seguido de la estenosis aórtica solo admite como criterio la presencia o ausencia del criterio diagnóstico. En muchos otros casos, en realidad la mayoría de los ejemplos biológicos, los métodos evalúan niveles que pueden ser continuos o estratificados. Por ejemplo, la presión arterial, el colesterol, triglicéridos, el índice de masa corporal (body mass index), etc. Ejemplo: Glucemia en ayunas en la detección de diabetes no conocida Supongamos que queremos efectuar un relevamiento poblacional en personas con algún factor de riesgo para diabetes para establecer su diagnóstico. Utilizaremos como método a evaluar la glucemia ambulatoria y como criterio de verdad la presencia de diabetes establecida a través del resultado de la curva de tolerancia a la glucemia. Nos interesa saber cual es el nivel de glucemia ambulatoria que separa mejor los diabéticos de los no diabéticos, lo que tendría importancia para saber a quien pedir o no estudios más complejos. Observemos los resultados (ficticios):

Glucemia basal Diabéticos (Curva +)

No diabéticos Total

< 90 mg/dl 1 399 400 90-110mg/dl 1 299 300 >110-130mg/dl 20 180 200 >130-160mg/dl 29 21 50 > 160 mg/dl 49 1 50 Total 100 900 1000

La prevalencia de diabetes en nuestra población es del 10%, y se va incrementando progresivamente de acuerdo al nivel de glucemia basal. Tenemos dos preguntas para resolver: 1) Utilidad del método en general. ¿Sirve la glucemia en ayunas para detectar pacientes diabéticos que se diagnosticarán por curva de tolerancia? 2) ¿Cuál es el mejor nivel de glucemia para utilizar en un screening? Una forma sencilla y conceptual de analizar esta información es dividirla en diferentes niveles de corte, agrupando toda la población en sólo dos grupos, por encima y por debajo del nivel establecido, y repetir el análisis conceptual que efectuamos en el ejemplo del soplo sistólico. Comencemos con el primer nivel testeado: Criterio de diagnóstico glucemia menor o mayor de 90 mg/dl:

Page 11: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 11

Diabetes No diabetes glucemia ayunas >= 90 99 501 600 glucemia < 90mg/dl 1 399 400 100 900

Cabe aclarar que en el cuadrado superior izquierdo la primera opción es glucemia mayor de 90 y no menor de 90, dado que por convención siempre se informa allí los pacientes con test positivo y en la fila subsiguiente aquellos con test negativo. Los resultados que obtenemos de esta tabla son: Sensibilidad 99%, Especificidad 44%, Valor predictivo positivo 17% y Valor predictivo negativo 99,9%. Likelihood ratio (+) = 1,78 y (-) = 0,02. Como primera impresión el nivel establecido tiene alta sensibilidad (prácticamente todos los pacientes que tendrán prueba de tolerancia (+) tienen glucemias en ayunas superiores a 90 mg/dl) pero con una baja especificidad. Probemos un nuevo punto de corte: Criterio de diagnóstico glucemia menor o mayor de 110 mg/dl:

Diabetes No diabetes glucemia ayunas > 110 98 202 300 glucemia < 110mg/dl 2 698 700 100 900 100

Aquí los resultados de los cálculos son: Sensibilidad 98%, Especificidad 78%, Valor predictivo positivo 33% y Valor predictivo negativo 99%. Likelihood ratio (+) = 4,37 y (-) = 0,03. Probemos un nuevo punto de corte: Criterio de diagnóstico glucemia menor o mayor de 130 mg/dl:

Diabetes No diabetes glucemia ayunas > 130 78 22 100 glucemia < 130mg/dl 22 878 900 100 900 1000

En este caso: Sensibilidad 78%, Especificidad 98%, Valor predictivo positivo 73% y Valor predictivo negativo 98%. Likelihood ratio (+) = 32 y (-) = 0,23. La sensibilidad ha bajado un poco pero hemos elevado mucho la especificidad y el valor predictivo positivo. Y el último punto de corte: Criterio de diagnóstico glucemia menor o mayor de 150 mg/dl:

Page 12: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 12

Diabetes No diabetes Glucemia ayunas > 150 49 1 50 Glucemia < 150mg/dl 51 899 950 101 900 1000

Así los cálculos resultan en: Sensibilidad 48%, Especificidad 99,8%, Valor predictivo positivo 98% y Valor predictivo negativo 94%. Likelihood ratio (+) = 436 y (-) = 0,50. En la medida en que hemos elevado el punto de corte hemos ido disminuyendo la sensibilidad pero incrementado mucho la especificidad. Esta es una regla general de los métodos diagnósticos de resultados graduales: en la medida en que somos menos exigentes con el criterio de diagnóstico positivo (niveles más bajos de corte) incluimos más falsos positivos y de tal manera ganamos sensibilidad y perdemos especificidad. Si por contrario utilizamos un punto de corte más elevado para el diagnóstico, perdemos sensibilidad dado que tenemos una mayor tasa de falsos negativos, y ganamos especificidad, porque tendremos menor tasa de falsos positivos. La decisión del mejor punto de corte desde la óptica matemática es el punto que más se acerca al 100% de sensibilidad y especificidad. Multiplicando sensibilidad x especificidad en el caso de 100% de ambas obtenemos 10000. El nivel de glucemia que implique un resultado más elevado al multiplicar sensibilidad por especificidad es el mejor punto de corte. Construimos una tabla con los valores que hemos analizado:

Sensibilidad Especificidad Sens x Especif < o > 90 99 44 4356 < o > 110 98 78 7644 < 0 > 130 78 98 7644 < 0 > 150 49 99,84 4890 Método ideal 100 100 10000

Vemos que los mejores puntos de corte, con un virtual empate, surge de utilizar el nivel de 110 o 130. Por supuesto que los niveles pueden explorarse con otros cortes (120, 140, 135, etc.) y en esa búsqueda elegir la mejor opción. Podemos con estos datos responder ambas preguntas que hemos planteado: 1) El dosaje de glucemia contribuye a la detección de diabetes: sí, dado

que incluso cualquiera de los puntos de corte incrementa el valor diagnóstico con LR positivos cercanos a 2 en el primer caso, y muy superiores al ir incrementando el punto de corte, y LR negativos muy bajos con los niveles menores.

2) El mejor punto de corte puede ser 110 o 130.

Page 13: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 13

Aspectos matemáticos y clínicos de la elección del punto de corte La determinación del mejor punto de corte en un método o medición requiere considerar dos aspectos claves: 1) El análisis que hemos efectuado más arriba, es decir, el cálculo de

sensibilidad y especificidad para cada punto referido. 2) ¿Cuál será el verdadero objetivo clínico de ese corte?

Cuando utilizamos un método con el objeto de screening, es decir, con la idea de detectar posibles casos para continuar luego con otros estudios diagnósticos, nos interesa un método sensible, con pocos falsos negativos. En esta circunstancia nos interesa un mejor valor predictivo negativo y un Likelihood ratio negativo elevado, de tal manera que tenemos tranquilidad de que los pacientes que excluimos para una evaluación posterior sean sanos. Si por contrario, pretendemos identificar pacientes con un diagnóstico muy probable, para efectuar intervenciones o decisiones críticas que pueden ser peligrosas, buscaremos un método especifico, con muy pocos falsos positivos y algunos falsos negativos. En estas circunstancias nos interesa una mejor especificidad, un mejor valor predictivo positivo y un likelihood ratio positivo elevado. Combinando el conocimiento de las propiedades del método a través de las evaluaciones que efectuamos con anterioridad, ajustamos el punto de corte a los fines de nuestras decisiones clínicas. Diagrama de puntos El programa MEDCALC (www.medcalc.be) analiza con excelencia estudios diagnósticos. Una de sus herramientas gráficas de mayor valor conceptual es el diagrama de puntos. En el diagrama que denominan interactive dot diagram, del que se reproduce a continuación una figura de su página web, se observa gráficamente la influencia de modificar el punto de corte. Se intenta pronosticar que pacientes tendrán fertilización exitosa (fertilización 1) o fallida (fertilización 0) utilizando un nivel plasmático de un parámetro X. En este ejemplo el punto de corte elegido inicialmente fue de 10 del parámetro X. Los pacientes con fertilización exitosa pertenecen al grupo 1 y los no exitosos al grupo 0. Cada cuadradito representa un paciente, ubicado de acuerdo a su valor del parámetro en evaluación.

Page 14: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 14

Observando el gráfico de ejemplo se deduce: 1) El punto de corte propuesto, señalado aquí con una línea horizontal, nos

dice que la mayoría de los pacientes con fertilización positiva tienen más de 10. Muy pocos pacientes con fertilización positiva tienen menos de 10, y la mayoría de los pacientes con fertilización negativa tienen menos de 10.

2) No existe ningún nivel del parámetro medido (imaginemos que

movemos la línea horizontal a cualquier otro nivel) que divida con exactitud absoluta a los enfermos de los sanos.

Dibujaremos sobre el gráfico la nomenclatura que nos permitirá una inferencia gráfica sobre los parámetros sensibilidad, especificidad y valor predictivo. Para asimilar conceptualmente los parámetros al ejemplo visto anteriormente previo, el punto de corte referiría a glucemia y los grupos serían 1=diabetes y 0=no diabetes.

verdaderos positivos

verdaderos negativos

falsos negativos

falsos positivos

Page 15: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 15

¿Cuales serían los efectos de modificar el punto de corte? 1) Hacia arriba (por ejemplo 15): más pacientes con fertilización exitosa

tendrían el parámetro "bajo", de tal manera que aumentaría el número de falsos negativos, (caída de la sensibilidad: VP / VP + FN). Esto hace caer el valor predictivo de tener un test negativo (más pacientes tendrían fertilización exitosa aun con test negativo). A su vez disminuye el número de falsos positivos, y aumenta el de verdaderos negativos, (aumento de la especificidad: VN / VN + FP). Esto hace incrementar el valor predictivo de tener un test positivo: cuando el nivel del parámetro es 15 o más, casi todos los pacientes tendrían fertilización exitosa.

2) Hacia abajo (por ejemplo 5). Casi todos los pacientes con fertilización

exitosa tendrían valores por encima de 5, aumentando los verdaderos positivos y cayendo el número de falsos negativos, (aumento de la sensibilidad). Esto a expensas de un incremento del número de falsos positivos y disminución del número de verdaderos negativos (disminución de la especificidad). El valor predictivo negativo aumenta (casi ningún paciente negativo podría tener fertilización exitosa) cayendo el valor predictivo positivo (un mayor porcentaje de pacientes con criterio elevado mayor de 5 no tendrían fertilización exitosa.

En el programa Medcalc® la línea puede modificarse clickeando con el mouse, y de tal manera explorar en forma gráfica el mejor nivel de sensibilidad y especificidad. CURVAS ROC Una forma didáctica de observar los resultados del análisis de los diferentes niveles eventuales de puntos de corte de un método, y eventualmente compararlo con otro, es construir una curva denominada ROC, en inglés, Receiver Operator Characteristics. Esta terminología surge de curvas que utilizaban para evaluar la capacidad de los operadores de radares para distinguir entre señales con significado (avión enemigo al acecho) y el ruido de fondo. En el libro de Sackett: Epidemiología Clínica, lo han traducido como COR: curva de la Característica con que Opera el Receptor. La curva surge de relacionar para un método determinado los niveles de sensibilidad y especificidad de cada punto de corte. La curva se construye en realidad con la sensibilidad en las ordenadas y 1-especificidad en las abscisas. De tal manera, el extremo superior izquierdo es el punto de nivel óptimo de funcionamiento del estudio. En algunos casos el término sensibilidad es reemplazado por su sinónimo tasa de verdaderos positivos, y 1-especificidad por su sinónimo tasa de falsos positivos. El extremos superior izquierdo conjugaría una óptimo de verdaderos positivos con un mínimo de falsos positivos.

Page 16: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 16

En la figura siguiente, vemos la curva ROC construida con los puntos de corte que hemos determinado en el análisis de la glucemia del ejemplo anterior En la figura la línea diagonal representa el absoluto azar. Si el área total del cuadrado es 1, la línea punteada diagonal divide dos áreas iguales de 0,5. Es decir, que un método que fuera totalmente azaroso, por ejemplo, tirar la moneda cara o ceca para determinar si el paciente es o no diabético, nos daría un área bajo la curva de 0,5 hacia abajo. Con línea gruesa hemos unido los puntos de diferente nivel de sensibilidad y 1-especificidad de la glucemia en ayunas. El área bajo la curva representa el valor diagnóstico de este método. Existen diferentes programas que calculan el área exacta de la curva, que aporta información interesante sobre el valor general del método y para su comparación con otras metodologías respecto del mismo diagnóstico. (En este caso, por ejemplo, ¿cuál sería el área si en lugar de glucemia en ayunas se hubiera dosado hemoglobina glicosilada?). Resalta a simple vista que el área bajo la curva es muy grande, abarca casi toda la superficie posible, y que los mejores puntos de corte son equidistantes del vértice de punto óptimo, superior izquierdo 1 de sensibilidad, 1 de especificidad (o lo que es igual, 0 de 1-especificidad). El área abarcada por la curva ROC uniendo los diferentes puntos de corte puede categorizar la exactitud diagnóstica del método de acuerdo a la siguiente cuantificación:

0 0,2 0,4 0,6 0,8 1

1-especificidad. Tasa de falsos positivos

0

0,2

0,4

0,6

0,8

1

0

0,2

0,4

0,6

0,8

1

teórico

glucemia en ayunas

130mg/dl

90mg/dl

110 mg/dl

150mg/dl

Punto óptimo 1 de sensibilidad 0 de 1-especificidad

Sensibilidad Tasa de verdaderos positivos

Page 17: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 17

0,5 (50%) = contribución nula (azar absoluto, tirar la moneda) 0,5-0,6 = fallido 0,6-0,7 = pobre 0,7-0,8 = aceptable 0,8-0,9 = bueno 0,9- 1 = excelente Conceptualmente, el área de la curva expresa un aspecto estadístico complejo: si extraemos al azar un par de individuos de nuestra población, conformados por un paciente con la patología y otro sano, y repetimos ese procedimiento 100 veces, el área nos da una idea del % de pares de pacientes en que el método tendrá un nivel superior en los pacientes enfermos que en los sanos. Un área de 0,5 indica que en el 50% de los pares el método será mayor en los enfermos que en los sanos, porcentaje similar al esperado al tirar la moneda. Un área de 0,9 indicaría que en el 90% de los pares los pacientes enfermos tendrán el valor del método en cuestión en niveles superiores a los sanos, y sólo en el 10% los sanos tendrán mayores valores que los enfermos. Un método muy malo y peligroso daría valores inferiores a 0,5, lo que indicaría que es peor que el azar, es decir, que confunde a los sanos con enfermos y a los enfermos con sanos. Comparación de métodos diagnósticos Las curvas ROC pueden ser utilizadas para comparar métodos y determinar cual tiene la mejor área y de tal manera es más adecuado para el diagnóstico o pronóstico que se busca. El mismo análisis que hemos aplicado a estudios diagnósticos puede ser adecuado para estudios pronósticos, en los que el criterio gold standard o patrón es la ocurrencia de un evento. Por ejemplo, podemos investigar cuál es mejor punto de corte de niveles de colesterol para predecir el desarrollo de eventos coronarios (infarto o muerte) en el futuro. En ese caso el gold standard o criterio de diagnóstico es el evento coronario, y podemos analizar en forma similar a la glucemia los niveles de colesterol cortando en diferentes puntos para determinar todos los parámetros que hemos discutido: likelihood ratio positivo, negativo, etc. En el ejemplo de la figura se observan dos curvas ROC para comparar scores (de Parsonnet y de Paccn) que determinan riesgo de muerte en pacientes derivados a cirugía cardiovascular, es decir, una aplicación pronóstica del método. Este ejemplo fue analizado y graficado con un software para el cálculo desarrollado por el Dr. Daniel Ferrante, colaborador docente del curso. Requiere una entrada de datos muy cuidadosa, y aporta un exacto análisis de los niveles de corte, likelihood ratio, área de la curva y test de comparación del área.

Page 18: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 18

Figura: se compara en este caso el valor pronóstico para mortalidad quirúrgica de dos índices de riesgo en cirugía cardiovascular. La flecha señala la curva que delimita el área hacia el vértice inferior derecho. El área señalada como 0,50 y determinada por la diagonal indica el nivel de contribución nula de un método o azar absoluto. El score de Paccn delimita un área de 0,73 y el score de Parsonnet un área algo mayor, de 0,78, acercándose así al área ideal de 1, que indicaría un óptimo de sensibilidad y especificidad. El resultado final se resume en el siguiente cálculo:

Area Paccn 0,729

Area Parsonnet 0,775

Comparación entre curvas Valor de Z =

-1,2257

(si la Z es >= ±1,96 la diferencia entre las áreas es significativa para un nivel de p 0,05). En este caso no lo es.

El área bajo la curva para ambos métodos es superior a 0,70 y si bien el área del score de Parsonnet es algo mayor, como surge de la figura y del cálculo (0,775 vs 0,729) la diferencia no es estadísticamente significativa. Para establecer la significación estadística de la contribución de un método respecto del azar puede calcularse el intervalo de confianza del área calculada. Si el método tiene valor diagnóstico o pronóstico, el intervalo de

CURVA ROC

0

0,2

0,4

0,6

0,8

1

0 0,2 0,4 0,6 0,8 1

1-especificidad

sen

sib

ilid

ad

parsonnet

paccn

Area 0,50

Area 0,73

Area 0,78

Page 19: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 19

confianza no debe llegar a 0,50 (punto del azar). Por ejemplo, el área del score Paccn fue 0,729 (IC 95%: 0,65 - 0,80), por lo que podemos afirmar que el score tiene una significativa contribución al pronóstico. Si el resultado hubiera sido 0,57 (IC 95%: 0,45 - 0,68), no podríamos afirmar que el método se diferencia del azar en forma significativa. Guía para la lectura, interpretación y planificación de una investigación de un método diagnóstico En su libro de Epidemiología clínica, Sackett y col. proponen una serie de preguntas para la evaluación de la utilidad de un trabajo sobre un método diagnóstico. Estas preguntas pueden ser tomadas también como una guía para la planificación de un estudio prospectivo sobre este tema. 1) ¿La prueba fue comparada a ciegas con un patrón? Establecer el criterio patrón, la técnica del nuevo método y en lo posible que la evaluación de ambos sea independiente y ciega al resultado del otro. En el diseño de un estudio prospectivo para evaluar un método diagnóstico debe establecerse con claridad cual será el criterio patrón o gold standard de diagnóstico contra el que se comparará la exactitud del nuevo método. En el ejemplo que discutimos anteriormente, el criterio patrón para el diagnóstico de diabetes era la respuesta a curva de tolerancia a la glucosa. Este patrón o gold standard puede ser un parámetro de laboratorio, de estudios complementarios, o un diagnóstico clínico establecido por la suma de otros criterios. En ocasiones el método patrón es "duro" (resultado de una biopsia, hallazgo quirúrgico) o un poco más "blando", surgiendo de una construcción clínica. Por ejemplo, si queremos evaluar si un parámetro al ingreso al cuidado intensivo se asocia al desarrollo de sepsis, sabemos que no existe un método único o "duro" para establecer sepsis, por lo que se utiliza la suma de determinados criterios (fiebre, leucocitosis, acidosis metabólica, etc.). En forma similar el diagnóstico de infarto surge de un complejo clínico (dolor, electrocardiograma, enzimas) y no de un parámetro único. Dado que el esquema conceptual es el mismo a los fines de establecer un pronóstico o el nivel de gravedad de una patología, el gold standard puede en ese caso ser un evento. Por ejemplo, que niveles de obstrucción de la vía aérea en el estudio funcional respiratorio (método diagnóstico) se asocian a nuevas internaciones (criterio de verdad o patrón), que niveles de espermatozoides en el espermograma se asocian a la posibilidad o no de embarazo(criterio de verdad), etc. Es muy importante a los fines de validar el nuevo método que se establezca su estimación en desconocimiento del criterio patrón. En el caso de la glucemia en ayunas sería sencillo, dado que la medición de la glucemia ambulatoria y la curva de tolerancia son efectuadas por diferentes actores y tiempos. En el ejemplo del soplo sistólico, por contrario, el conocimiento del

Page 20: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 20

resultado del doppler confirma el diagnóstico de estenosis aórtica puede inducir a percibir soplos previamente inaudibles. 2) ¿Existió un espectro adecuado de la enfermedad entre los pacientes

estudiados? (pacientes con enfermedad leve y grave, tratada o no tratada, además de individuos con alteraciones diferentes pero que se confunden con frecuencia).

3) ¿Se describió el patrón de derivación? (selección de pacientes y filtro que

pasaron los pacientes estudiados). La selección de pacientes debe incluir cuadros de suficiente diversidad y amplitud como para asemejarse a la práctica clínica en la cual se aplicará el nuevo método. La inclusión de pacientes muy seleccionados invalida la proyección de los resultados a la población real. Para evaluar la contribución de un método al diagnóstico de una enfermedad, condición o pronóstico es importante que la patología esté representada adecuadamente en la selección de pacientes. Incluir sólo pacientes con formas graves de enfermedad puede brindar resultados no trasladables a otras situaciones clínicas. En las primeras etapas de evaluación, es frecuente seleccionar pacientes muy enfermos y muy sanos, de tal manera que el resultado preliminar tiende a exagerar la sensibilidad y especificidad del método. Supongamos que queremos analizar el valor de la caída de la fracción de eyección del ventrículo izquierdo durante el ejercicio para hacer el diagnóstico de enfermedad coronaria. El gold standard en este caso es el resultado del cateterismo, e incluimos pacientes con lesión de tres vasos como enfermos y con coronarias normales como sanos. Es muy probable que la sensibilidad sea muy elevada, y también la especificidad, de tal manera que podríamos asegurar que cada vez que caiga la fracción de eyección el paciente tendrá una enfermedad coronaria, como se había establecido en las primeras etapas de la incorporación de esta metodología. Sin embargo, en la vida real, hay pacientes hipertensos, o con otras cardiopatías o condiciones que los hacen no totalmente sanos, en los que la fracción de eyección puede bajar sin que esto implique enfermedad coronaria, y en el otro extremo, pacientes con lesiones coronarias poco extensas en los que el esfuerzo no induce ninguna modificación en la fracción de eyección. La importancia de este aspecto reside justamente en que la utilidad de un método diagnóstico es mayor en los casos confusos que en los muy definidos o claros sobre la base de la presentación clínica. 4) ¿La descripción de la prueba fue lo suficientemente clara para

reproducirla? 5) ¿La prueba fue reproducible? (variación entre observadores)

Page 21: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 21

En la evaluación de un método nuevo debe establecerse en el protocolo los criterios que validan la repetitibilidad de la prueba (por ejemplo, dos dosajes independientes del mismo parámetro y analizar su coherencia), denominado precisión, y a su vez si la interpretación de la misma varía o no de acuerdo al observador (para lo que se requiere incluir dos o más observadores que establezcan la medición), lo que se analiza con estadística Kappa. El tema de precisión y variación interobservador ya fue desarrollado en la clase del Dr. Doval: "Validez y Precisión de los Datos" del Módulo 3, por lo que no nos extenderemos aquí. 6) ¿Se evaluó la contribución de la prueba al diagnóstico global? Si se propugna la prueba como parte de un conjunto o secuencia de pruebas, ¿se determinó su contribución individual a la validez global del conjunto o secuencia? ¿Se determinó la utilidad de la prueba? En el protocolo de evaluación de un nuevo método debemos establecer cual es su contribución independiente al diagnóstico o pronóstico respecto de lo que ya conocemos previamente, y si existe algún grupo en los que su contribución es relativamente mayor. Aunque la etapa preliminar es evaluarlo en forma individual, siempre las metodologías se aplican a pacientes en los que existe información previa. Este tema es desarrollado en extenso en la clase del Dr. Doval sobre el enfoque bayesiano que se entrega con este módulo, y aquí solo haremos algunos comentarios. En forma general, la contribución de un método será mayor cuanto mayor sea la incertidumbre diagnóstica. Un ejemplo. En un estudio sobre variables pronósticas luego de un infarto, se evaluó la evolución clínica, índices de insuficiencia cardíaca durante la internación, edad, y el resultado de estudios no invasivos como el Holter, ecocardiograma, ergometría estudios radioisotópicos. Tomado en forma individual, el mejor método para seleccionar pacientes en alto riesgo de morir en la evolución alejada fue la presencia de criterios de deterioro de la función ventricular en el ecocardiograma. Sin embargo, cuando se tomaban en cuenta los criterios clínicos de insuficiencia cardíaca, obviamente una información de conocimiento inevitable durante la internación, el ecocardiograma no tenía una contribución adicional relevante. Es decir, su resultado confirmaba lo que la evolución clínica había ya mostrado, y de tal manera era redundante. Es por eso fundamental que en el diseño de un estudio para evaluar métodos diagnósticos o pronósticos se delimite el ámbito de la patología y la circunstancia en que el mismo se evaluará, para concentrarse en los campos en los que existen puntos conflictivos.

Page 22: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 22

Bibliografía adicional sugerida • Medcalc. Instructivo. www.medcalc.be\roccman.html • Sackett. Epidemiología clínica. • www\gimn.unmc.edu\dxtests\roc3.htm • Doval H, Tajer C y col. Evidencias en Cardiología II. Software e

instructivo del CD (se incluye en su totalidad en esta clase). Software para estudios diagnósticos

Básico: provisto con la clase (sensibilidad, especificidad, valores predictivos, likelihood ratio con sus respectivos intervalos de confianza)

Curvas Roc

Analyse-it ® www.analyse-it.com Medcalc ® www.medcalc.be Ambos se pueden probar en forma gratuita haciendo una bajada (download) en forma electrónica por Internet.

Page 23: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 23

Apéndice El likelihood ratio se multiplica por la chance del evento previo al test, para luego convertirse en una chance postest. Hemos visto en clases anteriores la relación entre odds (chance), y riesgo, así como la relación entre odds ratio (chance relativa) y riesgo relativo. Dada una prevalencia determinada de enfermedad, la probabilidad o riesgo de estar enfermo se calcula:

Riesgo o probabilidad = enfermos / total de pacientes

Tomemos como ejemplo una prevalencia de enfermedad de 30%, es decir, 30 enfermos cada 100 casos.

Riesgo o probabilidad = 30 / 100 = 30% o 0,30 Cuál sería la chance de estar enfermo (0dds) = enfermos / sanos

En este ejemplo = 30 / 70 = 42,86% o 0,4286 Si no conociéramos la prevalencia, y sólo tuviéramos el odds, podemos convertir a probabilidad con la fórmula:

Riesgo = odds / (1 + odds) En este ejemplo:

Riesgo = 0,428 / (1 + 0,428) = 0,4286 / 1,4286 = 30% o 0,30 En la aplicación del LR positivo o negativo, sólo podemos multiplicarlo por el odds pretest (chance pretest) y nos da un valor postest que podemos convertir luego a riesgo o probabilidad con la fórmula anterior. No existe una fórmula sencilla para asumir el incremento de la probabilidad sobre la base del LR y no podemos saltear la conversión inicial a odds. Más abajo hemos construido una tabla, en la que el likelihood ratio positivo de un test ficticio es de 2, es decir, que la chance de enfermedad se duplica si el test es positivo. Observamos que el incremento del riesgo no guarda una relación constante con el Likelihood ratio y es variable dependiendo de la prevalencia de patología esperada. Cuanto menor es la prevalencia, el porcentaje de incremento del riesgo se acerca al de la chance. Cuanto mayor es la prevalencia, las diferencias son muy sustanciales. Tomemos cuatro niveles de prevalencia para hacerlo más claro. Prevalencia pretest de 5 enfermos c/100: Riesgo 5% y odds 5,3%. Con el LR (+) de 2 la chance u odds postest aumenta al doble, 10,5% y el riesgo aumenta aproximadamente al doble. Prevalencia del 30%: Riesgo 30%, odds 0,43 o 43%

Page 24: Estudios de Diagnostico · Estudios de Diagnóstico - Hoja 1 ENSAYOS PARA ESTABLECER EL VALOR DIAGNOSTICO DE UN METODO O CRITERIO Indice temático de la clase • Introducción •

Estudios de Diagnóstico - Hoja 24

Con el mismo LR (+) aumenta la chance postest a 86% o 0,86, siempre el doble, pero el riesgo postest aumenta sólo a 0,46 o 46%, aproximadamente un 50% por encima del 30% inicial. Prevalencia del 50%: Riesgo 50%, odds 1. Con el LR (+) de 2 el odds postest es 2, y el riesgo aumenta al 66%, un 30% respecto del valor inicial. Prevalencia del 75%: Riesgo 75%, odds 2,3. Con el LR (+) de 2, el odds postest es 4,6 y el riesgo aumenta al 86%, aproximadamente un 15% respecto del valor inicial Tabla de relación entre odds y riesgo pre y postest (+) para diferentes prevalencias iniciales. En todos los casos se asume que el likelihood ratio positivo del test en cuestión para el ejemplo es de 2.

Enfermos Sanos Total Prevalencia: probabilidad

riesgo enf/total

Odds chance

enf/sanos

LR (+) valor 2

Odds o chance postest

(LR(+)) * (odds)

Riesgo o probabilidad

postest odds/(1+odds)

1 99 100 0,01 0,010 2 0,020 0,02

5 95 100 0,05 0,053 2 0,105 0,10

10 90 100 0,1 0,111 2 0,222 0,18

15 85 100 0,15 0,176 2 0,353 0,26

20 80 100 0,2 0,250 2 0,500 0,33

25 75 100 0,25 0,333 2 0,667 0,40

30 70 100 0,3 0,429 2 0,857 0,46

35 65 100 0,35 0,538 2 1,077 0,52

40 60 100 0,4 0,667 2 1,333 0,57

45 55 100 0,45 0,818 2 1,636 0,62

50 50 100 0,5 1,000 2 2,000 0,67

55 45 100 0,55 1,222 2 2,444 0,71

60 40 100 0,6 1,500 2 3,000 0,75

65 35 100 0,65 1,857 2 3,714 0,79

70 30 100 0,7 2,333 2 4,667 0,82

75 25 100 0,75 3,000 2 6,000 0,86

80 20 100 0,8 4,000 2 8,000 0,89

85 15 100 0,85 5,667 2 11,333 0,92

90 10 100 0,9 9,000 2 18,000 0,95

95 5 100 0,95 19,000 2 38,000 0,97