p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única...
Transcript of p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única...
![Page 1: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/1.jpg)
p(E|Hp)
p(E|Hd)
p(E|Hp)
p(E|Hd)
Cómo medir la validez y fiabilidadde sistemas de análisis forense
Geoffrey-Stewart Morrison
![Page 2: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/2.jpg)
Preocupaciones
� Marco lógicamente correcto para la evaluación de las evidencias- ENFSI Guideline for Evaluative Reporting 2015
� Sin embargo, ¿cuál es la justificación para la opinión? ¿De dónde
vienen los números?- ;R v T 2010 Risinger at ICFIS 2011
� Demostración de validez y fiabilidad- NRC Report FSR Guidance on validation ; CPD 19A 2015; PCAST Report 2016Daubert 1993; 2009; 2014
� Transparencia- R v T 2010
� Diminuir la influencia potencial de sesgo cognitivo- a ; NCFS task-relevant information 2015NIST/NIJ Fingerprint nalysis 2012
� Comunicar la fuerza de la evidencia forense al juzgador de los
hechos
![Page 3: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/3.jpg)
Paradigma
� Uso del marco de relaciones de verosimilitud para la evaluación de
las evidencias
– lógicamente correcta
� Uso de mediciones cuantitativas, datos relevantes (datos
representativ s de la población relevante), y modelos estadísticoso
– transparente y reproducible
– relativamente robusto al sesgo cognitivo
� Evaluación empírica de validez y fiabilidad bajo condiciones que
reflejan las condiciones del caso bajo investigación con datos de,
prueba seleccionados de la población relevante
– única manera de saber como bien funciona
![Page 4: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/4.jpg)
Validez y Fiabilidad(Exactitud y Precisión)
![Page 5: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/5.jpg)
precisono
preciso
no exacto
exacto
![Page 6: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/6.jpg)
Cómo Medir Validez
![Page 7: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/7.jpg)
Medir Validez
� El conjunto de prueba consiste de un gran número de pares demuestras, unos del mismo origen y otros de diferente orígeness
� El conjunto de prueba debe representar la población relevantey las condiciones del caso bajo investigación
� Se usa el sistema de comparación forense para calcular un RV poracada par de muestras de prueba
� Para cada par de muestras de prueba, se compara la salida delsistema con el conocimiento que se tiene sobre la entrada
![Page 8: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/8.jpg)
CAJA NEGRA 156
![Page 9: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/9.jpg)
178
CAJA NEGRA
![Page 10: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/10.jpg)
Enun
lugardela
Mancha,de
cuyonombre
noquiero
acordarme
CAJA NEGRA
![Page 11: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/11.jpg)
Enun
lugardela
Mancha,de
cuyonombre
noquiero
acordarme
![Page 12: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/12.jpg)
1024
42
1,000,0001
2
3
4
Fre
qu
en
cy (
kH
z)
0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
Time (s)
380
390
400
410
420
430
440
1980
1990
2000
2010
2020
2030
2040
0
0.5
1
1.5
x 10-3
Enun
lugardela
Mancha
![Page 13: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/13.jpg)
1024
42
1,000,000
Enun
lugardela
Mancha
CAJA NEGRA
CAJA NEGRACAJA NEGRA
CAJA NEGRA
![Page 14: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/14.jpg)
Medir Validez
� La tasa de clasificación correcta / la tasa de clasificación errónea noes apropiada
– se basa en probabilidades a posteriori
– se usa un umbral en vez de presentar un valor gradiente
decisiónhecho mismo diferente
mismo aceptación rechazocorrecta falso
diferente aceptación rechazofalsa correcto
![Page 15: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/15.jpg)
Medir Validez
� La tasa de clasificación correcta / la tasa de clasificación errónea noes apropiada
– se basa en probabilidades a posteriori
– se usa un umbral en vez de presentar un valor gradiente
decisiónhecho mismo diferente
mismo
diferente
fallo poromisión
falsaalarma
![Page 16: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/16.jpg)
Medir Validez
� La tasa de clasificación correcta / la tasa de clasificación errónea noes apropiada
– se basa en probabilidades a posteriori
– se usa un umbral en vez de presentar un valor gradiente
decisiónhecho mismo diferente
mismo
diferente
1
1 0
0
![Page 17: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/17.jpg)
Log10 Apuesta A Posteriori
tasa d
e c
lasific
ació
n e
rrónea
-3 -2 -1 0 1 2
1
2
3
4
5
6
7
8
9
3
falsa alarmafallo por omisión
![Page 18: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/18.jpg)
Medir Validez
� La validez se indica por el hasta que los de pares de muestrasgradodel mismo origen tengan R > 1, y los de diferentes orígenesVtengan R < 1V
� La validez se indica por el hasta que los pares de muestrasgradodel mismo origen tengan log(R ) > 0, y los de diferentesVorígenes tengan log(R ) < 0V
1/1000 1/100 1/10 1 10 100 1000
-3 -2 -1 0 +1 +2 +3
RV
log (R )10 V
![Page 19: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/19.jpg)
Medir Validez
� Una medida continua que capta la validez de un conjunto derelaciones de verosimilitud procedentes de datos de prueba esel coste del logaritmo de la relación de verosimilitud, log-likelihood-ratio cost C, llr
Brümmer N, du Preez J (2006). ,Application independent evaluation of speaker detection, 20, 230–275. doi:10.1016/j.csl.2005.08.001Computer Speech & Language
� �CN RV N
RVllr
mo i
N
mo do j
N
do
mo
i
do
j� �
�
���
�� � �
�
���
��
� �� �
1
2
11
1 112
1
2
1
log log
![Page 20: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/20.jpg)
Log Relación de Verosimilitud10
Cllr
-3 -2 -1 0 1 2
1
2
3
4
5
6
7
8
9
3
![Page 21: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/21.jpg)
Medir Validez
� Sistema A: = 0.548Cllr
� Sistema B: = 0.101Cllr
� Sistema C: = 1.018Cllr
![Page 22: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/22.jpg)
Gráficos Tippett
![Page 23: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/23.jpg)
Gráficos Tippett
−4
0
0.2
0.4
0.6
0.8
1
log (RV)10
pro
porc
ión c
um
ula
tiva
−2 2 40−6 6
![Page 24: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/24.jpg)
−4
0
0.2
0.4
0.6
0.8
1
−2 2 40−6 6
Gráficos Tippett
pro
porc
ión c
um
ula
tiva
log (RV)10
![Page 25: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/25.jpg)
−4
0
0.2
0.4
0.6
0.8
1
−2 2 40−6 6
Gráficos Tippett
pro
porc
ión c
um
ula
tiva
log (RV)10
![Page 26: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/26.jpg)
Gráficos Tippett
� Sistema A: = 0.548Cllr � Sistema B: = 0.101Cllr
![Page 27: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/27.jpg)
Cómo Medir Fiabilidad
![Page 28: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/28.jpg)
Fuentes de imprecisión
� variabilidad intrínseca al nivel de l fuentea
e– intra-fuente inter-muestra variabilidad
� variabilidad en el proceso de trasferencia
� variabilidad en la técnica de medir
� variabilidad en tomar muestras de la población relevante
� variabilidad en la estimación de parámetros de modelos estadísticos
Morrison, G. S. (2016). Special issue on measuring and reporting the precision of forensic likelihood ratios:
Introduction to the debate. . doi:10.1016/j.scijus.2016.05.002Science & Justice
![Page 29: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/29.jpg)
Medir Fiabilidad
� Imagina que en el conjunto de prueba tenemos tres grabaciones ( ,AB C, ) de cada locutor
� A tiene las mismas condiciones (estilo de habla, canal detransmisión, duración, etc.) como la grabación del delicuente
� B Cy tienen las mismas condiciones como la grabación delsospechoso
� Usamos RVs calculados a base de pares - y - para estimar unA AB Cintervalo de credibilidad (IC) de 95%
![Page 30: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/30.jpg)
grab. del sospech. grab. del delicuente
001 B 001 A
001 C 001 A
002 B 002 A
002 C 002 A
: : : :
Medir Fiabilidad
� Dos pares para cada comparación del mismo locutor
![Page 31: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/31.jpg)
grab. del sospech. grab. del delicuente
002 B 001 A
002 C 001 A
003 B 001 A
003 C 001 A
: : : :
001 B 002 A
001 C 002 A
: : : :
Medir Fiabilidad
� Dos pares para cada comparación de diferentes locutores
![Page 32: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/32.jpg)
log(RV) →
Medir Fiabilidad
![Page 33: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/33.jpg)
promediopromedio
log(RV) →
Medir Fiabilidad
![Page 34: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/34.jpg)
←→
des
via
ción d
esde
el p
rom
edio
log(RV) →
Medir Fiabilidad
![Page 35: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/35.jpg)
Medir Fiabilidad←
→des
via
ción d
esde
el p
rom
edio
95%
2,5%
2,5%
![Page 36: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/36.jpg)
Medir Validez y Fiabilidad
� Sistema A 95% CI = 0.498: = 0.548 ±Cllr
� Sistema 95% CI = 0.988B: = 0.101 ±Cllr
![Page 37: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/37.jpg)
Medir Validez y Fiabilidad
� System : = 0.548 = 0.5 ±A 29 95% CI = 0.498C Cllr llr
promedio
� System B: = 0.101 = 0. ±071 95% CI = 0.988C Cllr llr
promedio
![Page 38: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/38.jpg)
0 0.2 0.4 0.6 0.8 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Cllr
−m
ea
n
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Cllr
−p
oo
ledSistema A
Sistema B
intervalo de credibilidad ( ± ordenes de magnitud )
Medir Validez y Fiabilidad
![Page 39: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/39.jpg)
Gráficos Tippett
−4 −3 −2 −1 0 1 2 3 40
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Log10 Likelihood Ratio
Cum
ula
tive P
roport
ion
−4 −3 −2 −1 0 1 2 3 40
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Log10 Likelihood Ratio
Cum
ula
tive P
roport
ion
![Page 40: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/40.jpg)
Sumario
Si fueran consistentes los datos de fondo, calibración, y
prueba con las condiciones del caso bajo investigación,
y si la comparación entre las grabaciones del delicuente
y del sospechoso resultara en una relación de
verosimilitud de 100 (log ( ) de +2), y la estimación10 RV
del IC 95% arrojara un valor de ±1 órdenes de magnitud
(±1 en log ( )), el científico forense podría presentar10 RV
una declaración como la siguiente:
![Page 41: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/41.jpg)
Basado en mi evaluación de las evidencias, he
calculado que obtener las propiedades
acústicas de la grabación del delicuente sería
100 veces más probable si la grabación
hubiera sido producida por el acusado en
contraste de que si hubiera sido producida por
otro locutor de la población relevante.
![Page 42: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/42.jpg)
Lo anterior significa que cualquiera que haya
sido su creencia previa sobre la probabilidad
de que el locutor en la grabación del
delicuente fuera el acusado relativa a la
probabilidad de que fuera otro locutor, ahora
su creencia sobre la probabilidad de que sea el
acusado relativa a la de que sea otro locutor
debe ser 100 veces más de lo que fuera antes.
![Page 43: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/43.jpg)
Basado en mis calculaciones, tengo una
certeza de 95% que obtener estas propiedades
acústicas es a lo menos 10 veces más probable
y no más que 1000 veces más probable si el
locutor en la grabación del delicuente fuera el
acusado contra de que fuera otro locutor.
![Page 44: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/44.jpg)
Validación Empírica
![Page 45: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/45.jpg)
� El Informe al Congreso del National Research Council sobreStrengthening Forensic Science in the United States (2009) urgió laadopción de procedimientos que incluyen:
� “medidas cuantificables de la fiabilidad y exactitud de los análisisforenses” (p. 23)
� “la presentación de una medición con un intervalo que tiene altaprobabilidad de contener el valor verdadero” (p. 121)
� “la realización de estudios de validación de la eficacia de unprocedimiento forense” (p. 121)
Validación Empírica
![Page 46: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/46.jpg)
� Los (2014) del Forensic ScienceCodes of Practice and Conduct
Regulator de Inglaterra y Gales requiere:
� “todos los métodos y procedimientos técnicos utilizados por un
proveedor serán validados.” (§20.1.1)
� “Aun cuando un método se considera estándar y se utiliza ampliamente,
todavía tendrá que ser demostrado la validación.” (§20.1.3)
� “validación se llevará a cabo utilizando material que simula casos reales
... y ... cuando sea apropiado, con el material de casos reales”
(§20.7.3)
� “demostrar que pueden proporcionar resultados consistentes,
reproducibles, válidos y fiables” (§20.9.1)
Validación Empírica
![Page 47: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/47.jpg)
� Tribunal Supremo EEUU: (1993)Daubert v Merrell Dow Pharmaceuticals
� “En un caso relacionado con la evidencia científica, la fiabilidad de
evidencia validez científicase basará en la ” [énfasis en el original]
� “evaluación de si el razonamiento o la metodología que subyace en el
testimonio es científicamente válida y ... si este razonamiento o
metodología puede aplicarse correctamente a los hechos en cuestión.”
� “una pregunta clave que se plantea en la determinación de si una teoría o
técnica es el conocimiento científico que ayudará al juzgador de los
hechos será si puede ser (y ha sido) sometido a prueba. ... “[L]as
declaraciones que constituyen una explicación científica tienen que
ser capaz de ser probado empíricamente’.”
� “en el caso de una técnica científica específica, el tribunal normalmente
debe tener en cuenta la tasa de error conocida o potencial ”
Validación Empírica
![Page 48: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/48.jpg)
� Inglaterra y Gales: (2015)Criminal Practice Directions
� “‘el tribunal deberá asegurarse de que existe una base científica
suficientemente fiable para que se admita la evidencia.’” (19A.4)
� “si la opinión tiene adecuadamente en cuenta asuntos, tales como el
grado de precisión o el margen de incertidumbre, que afecta a la
exactitud o la fiabilidad de los resultados;” (19A.5c)
� “posibles defectos ... que perjudican ... la fiabilidad, ...
(a) ... no ... se somete a escrutinio suficiente (incluyendo, cuando sea
apropiado, pruebas experimentales ...), ...
(c) ... datos defectuosos;
(d) ... se basa en un método o proceso que no se ha efectuado o
aplicado correctamente, o que no era apropiado para su uso en el caso
particular;” (19A.6)
Validación Empírica
![Page 49: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/49.jpg)
� The President’s Council of Advisors on Science and Technology informe
Forensic science in criminal courts: Ensuring scientific validity of
feature-comparison methods (PCAST, 2016)
� “Sin estimaciones de exactitud adecuadas, la declaración de un examinador de que dos
muestras son similares, o incluso indistinguibles, carece de sentido científico: no
tiene valor probatorio, y tiene un considerable potencial para un impacto
perjudicial.” (p 6)
� “el experto no debe hacer afirmaciones o implicaciones que van más allá de la evidencia
empírica y las aplicaciones de los principios estadísticos válidos a esa evidencia.”
(p 6)
� “Donde no existen adecuados estudios empíricos y/o modelos estadísticos para
proporcionar información significativa acerca de la exactitud de un método de
comparación forense de características, los abogados del Departamento de Justicia
y los examinadores no deben ofrecer un testimonio basado en el método.” (p 19)
Validación Empírica
![Page 50: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/50.jpg)
Experiencia
![Page 51: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/51.jpg)
� Que un perito diga “Creo que esto es verdad porque llevo añosx
ejerciendo este trabajo” no es, en mi opinión, científico. Por otro
lado, que un perito diga “Creo que esto es verdad y mi juicio ha
sido probado en experimentos controlados” esto está
científicamente fundamentado.
Evett C.G.G. Aitken, D.A. Stoney (Eds.),IW (1991) . InInterpretation: a personal odyssey The Use of Statistics in
Forensic Science. .Ellis Horwood, Chichester, UK pp. 9–22.
Experiencia
![Page 52: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/52.jpg)
Experiencia
� La experiencia en la aplicación de identificación de voz espectrográfica para
metas judiciales ha llevado a los proponentes del método de expresar
confianza en su fiabilidad. Sin embargo, la base de esta confianza no es
accesible para evaluación objetiva.
� La validación de este enfoque para la identificación de voz se convierte en una
cuestión de experimentos replicables el propio experto, consideradocon
como una máquina de identificación de voz. ... La validación requiere una
evaluación experimental de rendimiento en tareas pertinentes. ... Se puede
objetar que este conjunto mínimo de pruebas es excesivamente difícil. No
creemos que lo es. Como científicos podríamos aceptar menos en lano
comprobación de la fiabilidad de un caja negra que supuestamente“ ”
realiza la identificación del hablante.
Bolt , Cooper , David Jr., Denes , Pickett , StevensRA FS EE PB JM KN (1970) Speaker identification by speech spectrograms: a scientists view of’
its reliability for legal purposes. ,47 597–612, http://dx.doi.org/10.1121/1.1911935.Journal of the Acoustical Society of America
![Page 53: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/53.jpg)
� The President’s Council of Advisors on Science and Technology informe
Forensic science in criminal courts: Ensuring scientific validity of
feature-comparison methods (PCAST, 2016)
� “ni la experiencia, ni el juicio, ni las buenas prácticas profesionales (tales como
programas de certificación y acreditación, protocolos estandarizados, pruebas de
aptitud, y códigos de ética) puede sustituir a la evidencia real de validez y fiabilidad
fundamental. La frecuencia con la que se observó un patrón particular o conjunto
de características en diferentes muestras, que es un elemento esencial en la
elaboración de conclusiones, no es una cuestión de ‘juicio.’ Es una cuestión
empírica para que sólo la evidencia empírica es relevante. Del mismo modo, la
expresión de un experto de basada en la experiencia personal profesionalconfianza
o expresiones de entre los profesionales acerca de la exactitud de suconsenso
campo no puede sustituir a las tasas de error estimadas a partir de los estudios
pertinentes. Para los métodos de comparación forense de características, el
establecimiento de la validez fundamental basada en la evidencia empírica es, pues,
una condición . Nada puede sustituir a ello.” (p 6)sine qua non
Experiencia
![Page 54: p(E|Hp p(E|Hdgeoff-morrison.net/forensic-evaluation.net/documents/Morrison - Cómo... · – única manera de saber como bien funciona. Validez y Fiabilidad (Exactitud y Precisión)](https://reader036.fdocuments.mx/reader036/viewer/2022090608/605ee1f246166f586379b112/html5/thumbnails/54.jpg)
Gracias
http://geoff-morrison.net/
http://forensic-evaluation.net/