ISO 13528:2015GENERALIDADES: MÉTODOS ESTADÍSTICOS PARA UTILIZAR

EN PROGRAMAS DE ENSAYOS DE APTITUD MEDIANTE

COMPARACIONES INTERLABORATORIOS

Julio de 2017

IntroducciónPropositos de participación en ensayos de aptitud

Propositos

Según la ISO/IEC 17043:2010 los

programas de ensayos de aptitud

tienen los siguientes objetivos. Propósitos de un Ensayo de Aptitud

Evaluación del desempeño

Establecimiento de eficacia y comparabilidad de métodos de ensayo o

medición

Validación de quejas relacionadas con

incertidumbre

Identificación de problemas en el

laboratorio

Educación de los laboratorios participantes

El diseño estadístico y las técnicas

analíticas aplicadas deben ser

apropiadas para los propósitos

establecidos.

Fundamentos para la evaluación del desempeño

En la mayoría de los Programas de Ensayo de Aptitud el proceso de evaluación del desempeño

de los participantes inicia con…

La determinación de la desviación del

participante con respecto a un valor asignado

Se prosigue con la comparación de esa

desviación con respecto a un criterio

Por ultimo, se decide si la desviación es causa de

preocupación o no

De aquí radica la importancia de la determinación del valor asignado y de la selección del criterio

de comparación.

Nota: la determinación del valor asignado y la selección del criterio de evaluación

independientemente de los resultados de los participantes ofrece ventajas

Relación con la norma ISO/IEC 17043:2010

En la siguiente tabla se presentan algunos de los numerales de la ISO 13528:2015

que apoyan la implementación de la norma ISO/IEC 17043:2010

ISO/IEC 17043:2010 ISO 13528:2015

4.7.1.1 Validación de software y equipo de

procesamiento de datos0.5 Software de ordenador

4.4.4 Diseño estadístico 5. Directrices para el diseño estadístico

4.4.3 Homogeneidad y estabilidad (validación de los

ítems de ensayo de aptitud)

6.1 Homogeneidad y estabilidad de los ítems de

ensayo de aptitud

4.5 Elección del método o procedimiento6.2 Consideraciones para diferentes métodos

de medición

4.4.5 Valores asignados7. Determinación del valor asignado y su

incertidumbre estándar

Validación de Software y Experiencia Estadística

Debido a que la mayor parte de los software empleados en programas de ensayos de

aptitud corresponden a hojas de cálculo se recomienda comprobar la exactitud de los

cálculos realizados en dichas hojas. Por ejemplo la serie de documentos del NPL

(National Physical Laboratory – Reino Unido) “Software Support for Metrology”,

especialmente las guías No. 1 y 7, presentan lineamientos para realizar dicha validación.

Cabe anotar que no existe una guía o norma aceptada internacionalmente para la

validación de software

En relación con la experiencia estadística, ni la norma ISO 13528:2015 ni la ISO/IEC

17043:2010 presentan “especificaciones sobre cual es la experiencia necesaria”. Por lo

general, es necesario contar con una persona con experiencia técnica en otras áreas pero

que este familiarizado con los conceptos estadísticos básicos.

ConceptosA continuación se presentan algunos conceptos

relacionados con estadística y ensayos de aptitud

Terminos y definiciones

• Valor que se atribuye a una propiedad particular de un ítem de ensayo de aptitud

Valor asignado

• Medida de dispersión utilizada en la evaluación de resultados de ensayo de aptitud

Desviación estándar para la evaluación de aptitud

• Valor medido de la magnitud menos un valor de referencia

Error de medición

• Valor extremo del error de medición con respecto a un valor de referencia conocido, dado en especificaciones o regulaciones

Error máximo permisible

Nota: a medida que se avanza en la presentación se darán otros conceptos

Principios generalesPropositos de participación en ensayos de aptitud

Requisitos generales para los métodos estadísticos

Ajustados al propósito

Métodos estadísticos

Validez

estadística

• Base teórica confiable,

• Desempeño conocido,

• Suposiciones demostrables.

Coherencia con los objetivos

establecidos en el programa

Software validado de

forma adecuada

Secuencia de

procedimientos

para el manejo de

datos

Descritos para los

participantes

Modelo básico

𝑥𝑖 = 𝜇 + 휀𝑖

Resultado del

participante

Valor

verdadero del

mensurando

Error de

medición

휀𝑖 ∼ 𝑁(0, 𝜎2)

𝜇 ≈ valor asignado

𝜎 ≈ Criterio de comparación

Enfoques generales para la evaluación del desempeño

Para la evaluación del desempeño se tienen tres enfoques:

Por comparación con criterios derivados

externamente

Por comparación con otros participantes

Por comparación con la incertidumbre de medida declarada

Directrices para el

diseño estadísticoMétodos para determinar el valor asignado y su

incertidumbre de medición estándar asociada

Consideraciones sobre el diseño estadístico

Se debe considerar la naturaleza de los datos:

cuantitativos o cualitativos

Suposiciones estadísticas de los datos: normalidad (unimodalidad y simetría)

Se deben considerar metodologías para el tratamiento de datos

atípicos o distribuciones de probabilidad distintas a la

normal

El número de participantes puede afectar la

confiabilidad de los estimados del valor

asignado y su incertidumbre de medición

Un informe técnico de IUPAC/CITAC recomienda mínimo 20 participantes, sin embargo, también se

debe tener en cuenta otros aspectos

Directrices para la

revisión de los ítemsPrueba de homogeneidad y estabilidad

Consideraciones sobre el diseño estadístico

Se debe evaluar la homogeneidad y

estabilidad de tal forma que no se afecten los

resultados del ensayo de aptitud

En ensayos de aptitud para calibración se debe

evaluar la estabilidad

No siempre es necesario evaluar la homogeneidad y

estabilidad, se puede emplear una metodología

que garantice que no afectan los resultados

En algunos casos es necesario tratar datos

atípicos para determinar el valor asignado y su

incertidumbre de medición

Se deben eliminar la equivocaciones obvias

antes de realizar cualquier procedimiento estadístico

Valores asignadosMétodos para determinar el valor asignado y su

incertidumbre de medición estándar asociada

Modelo

𝑥𝑝𝑡 = 𝑥𝑐ℎ𝑎𝑟 + 𝛿ℎ𝑜𝑚 + 𝛿𝑡𝑟𝑎𝑛𝑠 + 𝛿𝑠𝑡𝑎𝑏

Valor asignado

al mensurando

Valor asignado

al mensurando

Corrección

debida a la no

homogeneidad

Corrección

debida al

transporte

Corrección

debida a la

inestabilidad

Nota 1: se asume que 𝛿ℎ𝑜𝑚, 𝛿𝑡𝑟𝑎𝑛𝑠 y 𝛿𝑠𝑡𝑎𝑏 son iguales a cero (0).

Incertidumbre de medición

𝑢(𝑥𝑝𝑡) = 𝑢𝑐ℎ𝑎𝑟2 + 𝑢2 𝛿ℎ𝑜𝑚 + 𝑢2 𝛿𝑡𝑟𝑎𝑛𝑠 + 𝑢2 𝛿𝑠𝑡𝑎𝑏

Incertidumbre

asociada al

valor asignado

al mensurando

Incertidumbre

asociada a la

caracterización

(ensayo/calibración)

Incertidumbre

debida a la no

homogeneidad

Incertidumbre

debida al

transporte

Incertidumbre

debida a la

inestabilidad

Nota: sino se puede determinar 𝑢 𝛿ℎ𝑜𝑚 , 𝑢 𝛿𝑡𝑟𝑎𝑛𝑠 y 𝑢 𝛿𝑠𝑡𝑎𝑏 se debe demostrar “que los procedimientos

utilizados para reunir, producir, embalar y distribuir los ítems del ensayo de aptitud son suficientes para el

propósito del ensayo de aptitud” (ver numeral 4.4.3.6 de la norma ISO/IEC 17043:2010).

Formulación

Ítem de ensayo

•Mezcla de materiales en proporciones especificadas,

•Adición de una sustancia a un material base,

Métodos estadísticos

•𝑥𝑝𝑡 y 𝑈 𝑥𝑝𝑡 se determinan empleando las proporciones de material

•Volumétrico,

•Gravimétrico (precipitación volatización).

Aplicaciones

•Muestras adicionadas (sipiked simples),

Material de Referencia Certificado (MRC)

Material de Referencia (MR): Material suficientemente homogéneo y estable con

respecto a una o más propiedades especificadas, sobre el cual se ha establecido

que se ajusta a su uso previsto en un proceso de medición.

Material de Referencia Certificado (MRC): Material de Referencia (MR)

caracterizado por un proceso metrológicamente valido para una o mas propiedades

especificadas, acompañado de un certificado de MR que presenta el valor de la

propiedad especificada, su incertidumbre asociada y una declaración de la

trazabilidad metrológica.

Primero veamos algunas definiciones importantes:

Ahora veamos algunos ejemplos:

Ejemplo de MRC

Se presenta algunos apartados del certificado MR de un fertilizante triturado “Certified Reference

Material Fertilizer A High-analysis Compound Fertilizer”:

Tomado de

http://www.famic.go.jp/ffis/fert/obj/mihon_13ae.pdf

Valor de la propiedad

especificadaIncertidumbre de

medición asociada

Demostración de

homogeneidad

Declaración sobre

Trazabilidad

Determinación del valor asignado

Siguiendo la siguiente notación:

𝑋𝑀𝑅𝐶 = Valor de la propiedad especificada y,

𝑈 𝑋𝑀𝑅𝐶 = Incertidumbre expandida asociada a 𝑋𝑀𝑅𝐶,

Entonces el valor asignado y su incertidumbre de medición asociada son:

𝑥𝑝𝑡 = 𝑥𝑀𝑅𝐶

𝑈 𝑥𝑝𝑡 = 𝑈 𝑥𝑀𝑅𝐶

Ventajas y desventajas

Ventajas:

• Costoso proporcionar a cada

participante una unidad de MRC,

• Se puede comprometer la

conmutabilidad de los ítems de

ensayo (no coinciden los MRC con

los MR empleados rutinariamente por

los participantes),

• Existe la posibilidad que los

participantes conozcan el ítem de

ensayo y, por tanto, saber cual es el

valor asignado y su incertidumbre.

Desventajas:

• No se deben realizar estudios de

homogeneidad y estabilidad,

• El proveedor del MRC asegura

trazabilidad metrológica,

• El valor asignado y su incertidumbre

de medición estándar se obtienen

independientemente de los

resultados de los participantes.

Resultados de un laboratorio

¿Cuándo se debe emplear?

Antes de iniciar: Recordemos que “la obtención del valor asignado independiente de los

resultados de los participantes presenta ventajas” por eso se espera que el

“laboratorio” empleado para obtener el valor asignado 𝑥𝑝𝑡 y su incertidumbre de medición

𝑢 𝑥𝑝𝑡 “NO SEA UNO DE LOS PARTICIPANTES” del ensayo de aptitud.

Si existe un laboratorio que pueda aplicar un método de referencia conmutable a los

métodos empleados por el resto de laboratorios y con capacidades de medición

adecuadas,

1

Si la adquisición de MRC presenta inconvenientes que hacen imposible su uso en el

programa,2

Si el número de participantes o cualquier otra situación imposibilitan emplear los

resultados de los participantes3

Determinación del valor asignado

Cuando el Programa de Ensayos de Aptitud es secuencial (calibraciones), el valor asignado

𝑥𝑝𝑡 se puede determinar de la siguiente forma:

El promedio de los resultados de varias calibraciones realizadas durante la ronda y la

incertidumbre de la caracterización 𝑢𝑐ℎ𝑎𝑟 puede ser igual a la incertidumbre máxima o a la

combinación de las incertidumbres estimadas durante la ronda.

1

Los resultados de la calibración realizada antes de iniciar la ronda del ensayo de aptitud2

Nota: se debe comprobar que los resultados del valor asignado son compatibles

metrológicamente en cada periodo de calibración (diferencia entre resultados inferior a dos

veces la incertidumbre de esta diferencia).

Método estadístico

Si el Programa de Ensayos de Aptitud es simultaneo (ensayos) y se dispone de un MRC

con las mismas características del MR empleado en el programa, el valor asignado 𝑥𝑝𝑡 se

puede determinar de la siguiente forma:

Realizar una serie de mediciones en ítems de ensayo y el MRC empleando el mismo

método,1

El valor asignado será: 𝑥𝑝𝑡 = 𝑋𝑀𝑅𝐶 + 𝑑3

Determinar el promedio de las diferencias entre el promedio para el ítem de ensayo y el

MRC 𝑑,2

Incertidumbre de medición: 𝑢𝑐ℎ𝑎𝑟 = 𝑢𝑀𝑅𝐶2 + 𝑢 𝑑

24

Ventajas y desventajas

Desventajas:

• En algunos casos es imposible disponer de

un MRC con características semejantes a las

del MR empleado en el programa,

• Puede ser costoso o no disponer de

laboratorios que realicen mediciones

empleando el método de referencia

solicitado en el programa.

Ventajas:

• No se deben realizar estudios de

homogeneidad y estabilidad a los MR,

• Se puede asegurar la trazabilidad

metrológica del MR a través del MRC,

• El valor asignado y su incertidumbre de

medición estándar se obtienen

independientemente de los resultados de los

participantes.

Consenso de laboratorios expertos

¿Cómo se realiza?

Se espera que los “Laboratorios expertos” sean externos al grupo de laboratorios participantes para

que la determinación del valor asignado y su incertidumbre sean independientes de los participantes.

Se preparan los ítems de ensayo para distribuir entre los participantes1

Se seleccionan aleatoriamente algunos de los ítems2

Un grupo de laboratorios expertos lo analizan empleando un protocolo en el que se especifica las

cantidades de ítems de ensayo de aptitud, replicados y cualquier otra condición pertinente.

3

Determinación del valor asignado

Para determinar el valor asignado y su incertidumbre de medición se tienen en cuenta los siguientes

puntos de vista:

Si los laboratorios expertos reportan un resultado único sin incertidumbres de medición se debe

aplicar la metodología de Consenso por laboratorios participantes,

1

Si los laboratorios expertos reportan mas de un resultado sin incertidumbres se debe establecer un

método alternativo para determinar el valor asignado y su incertidumbre de medición (como el

método Q/Hampel),

2

Si los laboratorios expertos reportan incertidumbres de medición con los resultados la estimación

del valor por consenso se constituye un problema complejo se han sugerido algunas soluciones

como el promedio ponderado o promedios no ponderados, entre otros (ver CCQM Guidance Note:

Estimation of a Consensus KCRV and Associated Degrees of Equivalence. Version 10. Bureau International des Poids et Mesures,

Paris (2013)).

3

Ventajas y desventajas

Desventajas:

• Se deben realizar estudios de homogeneidad

y estabilidad a los MR,

• Se debe evaluar la trazabilidad metrológica

del MR a través del MRC,

• En algunos casos es complejo la estimación

del valor asignado y su incertidumbre de

medición,

• Se debe contar con suficientes recursos para

disponer de laboratorios expertos que

realicen las mediciones.

Ventajas:

• El valor asignado y su incertidumbre de

medición estándar se obtienen

independientemente de los resultados de los

participantes.

Consenso de laboratorios participantes

Algunas recomendaciones

El valor asignado y su incertidumbre de medición se estima a partir de los resultados reportados por los

participantes (o un subgrupo confiable de participantes) empleado en una ronda de programa de ensayo

de aptitud.

Emplear los métodos establecidos en el Anexo C de la norma,1

Tener en cuenta el número de participantes y la presencia de valores atípicos para la aplicación de

estos métodos. La mayor parte de los métodos funcionan adecuadamente con mínimo 12

participantes

2

Se pueden emplear otras metodologías siempre y cuando cuenten con una base estadística solida.3

Determinación del valor asignado

A continuación se presenta la forma de estimación del valor asignado y su incertidumbre de medición

asociada:

𝑥𝑝𝑡 = 𝑥∗

Donde 𝑥∗ representa el promedio robusto obtenido con cualquiera de los algoritmos dados en el

Anexo C.2, C.3 y C.5 de la norma ISO 13528:2015.

𝑢 𝑥𝑝𝑡 = 1.25 ×𝑠∗

𝑝

Donde 𝑠∗ representa la desviación estándar robusta de los resultados reportados por los participantes.

Ventajas y desventajas

Desventajas:

• Puede no existir acuerdo entre los

participantes,

• Puede existir sesgo debido al uso general de

metodología defectuosa o en los métodos

que se emplean para determinar el valor

asignado,

• Se deben realizar estudios de homogeneidad

y/o estabilidad,

• Se debe evaluar la trazabilidad metrológica,

• El valor asignado y su incertidumbre de

medición estándar NO se obtienen

independientemente de los resultados de los

participantes.

Ventajas:

• No se requieren mediciones adicionales para

obtener el valor asignado,

• El enfoque puede ser especialmente útil con

un mensurando normalizado,

• El promedio robusto incluye cualquier sesgo

debido a la inestabilidad por el transporte en

el ítem de ensayo,

• La incertidumbre incluye cualquier

variabilidad debida a la inestabilidad del

transporte.

Trazabilidad

Para garantizar la trazabilidad del valor asignado se podría emplear un grupo

de laboratorios participantes sobre los que se tiene información completa de los

patrones de calibración (fuente de trazabilidad igual) y tienen control de otras

condiciones de método pertinentes.

Comparación con un valor de referencia independiente

Se determina la diferencia entre el valor asignado y un valor de referencia independiente:

𝑥𝑑𝑖𝑓𝑓 = 𝑥𝑟𝑒𝑓 − 𝑥𝑝𝑡

Y su incertidumbre de medición

𝑢𝑑𝑖𝑓𝑓 = 𝑢2 𝑥𝑟𝑒𝑓 + 𝑢2 𝑥𝑝𝑡

Si 𝑥𝑑𝑖𝑓𝑓 ≤ 2𝑢𝑑𝑖𝑓𝑓 entonces pueden existir sesgo debido al método de medición de referencia o

debido al método de estimación del valor asignado, o la trazabilidad metrológica del valor asignado

no es la misma que la del valor de referencia.

Criterios para la

evaluación del desempeñoSelección y determinación de criterios de

comparación del error de medición del participante

Conceptos básicos

La diferencia entre el resultado de un participante 𝑥𝑖 y del valor asignado 𝑥𝑝𝑡 se compara

con un valor máximo permitido para esta diferencia. Este valor máximo permitido puede

ser:

Desviación estándar para la evaluación de aptitud: Medida de la dispersión utilizada

en la evaluación de resultados de ensayos de aptitud. Simbolizada por 𝜎𝑝𝑡.

Error máximo permitido: Valor extremo del error de medición, con respecto a un valor

de cantidad de referencia conocido, permitido por especificaciones o regulaciones para

una medición determinada, un instrumento de medición o sistema de medición.

Simbolizado por 𝛿𝐸

Como alternativa, se puede comparar dicha referencia con la incertidumbre combinada

del participante y del valor asignado.

Métodos para determinar el criterio de evaluación

Método Calculo Fuente

Por percepción de expertos Obtenido de documentos. Por lo general 𝛿𝐸 se

obtiene de esa forma.

Autoridad reglamentaria, organismos de

acreditación, expertos

Por experiencia de rondas previas Por ejemplo modelos de regresión lineal simple:

𝜎𝑝𝑡 = 𝛽0 + 𝛽1𝑥𝑝𝑡

Algoritmo S

Rondas de ensayos de aptitud anteriores

Mediante el uso de un modelo

general

Modelo general para reproducibilidad del método

como la Curva de Horwitz

Se basa en información de estudios

colaborativos realizados en un periodo

extenso.

Métodos para determinar el criterio de evaluación

Método Calculo Fuente

Uso de las desviaciones estándar

de reproducibilidad y repetibilidad

de estudios colaborativos

anteriores

𝜎𝑅 = 𝜎𝑅2 − 𝜎𝑟

2(1 − 1 𝑚)

Donde 𝑚 = número de mediciones replicadas por

participante en la ronda

Se basa en información de estudios

colaborativos realizados en un periodo

extenso.

De datos obtenidos de la misma

ronda

Algoritmo A, Método Q/Hampel, Mediana/nIQR

(MADe), 𝑥/𝑠Resultados obtenidos en la misma ronda

Nota: El ultimo método presenta más desventajas que ventajas por lo que no se recomienda su

aplicación a menos que sea absolutamente necesario.

Estadísticas de

desempeñoDeterminación de los indicadores de desempeño y

su interpretación

Límitación de la incertidumbre de medición

Se debe cumplir el siguiente criterio:

𝑢 𝑥𝑝𝑡 ≤ 0.3𝜎𝑝𝑡 o 𝑢 𝑥𝑝𝑡 ≤ 0.1𝛿𝐸

Sino se cumple este criterio se debe:

• Determinar el valor asignado y su incertidumbre de medición con otra metodología,

• Emplear indicadores de desempeño que incluyan la incertidumbre del valor asignado en

su interpretación (𝑧´, 휁 y 𝐸𝑛).• Informar a los participantes que 𝑢(𝑥𝑝𝑡) no es despreciable.

• Si es necesario determinar valores asignados por cada método de medición.

Estadísticas de desempeño

Indicador Fórmula Criterio

Estimados de la desviación 𝐷𝑖 = 𝑥𝑖 − 𝑥𝑝𝑡

𝐷𝑖% = 100 𝑥𝑖 − 𝑥𝑝𝑡 𝑥𝑝𝑡 %

Satisfactorio: 𝐷𝑖 < 𝛿𝐸

No satisfactorio: 𝐷𝑖 ≥ 𝛿𝐸

Porcentaje de desviación

permitida

𝑃𝐴𝑖 = 𝐷𝑖 𝛿𝐸 × 100% Satisfactorio: 𝑃𝐴𝑖 < 100%No satisfactorio: 𝑃𝐴𝑖 ≥ 100%

Indicador z 𝑧𝑖 =𝑥𝑖 − 𝑥𝑝𝑡

𝜎𝑝𝑡

Aceptable: 𝑧 < 2.0Señal de advertencia: 2.0 ≤ 𝑧 < 3.0Inaceptable: 𝑧 ≥ 3.0

Estadísticas de desempeño

Método Calculo Fuente

Indicadores 𝑧´ 𝑧𝑖′ =

𝑥𝑖 − 𝑥𝑝𝑡

𝜎𝑝𝑡2 + 𝑢2 𝑥𝑝𝑡

Aceptable: 𝑧´ < 2.0Señal de advertencia: 2.0 ≤ 𝑧´ < 3.0Inaceptable: 𝑧´ ≥ 3.0

Indicadores zeta (휁) 휁𝑖 =𝑥𝑖 − 𝑥𝑝𝑡

𝑢2 𝑥𝑖 + 𝑢2 𝑥𝑝𝑡

Aceptable: 휁 < 2.0Señal de advertencia: 2.0 ≤ 휁 < 3.0Inaceptable: 휁 ≥ 3.0

Indicadores 𝐸𝑛 𝐸𝑛 𝑖 =𝑥𝑖 − 𝑥𝑝𝑡

𝑈2 𝑥𝑖 + 𝑈2 𝑥𝑝𝑡

Satisfactorio: 𝐸𝑛 < 1.0No satisfactorio: 𝐸𝑛 ≤ 1.0

Evaluación de la incertidumbre de los participantes

Si se cumple el criterio de la diapositiva 42 (𝑢 𝑥𝑝𝑡 ≤ 0.3𝜎𝑝𝑡) entonces existe una alta

probabilidad de que:

𝑢 𝑥𝑖 ≥ 𝑢 𝑥𝑝𝑡

Adicionalmente, si se puede determinar la desviación estándar robusta para la evaluación

de aptitud existe alta probabilidad de que:

𝑢 𝑥𝑖 ≤ 1.5𝑠∗

Sin embargo, sino se cumplen estos criterios no se puede invalidar la incertidumbre de

medición del participante.

Métodos gráficos para los

indicadores de desempeño

Gráficas para la presentación de los indicadores

de desempeño

Gráficas para presentar indicadores

Entre las gráficas principales se tienen:

• Histograma de resultados o indicadores de desempeño,

• Gráficas de densidad de Kernel,

• Gráficas de barras de indicadores de desempeño

normalizado,

• Gráfica de Youden.

Histograma

Histograma

Histograma

Gracias