TALLER PARA LA CONSTRUCCIÓN DE UN TEST

Germán Solís UribeJulio 2013

CONSIDERACIONES TECNICAS AL

CONSTRUIR UN TEST

ESTANDARIZADOConstruir un examen implica una metodología que se basa en un modelo secuencial en el que los productos de una fase se convierten en los insumos de la siguiente.  El modelo considera diversas acciones de verificación técnica en cada una de las fases con el objetivo de ofrecer productos de alta calidad. El modelo se compone de las siguientes fases:  I. DiseñoII. ConstrucciónIII. VerificaciónIV. EnsambleV. AplicaciónVI. CalificaciónVII. ReportesVIII. Mantenimiento

Garantizar la utilidad de los indicadores • Los indicadores producidos deben apoyar la toma de decisiones para los grupos de interés: deben permitir hacer comparaciones y establecer referentes para diversas agrupaciones.

Garantizar la confiabilidad y la continuidad de los indicadores • La evaluación se debe enfocar en los elementos fundamentales que no son susceptibles de variar en el corto plazo.

EL PROCESO DE DISEÑO DE UNA

PRUEBA

Fundamentación conceptual

Especificaciones de prueba

Desarrollo de Pruebas

Aplicación

Pilotaje

Escalas de Calificación

Producción y divulgación

de resultados

Análisis de ítems, de

prueba y de evaluados

ELABORACIÓN DEÍTEMS

Fundamentación conceptual

Especificaciones de prueba

Desarrollo de Pruebas

Aplicación

Pilotaje

Escalas de Calificación

Producción y divulgación

de resultados

Análisis de ítems, de

prueba y de evaluados

ELABORACIÓN DEÍTEMS

FUENTE: Pardo, C. (1998). El diseño de pruebas para los Exámenes de Estado: un proceso de investigación permanente. Bogotá: ICFES.

FUNDAMENTACIÓN CONCEPTUALEs la fase en la cual se aborda conceptualmente el objeto de evaluación y, en general, se desarrollan, desde una perspectiva teórica, los elementos contextuales, legales, disciplinares, metodológicos, etc., que darán sustento y significado al proceso de evaluación. Entre los elementos que hacen parte de la elaboración conceptual están:

 • El propósito de la evaluación (¿para qué la evaluación?)• El objeto de evaluación (¿qué se evalúa?)• Las características de la población objetivo (¿a quién se evalúa?)• Los usuarios de la evaluación (¿a quién le será útil la evaluación y de

qué manera?) 

En esta etapa, como en la mayoría de las subsiguientes, el trabajo interdisciplinario y el concurso de expertos se hace imprescindible para lograr productos de excelente calidad. Tratándose del diseño de instrumentos de evaluación educativa es usual contar con expertos en aspectos relacionados con el objeto de evaluación (tanto en lo relacionado con cognición humana

FUENTE: Rocha M. y Pardo C. (2005) Diseño de Pruebas de Evaluación Educativa

ESPECIFICACIONES DE PRUEBA

Descripción detallada de las características del instrumento, la cual incluye, por una parte, una desagregación del objeto de evaluación en dimensiones o categorías susceptibles de ser evaluadas, conforme a su conceptualización previa, y, por otra, la delimitación de especificidades técnicas del instrumento, tales como longitud y formatos de ítems que van a ser usados. Estos dos elementos se conocen, respectivamente, como ESTRUCTURA DE PRUEBA y ESPECIFACIONES PSICOMÉTRICAS.

 .

FUENTE: Rocha M. y Pardo C. (2005) Diseño de Pruebas de Evaluación Educativa

 La estructura de prueba es una matriz que representa la integración de las distintas dimensiones del objeto de evaluación que se desea medir.

Las dimensiones son categorizadas de distinta forma de acuerdo con el enfoque teórico que se haya elegido.

FUENTE: Rocha M. y Pardo C. (2005) Diseño de Pruebas de Evaluación Educativa

1 2 3 %

A 10%B 20%C 30%D 40%

% 20% 35% 45% 100%

2 Ejes

Areas y subáreas

Desempeños

• En las especificaciones psicométricas se debe clarificar el número de ítems que tendrá el instrumento en su totalidad y en sus celdas (es posible que algunas celdas no quieran o no puedan ser evaluadas con el instrumento)

• Se define el o los formatos de ítems que serán incluidos y sus respectivas instrucciones de respuesta

• Se especifica, la distribución de los ítems en la prueba (si se organizarán en bloques o secciones de acuerdo con algún criterio de contenido, de forma, de organización logística, etc.)

• El tiempo del cual dispondrán los evaluados para responder la prueba -y sus partes, si es pertinente aclararlo- y todos los demás lineamientos que aseguren una adecuada conformación o ensamblaje del instrumento y que contribuyan a clarificar las condiciones en las cuales debe realizarse la aplicación.

FUENTE: Rocha M. y Pardo C. (2005) Diseño de Pruebas de Evaluación Educativa

¿Cómo construir la estructura?

• IDENTIFICAR LOS EJES TEMÁTICOS O UNIDADES DE ANALISIS DE LA EVALUACIÓN

• ELABORAR UNA MATRIZ DE DOBLE ENTRADA (OBJETIVOS EN FILAS) Y (EJES TEMATICOS EN COLUMNAS)

• DISTRIBUIR EL 100% QUE CORRESPONDE A LA PRUEBA COMO TOTALIDAD EN (%) PARCIALES POR OBJETIVO Y POR EJE TEMÁTICO.

• HACER UNA DISTRIBUCIÓN PROPORCIONAL DE LA CANTIDAD DE ÍTEMS A PARTIR DE LOS (%) ASIGNADOS EN CADA CELDA.

• IDENTIFICAR EL TIPO Ó TIPOS DE ÍTEMS ADECUADOS PARA MEDIR EN CADA CELDA.

 1. Las especificaciones usadas en la construcción de items deberán describirse con claridad. Cuando, por razones de seguridad, no se puedan proporcionar ejemplares de los exámenes para inspección, se dará información descriptiva que incluirá un ítem representativo de cada categoría mayor de la clasificación o definición de dominio. Cuando el grado de dificultad sea una dimensión de dicha clasificación se deberán presentar items representativos de los niveles de dificultad. (Equivalente APA 3.2; AERA 1999,3.3) 2. Los reactivos serán redactados, con base en las especificaciones, por personal académico que tenga el perfil adecuado y haya sido previamente capacitado para la tarea. 

Estándares relativos a la elaboración y prueba de reactivos

  3. Los reactivos serán revisados en su contenido, y en lo relativo al respeto de las especificaciones establecidas, por personal diferente de los redactores. (Relacionado conAERA 1999, 3.5) 4. Los reactivos serán piloteados en campo sometiéndolos a análisis de grado de dificultad y capacidad de discriminación. Para que sean incorporados a las versiones operativas de las pruebas, los reactivos deberán satisfacer al menos los niveles mínimos generalmente aceptados en los manuales especializados. Los items que no alcancen esos niveles se desecharán o se corregirán hasta que los cumplan. Progresivamente se harán análisis de ajuste, distractores y posibles sesgos. (Relacionado con AERA 1999, 3.9)