Elaboracin de preguntas para elExamen Mdico Nacional

2005

Material de apoyo para el taller del proyecto MECESUP 0410

3

3El presente material de apoyo para el Taller de elaboracin de preguntas para el Examen Mdico Nacional ha sido elaborado por el Grupo de Capacitacin, parte del proyecto MECESUP PUC 0410. En el proyecto participan todas las escuelas de medicina pertenecientes a ASOFAMECh.

Para recopilar la informacin, se revisaron los materiales utilizadosen las diferentes universidades en sus talleres locales. Estos se some-tieron al anlisis del grupo para homogeneizar los temas y la profun-didad requerida para efectos de la capacitacin general.

Este material pretende presentar en forma simple los aspectos ms relevantes relacionados con la elaboracin de preguntas de opcin mltiple que trataremos en forma prctica durante el taller.

El grupo de capacitacin del proyecto est conformado por

Pedro Herskovic L. (coordinador del grupo)Flavia Garbin A.Vernica Hering S.Pilar Ibez G.Luis Nez P.Elsa Rugiero P.Ana Wright N.

4 5

PROGRAMA DEL TALLER

PropsitoCapacitar a los docentes que elaborarn preguntas para el Examen Mdico Nacional (EMN), dis-minuyendo significativamente el rechazo de estas en los comits tcnicos.

Objetivos1. Valorar la importancia del proceso de evaluacin.2. Elaborar preguntas que cumplan los criterios para el EMN.3. Analizar crticamente preguntas elaboradas con los criterios para el EMN.

Contenidos1. Conceptos de evaluacin.2. Perfil de Conocimientos Comunes del egresado de ASOFAMECh.3. Caractersticas tcnicas de las preguntas de opcin mltiple.4. Anlisis tcnico de las preguntas.

Actividades1. Presentacin de aspectos tericos generales.2. Anlisis grupal de preguntas.3. Elaboracin de preguntas por los participantes.4. Anlisis tcnico de las preguntas de los participantes.

CalendarioSesin 109:00 a 09:15 Introduccin al curso09:15 a 10:00 Presentacin Elaboracin de preguntas para el EMN10:00 a 10:30 Caf10:30 a 12:00 Anlisis de preguntas conducido por los docentes

Sesin 209:00 a 09:15 Organizacin del trabajo de la sesin.09:15 a 10:00 Presentacin de preguntas por los participantes I10:00 a 10:30 Caf10:30 a 11:45 Presentacin de preguntas por los participantes II11:45 a 12:00 Clausura

4 5

CONTENIDOS DEL TALLER

Conceptos generales de evaluacin1. Definicin2. Propsitos de la evaluacin3. Propiedades de un buen instrumento de evaluacin

Perfiles comunes del egresado (ASOFAMECH)1. Descripcin de perfiles2. Origen y manejo de los perfiles

Caractersticas tcnicas de las preguntas de opcin mltiple:1. Propiedades generales de las preguntas2. Propiedades del enunciado3. Propiedades de las opciones4. Errores ms comunes5. Niveles del rea cognoscitiva6. Anlisis tcnico de las preguntas7. Pauta para evaluar preguntas de opcin mltiple

6 7

INTRODUCCIN

La evaluacin es un proceso continuo, que forma parte del proceso educativo y consiste en recolectar informacin, mediante instrumentos, analizarla y emitir un juicio valorativo, para entregar informacin til para la toma de decisiones.

Segn P. Dressel, las universidades tienen una especial obligacin con sus estudiantes y con la so-ciedad y deben constituir un ejemplo del mejor modelo posible, para tomar las decisiones acerca del uso eficiente de los recursos disponibles, a fin de lograr las metas deseadas.

Ensear es un asunto pblico y tomamos todo tipo de retroalimentaciones buscando saber qu tan bien o qu tan mal enseamos, an sin buscar deliberadamente el feedback. Las expresiones faciales de los alumnos, la atencin a la clase y el nivel de desempeo, todo nos ayuda a ajustar nuestras tcnicas de enseanza. Sin embargo, evaluar tiende a ser un asunto ntimo, privado y es raro que alguien mire sobre nuestros hombros cuando diseamos o implementamos los instrumentos.

Dada la importancia de la evaluacin, es probablemente el aspecto de nuestra actividad docente que debera ser ms cuidadosamente supervisado. Examinadores externos y expertos pueden contribuir a mejorar el proceso de evaluar an cuando la responsabilidad principal de la evaluacin contine recayendo en el profesor.

Cualquier proceso de evaluacin tiene pocas posibilidades de ser efectivo si aquellos comprometidos en l, as como los que toman la decisin ltima (y estas pueden ser personas diferentes de los evaluadores), no tienen una comprensin cabal de los procedimientos utilizados, de los datos recogidos y de sus impli-

cancias. Esta es la nica va para aumentar la probabilidad de una efectiva utilizacin de la evaluacin.

6 7

CONCEPTOS GENERALES DE EVALUACION

DefinicinProceso dinmico y continuo, que forma parte del proceso educativo y que consiste en re-colectar datos, mediante instrumentos, analizarlos, emitir un juicio valorativo, para entregar informacin til para la toma de decisiones.

Objetivos Determinar logros Medir el avance en el tiempo Categorizar a los alumnos Diagnsticar dificultades Evaluar mtodos de enseanza Poner calificaciones Promover o reprobar Evaluar la efectividad de un proceso de enseanza-aprendizaje

Validez Congruencia con los objetivos propuestos en el programa Mide lo que se supone debe medir. La validez de contenido corresponde a una muestra representativa del conjunto de objetivos del programa

Objetividad Distintos evaluadores obtienen el mismo resultado en la evaluacin de un alumno. Existe consenso de pares en lo que se considera correcto.

Confiabilidad La informacin recogida es segura y estable. Los resultados obtenidos se repiten al aplicar el mismo instrumento a los mismos alumnos en distintas oportunidades.

8 9

PERFIL DE CONOCIMIENTOS COMUNESDEL EGRESADO DE MEDICINA ASOFAMECh

Todas las Facultades de Medicina pertenecientes a ASOFAMECh deben aportar preguntas de op-cin mltiple para el EMN, por tanto, es necesario tener algunos planteamientos comunes con el objeto de facilitar la confeccin del examen final.

Para iniciar la elaboracin de las preguntas es necesario considerar algunos aspectos importantes: Qu contenidos de mi especialidad incluir? Qu objetivos debo considerar? A qu nivel sern evaluados los objetivos?

Para responder estas interrogantes le sugerimos que revise el Perfil de Conocimientos Comunes, en l encontrar los temas y el nivel requerido en cada caso. Este perfil corres-ponde a un consenso de compe-tencias y contenidos comunes a todas las facultades y ser peridicamente revisado de acuerdo a eventuales cambios epidemiolgicos y curriculares.

Los objetivos que se evaluarn con el EMN son solamente del rea cognoscitiva.

Descripcin de perfiles Se establecen por consenso de todas las facultades pertenecientes a ASOFAMECh Son pblicos y estn disponibles en el sitio oficial del examen: www.emn.cl Estn en permanente revisin y actualizacin

Considerando los conceptos generales de evaluacin y los perfiles comunes por especialidad, tenemos una buena base para elaborar preguntas de opcin mltiple para el EMN y contribuir al logro de los objetivos del EMN.

Objetivos del Examen Mdico Nacional

Aportar a la sociedad una forma objetiva de comparar conocimientos de los mdicos que inician su ejercicio profesional en Chile Entregar informacin objetiva a las escuelas de medicina respecto a los conocimientos finales de sus egresados, con el fin de corregir eventuales falencias en reas funda- mentales

8 9

Situacin clnica Sospec

hadiagn

stica

(Diagn

sticosin

drom

tico

)

Diagn

stic

oespe

cfico

(incluy

eestudio)

Inicialy

derivacin

Com

pleto

Segu

imientoyco

ntro

l

(Marque slo una) (Marque slo una)

El siguiente ejemplo corresponde a una de las pginas de la especialidad de cardiologa, que a su vez es una de las 21 especialidades que componen el Perfil de Conocimientos Comunes.

10 11

CARACTERISTICAS TECNICASDE LAS PREGUNTAS DE OPCION MULTIPLE

Hacer buenas preguntas de opcin mltiple es posible. Se requiere tiempo, conocer los obje-tivos a evaluar y los estndares tcnicos de su elaboracin

El tipo de preguntas opcin mltiple permite evaluar informacin asimilada, comprensin de conceptos, aplicacin de principios y habilidad para interpretar datos, y en general para evaluar la habili-dad de razonamiento, juicio y discriminacin.

Deben estar directamente relacionadas con el contenido y nivel de profundidad del objetivo del programa.

Este tipo de tem consta de un enunciado y de varias opciones, cuya forma de presentacin puede variar: una oracin seguida de cinco opciones una pregunta directa seguida de cinco opciones un caso clnico (vieta) seguido de cinco opciones

En todos los casos, el tem o pregunta debe implicar una idea completa.

Al construir el enunciado, hay que tener en cuenta que este: Debe ser elaborado en forma tal que para su respuesta se requiera razonamiento y espritu crtico, ms que el simple recuerdo de informacin. Debe contener todos los elementos necesarios, excepto el que figura en las opciones. Debe ser breve, sin nada superfluo, redactado en orden lgico. Debe ser concordante con las opciones. Debe poder responderse sin leer las alternativas. No debe incluir trminos negativos como excepto o falso.

En cuanto a las opciones, estas pueden seguir dos modalidades: Slo una es totalmente correcta y las restantes son incorrectas. Se pide escoger la correcta. Slo una es la que mejor responde al enunciado; las restantes son tambin correctas,

pero en menor grado. Se pide escoger la mejor opcin.

Las opciones (cinco para todas las preguntas del EMN) deben ser: Homogneas en forma y contenido, verosmiles, jams absurdas, ilgicas o contradictorias entre s. Concordantes gramatical y conceptualmente con el enunciado. De extensin similar. No usar todas, ninguna de las anteriores o las combinaciones de opciones, como a y c, b y e, etc. Las opciones o distractores no deben dar pistas. Las palabras que se repiten en las opciones deben estar en el enunciado. No usar trminos ambiguos (casi siempre, generalmente, rara vez). No usar trminos absolutos (siempre, nunca). Cuando se trata de cifras se deben ordenar en forma lgica (descendente o ascendente). Al referirse a rangos, verificar que una misma cifra no est incluida en ms de una opcin. Una de las opciones debe ser en forma inequvoca la correcta y todos los pares deben estar de acuerdo.

10 11

Recuerde:

Las preguntas o ejercicios de una prueba objetiva deben ser:Simples. Dentro de la complejidad del conocimiento que se desea evaluar, las preguntas deben formu-larse del modo ms sencillo y directo posible.Precisas y claras. Sin ambigedades, ni trminos confusos o abreviaturas desconocidas para los estu-diantes.Significativas. Una muestra representativa del contenido de las materias tratadas.

ERRORES FRECUENTESEN LAS PREGUNTAS RECIBIDAS EN EL EMN

Entre parntesis se indica el porcentaje de las preguntas que presentan ese defecto, de entre las re-chazadas por los comits del EMN durante el ao 2004.

Fuera de perfil (38%) Ambigedad (25 - 32 %) Sin enunciado (24 %) Enunciado incompleto (11 %) Enunciado negativo (4 %) Alternativas orientan la respuesta (20 %) Inconsistencia entre enunciado y opciones (19 %) Dificultad irrelevante (17 %) Utilizacin de ninguna de las anteriores o combinaciones de opciones (8 %)

VENTAJAS Y DESVENTAJASDE LAS PREGUNTAS DE OPCION MULTIPLE

Ventajas Permite evaluar el logro de un gran nmero de objetivos educacionales. Ahorra tiempo y energa del staff: Con lectores pticos, es posible corregir gran cantidad de exmenes (costo efectividad) y evitar el tedio y la subjetividad que afectan la correccin de exmenes tradicionales. Bien elaboradas evalan habilidades de niveles altos.

Desventajas Los estudiantes pueden elegir al azar la opcin que consideran correcta.

Disear buenas preguntas requiere de tiempo y capacitacin.

12 13

NIVELES DEL AREA COGNOSCITIVA

(CLASIFICACION DE BLOOM)

Conocimiento: Implica el recuerdo o memorizacin de elementos especficos en un rea de conteni-dos. Incluye: definir, nombrar, hacer listar, identificar, reconocer.

Comprensin: Exige que el estudiante interprete lo que se trasmite en una comunicacin y que pu-eda hacer uso de las ideas que contiene. Incluye: explicar, describir, relacionar, dar ejemplos, resumir, comparar.

Aplicacin: Corresponde al uso de abstracciones (principios tcnicos, ideas, teoras) en situaciones particulares y concretas que son nuevas para el alumno. Incluye: resolver, interpretar, aplicar, dem-ostrar.

Anlisis: Corresponde a la capacidad de identificar los elementos, sus relaciones y los principios orga-nizadores de una situacin determinada. Incluye: analizar, diferenciar, categorizar, distinguir.

Sntesis: Implica la capacidad de reunir elementos dispersos para formar un todo nuevo que consti-tuye un patrn o estructura no definida antes. Incluye: planificar, generar, proponer, disear, organi-zar.

Evaluacin: Implica la formulacin de juicios sobre el valor de materiales, ideas y mtodos de acu-

erdo con criterios personales o sugeridos. Incluye: evaluar, juzgar, valorar, jerarquizar, estimar.

12 13

PAUTA PARA LA ELABORACIONDE PREGUNTAS DE OPCION MULTIPLE

Respecto de la pregunta

1.- La pregunta est directamente relacionada con el contenido. 2.- El nivel de profundidad de la pregunta corresponde al perfil. 3.- La pregunta tiene relacin con el nivel expresado en el perfil. 4.- Si usa abreviaturas stas son de dominio de los estudiantes. 5.- No hace uso de negaciones. 6.- El enunciado y las opciones de respuesta estn expresadas en forma positiva o afirmativa, sin usar los trminos: nunca, siempre, generalmente, a veces, mucho, todos. 7.- Hay concordancia gramatical entre el enunciado y cada una de las opciones. 8.- La pregunta cumple con las reglas de gramtica, ortografa y puntuacin.

El enunciado ...

9.- est formulado en forma clara, ya sea como pregunta o como frase por completar. 10.- contiene una sola idea expresada en forma completa para evitar interpretaciones. 11.- contiene como mximo 130 palabras. 12.- si es un caso clnico, entrega todos los antecedentes en forma clara y concisa. 13.- presenta slo informacin que es necesaria para la respuesta. 14.- cuando pide identificar la opcin ms correcta, ms adecuada o mejor, esto est sealado en forma destacada (mayscula o negrita). 15.- no ocupa los trminos no, excepto o falso.

Respecto de las opciones

16.- Las opciones de respuesta tienen aproximadamente la misma extensin, precisin y complejidad. 17.- Los distractores parecen tan aceptables como la respuesta correcta (verosmiles) y son igualmente atractivos. 18.- No usa las opciones de respuesta Todas las anteriores o Ninguna de las anteriores. 19.- Las opciones de respuesta estn presentadas en forma ordenada, siguiendo un criterio lgico, o bien, en el caso de nmeros, un orden creciente o decreciente. 20.- Las palabras repetidas en todas las opciones forman parte del enunciado. 21.- Una de las opciones de respuesta es en forma inequvoca la correcta y en ello estn de acuerdo todos los docentes.

14

INSTRUCCIONES PARA LA SEGUNDA SESION DEL TALLER

Elaborar dos preguntas de opcin mltiple correspondientes a su especialidad. Estas debern estar de acuerdo con el Perfil de Conocimientos Comunes y cumplir con las caractersticas tcnicas discutidas en la primera sesin. Las preguntas debern estar en formato Word o Power Point.

Si al finalizar la lectura de este material, an persisten algunas dudas, esperamos poder aclararlas con el trabajo prctico durante la segunda sesin del taller.

Los esperamos.