Diseño y aplicación de rúbricas OnLine : Herramientas que facilitan la evaluación

95
Diseño y aplicación de rúbricas OnLine: Herramientas que facilitan la evaluación Dra. Ingrid Kirschning

description

Diseño y aplicación de rúbricas OnLine : Herramientas que facilitan la evaluación Dra. Ingrid Kirschning. Evaluación. En el quehacer académico continuamente se realizan evaluaciones y auto-evaluaciones: Para acreditar programas e instituciones Para revisiones curriculares, etc. - PowerPoint PPT Presentation

Transcript of Diseño y aplicación de rúbricas OnLine : Herramientas que facilitan la evaluación

Page 1: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Diseño y aplicación de rúbricas OnLine:

Herramientas que facilitan la evaluación

Dra. Ingrid Kirschning

Page 2: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

EvaluaciónEn el quehacer académico continuamente se realizan evaluaciones y auto-evaluaciones:• Para acreditar programas e instituciones• Para revisiones curriculares, etc.

Se evalúan (principalmente):• Estudiantes• Programas académicos• Procesos, etc.

Page 3: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Evaluación de programas académicos• Es un proceso continuo diseñado para monitorear y

mejorar el aprendizaje del estudiante.• La facultad debe:– Definir explícitamente las metas– Verificar que el programa esté enfocado a facilitar su

adquisición / desarrollo– Desarrollar un plan de evaluación significativo, manejable y

sostenible.– Recolectar evidencias– Evaluar esta evidencia y sacar conclusiones– Usar estos resultados para mejorar el proceso enseñanza-

aprendizaje (cerrando el ciclo)

Page 4: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Evaluando la Evidencia• Por lo general esta evaluación

involucra juicios subjetivos, relacionados a productos o conductas complejos. (ensayos, prácticas de laboratorio, etc.)

• Las rúbricas proporcionan los criterios para guiar estos juicios subjetivos, para determinar si se cumplen de manera satisfactoria o no.

Page 5: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

¿Qué son las Rúbricas?

Page 6: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Rúbricas• Las rúbricas proporcionan los criterios para evaluar

algo. • Pueden ser usadas en el ámbito académico para

evaluar casi cualquier producto o conducta: – ensayos, – reportes de investigación, – portafolios, – obras de arte, – recitales, – presentaciones orales, – actuaciones y – actividades por equipos.

Page 7: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Rúbricas• Las rúbricas pueden ser usadas para que – el estudiantes entienda los que se espera de él, – proveer retroalimentación formativa, – calificar a estudiantes,– evaluar cursos y programas, etc.

• Pueden ser autoevaluaciones o pueden ser realizados por otros: – los maestros, otros estudiantes, supervisores de trabajo de

campo, y revisores externos.

Page 8: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Tipos de RúbricasExisten dos tipos o grupos de rúbricas:• Rúbrica holística:– una rúbrica global, da una calificación holística

para un producto o conducta• Rúbrica analítica:– Varios criterios separadas, que se califican un

producto o conducta en torno a una meta general.

Page 9: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Una rúbrica útil• Cuando los resultados que arroja

me permiten tomar decisiones.• Los criterios deben estar

claramente definidos, sin ambigüedades.

• Debe estar alienada a la misión o meta establecida.

• Los niveles deben ser suficientes para clasificar

Page 10: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Ejemplo de Rúbrica (extracto) Comunicación escrita: la escritura es clara, 

completa y eficaz. Nivel 4  Nivel 3 Nivel 2  Nivel 1

Formu- lación de 

tesis

La declaración de tesis es clara, estrechamente relacionada con el desarrollo del ensayo, y muestra complejidad.

La declaración de tesis es bastante clara, completa y relacionada con el desarrollo del ensayo.

La declaración de tesis es vaga, poco clara, confusa o sólo tenuemente relacionada con la tarea de escritura.

La declaración de tesis no aparece o no tiene relación con el desarrollo del ensayo.

Page 11: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Las rúbricas tienen muchas fortalezas

• Productos o conductas complejos pueden ser examinados eficientemente.

• Desarrollar una rúbrica ayuda a definir con precisión las expectativas de la facultad.

• Revisores aplican los mismos criterios y estándares.• Las rúbricas se refieren a criterios, más que a una norma: • La pregunta es:

– “¿cumple el estudiante con el criterio en un nivel X de la rúbrica?”

– y no “¿qué tan bien trabaja un estudiante comparado con otro?”.

Page 12: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Los cuatro niveles típicos de una rúbrica

1. Malo. El nivel de entendimiento demostrado claramente no reúne las expectativas. Las ideas principales pueden haber sido omitidas, imprecisas, o irrelevantes para el trabajo.

2. Necesidad de mejora. El estudiante demuestra cierto nivel básico de entendimiento; el estudiante podría no desarrollar ideas completas o podría usar conceptos incorrectamente.

Page 13: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Los cuatro niveles típicos de una rúbrica

3. Reúne las expectativas. El estudiante reúne nuestras expectativas, desempeña un nivel aceptable, demuestra un buen entendimiento, etc.

4. Excede las expectativas. El estudiante excede nuestras expectativas, demuestra un nivel sofisticado, identifica matices sutiles, desarrolla ideas frescas, ideas integradas en formas creativas, etc.

Page 14: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Etiquetas usadas por categoríaNivel mas bajo:

Nivel Mínimo Nivel Pasable Nivel máximo:

No reúne las Expectativas

Necesita Mejorar

Reúne las Expectativas

Excede las Expectativas

Abajo de las Expectativas

En desarrollo Aceptable Ejemplar

Novato Aprendiz Competente Experto

Emergente En desarrollo Competente Con visión

Abajo de lo básico

Básico Competente Avanzado

Page 15: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Creando una Rúbrica1. Se puede adaptar una rúbrica ya existente.2. Método analítico: se recomienda crear un

grupo de trabajo que tiene experiencia con el diseño de competencias y la impartición de cursos para facilitar/fomentar las mismas.

Pregunta para diseñar la rúbrica:Por cada competencia o meta: ¿Cuáles son las características que distinguen al estudiante que tiene un desempeño aceptable del que no?

Page 16: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Evaluar vs. Calificar• Esto puede causar confusión… pero:• Las rúbricas para calificar pueden

incluir criterios que no están relacionados con los objetivos de aprendizaje del curso. (Estos serán ignorados en una evaluación)

• Calificar requiere más precisión que la evaluación.• Calificar resulta en un puntaje o calificación; las

rúbricas analíticas resultan en múltiples puntajes que son examinados por separado.

Page 17: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Ejemplo: vamos a crear una rúbrica

• Esta rúbrica será pata evaluar un curso – no para calificar al estudiante.

• Paso 1: definir la meta u objetivo de aprendizaje del curso:

En una frase enuncia la meta del curso – Es posible que haya varias metas, pero trata de identificar la parte medular del curso.

Page 18: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Diseñando una Rúbrica para evaluar ….• Paso 2: desglosar esa meta en objetivos

específicos que a) Deben ser relevantes para la meta generalb) Deben ser observables y medibles c) Deben medir algo que se provee en el curso

• Paso 3: definir los niveles de evaluación: – Generalmente resulta más fácil empezar en los

extremos cuando se determina un criterio en una rúbrica y después definir los niveles intermedios.

Page 19: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Diseñando la RúbricaPregunta: ¿Cuáles son las características que hacen un producto:

• Inaceptable, • Equivocado, • Un producto que

resulta cuando el estudiante tiene una capacidad muy débil en relación al criterio sobre el cual es evaluado

• No tiene idea de lo que esta haciendo

• Ejemplar, • Que excede las

expectativas, • Que resulta cuando el

estudiante es un experto en el criterio que esta siendo evaluado.

Page 20: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Algunas palabras que pueden ser de utilidad:

(in) completo, (in) exacto, razonable, detallado, creativo, original, sutil, sofisticado, sintetizado, integrado, analizado, errores conceptuales menores y/o mayores, flexibilidad, adaptabilidad, complejidad de pensamiento, claridad, bien documentado, bien fundamentado, profesional, (des) organizado, profundo, superficial, (ir) relevante.

Page 21: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Criterios de la rúbrica• Suponga que esta diseñando una rúbrica

holística para evaluar en el estudiante su nivel de dominio de gramática básica y puntuación.

• ¿cuál de los siguientes ejemplos prefiere? • ¿por qué?

Page 22: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

No reúne las Expectativas

Necesita Mejorar

Reúne las Expectativas

Excede las Expectativas

10 o más errores 5-12 errores 2-7 errores 0-1 error1

10 o más errores 5-9 errores 2-4 errores 0-1 error2

Menos que el 90% de los estud.

Entre 10% y 50%

Entre 51% y 90%

Entre el 10% mejor3

Errores frecuentemente interfieren con la legibilidad del documento

Muchos errores, o errores ocasionales que complican la legibilidad

Pocos errores pero no afectan la legibilidad

Prácticamente sin errores

4

Page 23: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

No reúne las Expectativas

Necesita Mejorar

Reúne las Expectativas

Excede las Expectativas

10 o más errores 5-12 errores 2-7 errores 0-1 error1

10 o más errores 5-9 errores 2-4 errores 0-1 error2

Menos que el 90% de los estud.

Entre 10% y 50%

Entre 51% y 90%

Entre el 10% mejor3

Errores frecuentemente interfieren con la legibilidad del documento

Muchos errores, o errores ocasionales que complican la legibilidad

Pocos errores pero no afectan la legibilidad

Prácticamente sin errores

4

No funciona, las categorías son mutuamente excluyentes

No es muy útil, a veces 1 error es mas grave que 3 otros

No sirve para evaluar la calidad de lo aprendido, sólo para calificar

con respecto a los demás

Es la mejor

!!

Evalúa diferencias cualitativas

Page 24: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Dos formas comunes de evaluar con rúbricas

Dependiendo de las personas involucradas hay 2 formas de las cuales comúnmente se evalúan las competencias usando rúbricas:

1) Evaluar al mismo tiempo que se califica2) Recolectar las evidencias y evaluar

posteriormente en una sesión de grupo

Page 25: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Las Rúbricas pueden:• Agilizar el proceso de calificar• Clarificar las expectativas a los estudiantes –

especialmente para nuevos estudiantes, explicándoles la rúbrica.

• Reducir las quejas del estudiante por su calificación.• Mejorar la confiabilidad y la validez de evaluaciones

y calificaciones.• Ayudar a la facultad a crear mejores trabajos que

aseguren que los estudiantes expongan lo que se quiere que ellos demuestren.

Page 26: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Sugerencias para el uso de Rúbricas en Cursos

1. Entregar / dar a conocer la rúbrica junto con el trabajo, de tal forma que los estudiantes saben cuáles son las expectativas que se tiene de ellos y como serán calificados.

2. Desarrollar una rúbrica en conjunto con los estudiantes para un trabajo o un proyecto de grupo. Los estudiantes podrán entonces monitorearse ellos mismos y a sus pares, usando criterios acordados. Muchos profesores encuentran que los estudiantes crean estándares más altos ellos mismos que los que la facultad les pensaría imponer.

Page 27: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Sugerencias…4. Usar una rúbrica para calificar el trabajo del

estudiante y regresar la rúbrica con la calificación obtenida.

5. Dejar que los estudiantes que apliquen la rúbrica a algunos trabajos muestra, antes de crear su propia. La capacidad para evaluar, editar y mejorar los borradores es una habilidad importante. – así aprenden a discriminar entre trabajos buenos y débiles.

Page 28: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Sugerencias…5. Permitir que los estudiantes intercambien borradores

y den retroalimentación a sus compañeros usando la rúbrica, después darles un tiempo antes de entregar los trabajos finales. También se les podría pedir que entreguen la rúbrica de puntaje con su documento final.

6. Hacer que los estudiantes autoevalúen sus productos empleando la rúbrica de calificación y entreguen su autoevaluación con el producto; de esta manera la facultad y los estudiantes pueden comparar sus evaluaciones generadas.

Page 29: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Herramientas para crear y aplicar rúbricas

Page 30: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Además de las ventajas que mencionamos…

• Las rúbricas se pueden automatizar.

• Todos los trabajos, exámenes, autoevaluaciones que se pueden someter en un formato electrónico … se pueden evaluar con esas rúbricas.

• Los resultados de la evaluación quedan automáticamente guardados, promediados, publicados…

Page 31: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Ejemplo: CourseSites• La captura de la rúbrica es directa y sencilla• Cuando se define una tarea, el profesor le asocia

la rúbrica que desea usar – se pueden reutilizar!• Al calificar, el profesor ve el documento y la

rúbrica y en ese momento puede evaluar.• O puede usar su computadora para calificar

mientras esta presenciando el examen profesional, presentación oral, audición, ejercicio, etc.

Page 32: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Acceso y pasos a seguirhttp://es.coursesites.com1) Debes registrarte como instructor para poder

crear un curso2) Crea un curso3) Crea una rúbrica4) Crea una actividad y asocia a ella la rúbrica

creada.5) Determina si el estudiante puede ver o no la

rúbrica

Page 33: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación
Page 34: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Criterios a evaluar

• Del lado izquierdo se presentan los criterios a evaluar.

• Uno por renglón.

Page 35: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Niveles• Los niveles están indicados como encabezado de cada

columna.• Podemos modificar el texto de cada nivel de acuerdo a

nuestra rúbrica.

Page 36: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Descripción y Puntaje o Porcentaje por cada nivel

Page 37: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Ahora ustedes• Por equipos de 4: entrar a

http://es.coursesites.com (1 por equipo)• Nombre y contraseña: CALICA seguido de 2

dígitos 01,02,03…por cada equipo• Entrar en el curso de prueba• Entrar en “Contenido” (del lado izquierdo)• Seleccionar:

Page 38: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Crear una actividad

Page 39: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Asignar puntaje y crear rúbrica

Page 40: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Nombre y descripción de la rúbrica

Page 41: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Definir cada campo de la rúbrica

Page 42: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación
Page 43: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación
Page 44: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación
Page 45: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación
Page 46: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación
Page 47: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación
Page 48: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación
Page 49: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación
Page 50: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Sobre el proceso de evaluación

Page 51: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Manejar evaluaciones por comités1. Formar un comité para la evaluación de las evidencias.2. Seleccionar la muestra de evidencias a evaluar (todo?

Muestra significativa?)3. Eliminar los nombres de los autores de cada

documento: evitar que haya sesgo por conocer a un estudiante.

4. Seleccionar la forma en que se evaluará:– Un lector por documento– Dos lectores independientes por documento– Lectores en parejas.

5. Calibrar el grupo (hacer una prueba piloto)

Page 52: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Prueba Piloto• Seleccionando un grupo de evidencias, correr

la evaluación para determinar/ afinar el protocolo de la evaluación.

• Recomendación: hacer que participen directivos, para que conozcan el proceso

Page 53: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Orientación y Calibración de Grupo1. Describir el propósito para la revisión2. Explicar que el propósito es evaluar el programa, no a los

estudiantes de manera individual ni a la facultad, y describir los lineamientos éticos, incluyendo lo correspondiente a la confidencialidad y privacidad.

3. Describir la naturaleza de los productos que serán revisados, brevemente resumir cómo fueron obtenidos.

4. Describir la rúbrica de puntaje y sus categorías. Explicar cómo fue desarrollada.

5. Explicar que los lectores deben evaluar cada criterio de la rúbrica por separado y evitar “calificar sobre una curva”.

Page 54: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

El bueno, el malo y el feo6. Dar a cada revisor 3 documentos a evaluar: uno excelente,

uno mediano y uno malo (ore-evaluados por un experto).7. Pedir a cada voluntario que en forma independiente aplique la

rúbrica a cada uno de estos productos, y mostrarles cómo registrar sus puntajes.

8. Una vez que cada uno lo ha realizado, recolectar sus puntajes y mostrárselos para que puedan ver el grado de acuerdo.

9. Guiar al grupo en una discusión de sus puntajes. Habrá diferencias, y esta discusión es importante para establecer estándares.

10. Intentar alcanzar el consenso sobre el puntaje más apropiado para cada uno de los productos.

Este proceso dura aprox. 20 minutos.

Page 55: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Evaluación por pares• Distribuir los productos y comenzar la evaluación.• Se recomienda que, como generalmente son muchos

documentos, se evalúe una muestra significativa.• Que sean 2 personas que lean cada documento, y en caso

de discrepancia, un tercero, para obtener al final un solo valor por criterio (y no promediarlo)

• Realizar una reunión posterior para recoger opiniones y poder realizar ajustes al proceso de evaluación.

• Generar reportes de resultados poco tiempo después, no dejar que pase mucho tiempo entre evaluación y publicación de resultados para la toma de decisiones.

Page 56: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Calibración tradicional de la facultadEl propósito de la calibración es crear puntajes altamente confiables. Queremos que todos los revisores de la facultad apliquen la rúbrica en la misma forma, esto implica:1.Preseleccionar ejemplares de la evidencia para ser evaluados

de tal forma que representen fortalezas, debilidades y mediana calidad del trabajo (generalmente es realizada por un grupo de expertos en el área que conocen el objetivo que está siendo evaluado.)

2.Todos los revisores dan un puntaje a los ejemplares, los resultados son mostrados ahí mismo y las discrepancias se hacen notar.

3.El grupo discute los puntajes y llega a un consenso sobre qué deben hacer.

Page 57: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Otras formas de calibraciónCalibrando grupos pequeñosCuando solamente unos cuantos darán el puntaje, la calibración es algunas veces más informal, pero ello aún implica las tres etapas.

Calibrando a la no facultadAlgunas veces los evaluadores no pertenecen a la facultad como son los supervisores. Ellos pueden participar en una calibración tradicional, pero quizás el propósito sea más bien asegurar que ellos apliquen en los estándares de la facultad. En este caso, la persona que conduce su entrenamiento dará más énfasis en enfocarlos a los juicios determinados por la facultad, más que alcanzar un consenso entre ellos mismos.

Page 58: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Evaluadores únicos• Algunas veces un solo individuo dará el puntaje

de la evidencia. • Por ejemplo, quizás solamente una persona

supervisa el trabajo clínico de un estudiante, y nadie más tiene acceso a la evidencia.

• Es importante que la persona que llena la rúbrica sea especialmente cuidadosa para aplicar los mismos estándares en la misma forma en que cada individuo está siendo evaluado.

Page 59: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Evaluación de los Estándares: ¿Qué tan bueno es suficientemente bueno?

Estándar típico:“Estaremos satisfechos si al menos el 80% de los estudiantes están en el nivel 3 o más alto.”• Es importante que la institución determine

esos estándares de manera uniforme.

Page 60: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

¿a quién se esta evaluando?• El maestro esta acostumbrado a evaluar al

estudiante – y este puede reprobar el curso.• El superior evalúa a sus empleados – y este

puede hasta perder su trabajo.• Es difícil cambiar esa actitud cuando se evalúa

un programa académico…– No evaluamos al estudiante, ni al profesor, ni a su

jefe, ni al director…

Page 61: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Diseño de objetivos de aprendizaje

Page 62: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Diseño de objetivos de aprendizaje

Objetivo de aprendizaje : “Una declaración de lo que el estudiante se espera que conozca, comprenda y sea capaz de hacer al finalizar un periodo de aprendizaje” (Moon, 2002).

Componentes y lenguaje para la redacción de los objetivos de aprendizaje.• Encabezado: Los objetivos de aprendizaje de una

materia/asignatura/módulo o semana se espera que el estudiante sea capaz de…

Page 63: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Diseño de objetivos de aprendizaje

Contiene:• Un verbo que indique lo que el estudiante será capaz de

realizar al final del periodo de aprendizaje.• La(s) palabra (s) que indiquen sobre qué o con qué el

estudiante actúa. Si el resultado es sobre actividades entonces deberían describir el modo en que la habilidad se ejecuta.

• Una palabra o palabras que indiquen la naturaleza o contexto de la ejecución requerida como evidencia de que el aprendizaje se ha logrado.

Page 64: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Rúbricas• Las rúbricas son guías precisas que valoran los aprendizajes y

las actividades realizadas. • Son tablas que desglosan los niveles de desempeño de los

estudiantes o efectividad de un curso o programa entero, determinado con criterios específicos los elementos a evaluar.

Cualquier rúbrica debe de considerar las siguientes premisas:• Ser coherente con los objetivos educativos que se persigue

alcanzar.• Apropiada al nivel desarrollo de los estudiantes• Establecer criterios de evaluación con términos claros y

medibles.

Page 65: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

¿Cómo se elabora la rúbrica?Pasos:1. Determinar objetivos del aprendizaje.2. Identificar los elementos o aspectos a valorar.3. Definir descriptores, escalas de calificación y criterios.4. Determinar el peso de cada criterio.5. Revisar la rúbrica diseñada y reflexionar sobre su impacto

educativo.

Page 66: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Ventajas y DesventajasVentajas:• Se identifican claramente objetivos docentes, metas y pasos a

seguir.• Señala los criterios a medir para documentar el desempeño.• Cuantifica los niveles de logro a alcanzar.• Se brinda retroalimentación.• Disminuyen la subjetividad de la evaluación.• Permite autoevaluación.

Desventajas• Requieren mucho tiempo para su elaboración.

Page 67: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Desarrollar tu propia rúbricaPaso 1.• Establecer un objetivo. Los objetivos son expresado en términos de

conducta – cómo los estudiantes pueden demostrar su aprendizaje, por ejemplo:

Paso 2.• Considerar los tipos de evidencias que reunirá para evaluar el

objetivo.Paso 3• Diseño de la rúbrica.Paso 4• Considerar el estándar.Paso 5• Prueba Piloto.

Page 68: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Paso 1. :Establecer un objetivo. Los objetivos son expresado en términos de conducta – cómo los estudiantes pueden demostrar su aprendizaje, por ejemplo, “Los estudiantes pueden…”:• explicar las normas éticas para conducir la investigación

sociológica.• describir los factores principales que influyen en el desarrollo del

sistema político del país.• colaborar con otros con eficacia.• definir conceptos y teorías básicos de la….• aplicar su conocimiento en.• analizar datos e interpretar los resultados de pruebas estadísticas.• localizar fuentes apropiadas buscando bases de datos

electrónicas.

Page 69: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Paso 2. Considerar los tipos de pruebas que reunirá para evaluar el objetivo

• La tarea o trabajo deberá estar alineada con el objetivo y la rúbrica.

• Debería requerir que el estudiante lleve a cabo el objetivo. (por ejemplo: explicar, describir, colaborar, definir, aplicar, etc.) de esta forma la rúbrica puede usarse para evaluar qué tan bien los estudiantes han dominado el objetivo.

• Asegurarse que la asignación dice a los estudiantes que realicen todo lo que se les evaluará en la rúbrica.

Page 70: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Paso 3. Diseño de la rúbrica.• ¿Desea una rúbrica holística o analítica? • ¿Cuántas categorías de puntuación tendrá? • ¿Cuáles son sus niveles? • Si es analítica ¿cuáles son las dimensiones

mayores del objetivo que desea evaluar? • Asegúrese de que los criterios se pueden

aplicar a la evidencia que planea recopilar

Page 71: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Paso 4. Considerar el estándar.• ¿Qué nivel de resultado sería satisfactorio?

Page 72: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Paso 5. Prueba Piloto.• Asegúrese de pilotear una prueba a la rúbrica

antes de utilizarla en un estudio de evaluación real.

Page 73: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Redacción de un objetivo de aprendizaje

• Encontrar las palabras adecuadas en la escritura de un objetico de puede resultar una tarea difícil, especialmente si tenemos presentes otros elementos del diseño de curso.

• Las palabras se han organizado siguiendo la taxonomía de Bloom, aunque sin pretender una jerarquía en el nivel de complejidad del conocimiento, tal como era la intención de Bloom.

• Evidentemente muchas palabras se repiten en varias categorías

• Lo que indica un determinado nivel de conocimiento no sólo es el verbo sino el contexto (complejidad-dificultad) y la naturaleza de la ejecución.

Page 74: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Campo Cognoscitivo • Cada objetivo educacional se diseña para penetrar en el

campo cognitivo de los seres humanos y es necesario identificar el área que cada objetivo pretende alcanzar.

Áreas cognoscitivas:• Conocimiento• Comprensión• Aplicación• Análisis• Síntesis• Evaluación

Page 75: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

CONOCIMIENTO•Implica conocimiento de hechos específicos, de formas y medios de tratar con los mismos, conocimientos de lo universal y de las abstracciones específicas de un determinado campo del saber. Son de modo general, elementos que deben memorizarse.•La memorización se define como el acto de recordar el material previamente aprendido. Hacerlo así, presupone recordar una rica gama de materiales que van desde hechos concretos hasta teorías completas, pero en todo caso, lo que se requiere es traer a colación la información apropiada. •La memorización representa el nivel más bajo de los productos del aprendizaje en el dominio cognoscitivo.

Page 76: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

CONOCIMIENTOLas habilidades que se deben demostrar en este nivel son:

Observación y recordatorio de información; conocimiento de fechas, eventos, lugares; conocimiento de las ideas principales; recuperar de la memoria.

Qué hace elEstudiante

El alumno recordará o reconocerá informaciones, ideas y principios de la misma forma (o aproximada), en que fueron aprendidos.Conoce términos comunes, conoce hechos específicos, conoce métodos y procedimientos, conoce conceptos básicos, conoce principios.

Page 77: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

CONOCIMIENTO

Ejemplos de Palabras Indicadoras

Define; lista; rotula; nombra; identifica; repite; quién; qué; cuando; donde cuenta; describe; recoge; examina; tabula; cita; recordar; memorizar; reconocer; recuperar; definir; repetir; indicar; enumerar; recordar; nombrar - narrar; subrayar; reproducir.

Page 78: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

CONOCIMIENTOEjemplo de Tareas, Actividades o Instrumentos

• Resumen• Examen escrito con técnicas de preguntas de

falso y verdadero, respuestas breves, completar oraciones, opción múltiple.• Examen oral para respuestas concretas de

hechos, fechas, personajes.• Diario• Reporte de lecturas• Trabajo de investigación bibliográfica, impreso.

(trabajo escrito) Línea de tiempo

Page 79: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

COMPRENSIÓN• La comprensión se define como la capacidad para

captar el significado del material. • Dicha comprensión puede demostrarse – al traducir un material en una u otra forma (palabras a

números), – al interpretar el material (explicarlo o resumirlo) y – al estimar cuáles serán las futuras tendencias (predicción de

consecuencias o efectos). • Estos productos del aprendizaje van un paso más allá

del simple recordatorio del material y representan el nivel más bajo de la comprensión.

Page 80: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

COMPRENSIÓNLas habilidades que se deben demostrar en este nivel son:

Entender la información; captar el significado; trasladar el conocimiento a nuevos contextos; interpretar hechos.

Qué hace elEstudiante

Comprende hechos y principios, interpreta material verbal, Interpreta gráficas y tablas, traduce el material verbal a fórmulas matemáticas, estima las futuras consecuencias que los datos implican, justifica métodos y procedimientos.

Page 81: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

COMPRENSIÓNEjemplos de Palabras Indicadoras

Traducir; exponer; discutir; describir; reconocer; explicar; expresar identificar; localizar; informar; revisar; expresar; convertir; defender contrastar; ordenar; agrupar; inferir las causas; predecir las consecuencias; asocia; estima; diferencia; extiende; resume; describe interpreta; discute; extiende; contrasta; distingue; explica; parafrasea – ilustra; comparar.

Page 82: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

COMPRENSIÓNEjemplo de Tareas, Actividades o Instrumentos

Resumen Examen escrito con técnicas de preguntas de

falso y verdadero, respuestas breves, completar oraciones, opción múltiple.

Examen oral para respuestas concretas de hechos, fechas, personajes.

Diario Reporte de lecturas Trabajo de investigación bibliográfica,

impreso. (trabajo escrito) Línea de tiempo

Page 83: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

APLICACIÓN• La aplicación se refiere a la capacidad de usar el

material aprendido en nuevas situaciones concretas.

• Hacerlo así puede incluir la aplicación de elementos tales como – reglas, métodos, conceptos, principios, leyes y teorías.

• Los productos del aprendizaje en esta área requieren un nivel más alto de comprensión que en el caso anterior.

Page 84: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

APLICACIÓNLas habilidades que se deben demostrar en este nivel son:

Hacer uso de la información; utilizar métodos, conceptos, teorías, en situaciones nuevas; solucionar problemas usando habilidades o conocimientos.

El alumno selecciona, transfiere y usa datos, y principios, para completar un problema o tarea con un mínimo de supervisión.

Qué hace elEstudiante

Aplica conceptos y principios a situaciones nuevas. Aplicar leyes y teorías a situaciones prácticas. Resuelve problemas matemáticos. Construye gráficas y tablas. Demuestra el uso correcto de un método o procedimiento.

Page 85: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

APLICACIÓNEjemplos de Palabras Indicadoras

Emplear; demostrar; dramatizar; practicar; ilustrar; operar; catalogar; delinear preparar ; relacionar; aplicar; completar; mostrar; examinar; modificar; relatar; clasificar; experimentar; descubrir; usar; resolver; construir calcular.

Ejemplo de Tareas, Actividades o Instrumentos

Prácticas modelación Grupos de problemas Solución de ejercicios Casos prácticos (estudio de casos, resueltos

con apoyo del docente) Examen con estudio de casos Examen escrito que requiera aplicación de

procedimientos y resolución de ejercicios

Page 86: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

ANÁLISIS• El análisis se refiere a la capacidad de subdividir el material

dado en las partes que lo componen de manera que pueda comprenderse la estructura de su organización.

• Puede incluir la identificación de sus partes, el análisis de las relaciones entre las partes y el reconocimiento de los principios de organización involucrados.

• Los productos del aprendizaje representan un nivel intelectual más elevado que en la comprensión y en la aplicación, dado que requieren la comprensión tanto del contenido como de la forma estructural del material.

Page 87: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

ANÁLISISLas habilidades que se deben demostrar en este nivel son:

Encontrar patrones; organizar las partes; reconocer significados ocultos; identificar componentes. El alumno distingue, clasifica y relaciona presupuestos,

Qué hace elEstudiante

Diferencia, clasifica y relaciona las conjeturas, hipótesis, evidencias o estructuras de una pregunta, o aseveración. Subdivide algo para mostrar cómo se reúnen sus partes; encuentra la estructura. Reconoce hipótesis no expresadas. Reconoce las falacias en el razonamiento lógico. Evalúa la pertinencia de los datos. Distingue entre hechos e inferencias. Analiza la estructura organizada de una obra.

Page 88: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

ANÁLISIS Ejemplos de Palabras Indicadoras

Separar; ordenar; explicar; conectar; dividir; explicar; seleccionar; inferir; arreglar; clasificar; analizar; comparar; contrastar; subdividir; hacer diagramas; diferenciar; discriminar; identificar; ilustrar; inferir; relacionar; comparar; criticar; debatir; solucionar; examinar – categorizar; discutir.

Ejemplo de Tareas, Actividades o Instrumentos

Mapa conceptual Desarrollo de artículos Demostraciones Modelación (modelos) Análisis de documentos Debate Mesa redonda Examen escrito que requiera de reflexión

Page 89: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

SÍNTESIS• La síntesis se ocupa de la capacidad de juntar las partes de

manera de formar un nuevo todo, para lo cual puede requerirse

– la producción de una comunicación única (tema o discurso),

– un plan de operaciones (proposición de investigaciones) o

– un conjunto de relaciones abstractas (plan para clasificar información).

• Los productos del aprendizaje en esta área, recalcan los comportamientos creativos, recayendo su mayor énfasis en la formulación de nuevos patrones o estructuras.

Page 90: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

SÍNTESISLas habilidades que se deben demostrar en este nivel son:

Comparar y discriminar entre ideas; dar valor a la presentación de teorías; escoger basándose en argumentos razonados; verificar el valor de la evidencia; reconocer la subjetividad

Qué hace elEstudiante

Valora, evalúa o critica en base a estándares y criterios específicos. Toma decisiones de valor acerca de diferentes asuntos; resuelve controversias o diferencias de opinión. Presenta un discurso bien estructurado. Escribe una narración breve. Propone un plan para un experimento. Integra el aprendizaje de áreas diferentes para resolver un problema.

Page 91: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

SÍNTESISEjemplos de Palabras Indicadoras

Decidir; probar; medir; recomendar; juzgar; explicar; comparar; sumar; valorar; criticar; justificar; discriminar; apoyar; convencer concluir; seleccionar; establecer rangos; predecir; argumentar

Ejemplo de Tareas, Actividades o Instrumentos

Desarrollar o implementar modelos Conferencia Ponencia Elaboración de proyectos

Page 92: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

EVALUACIÓN• A la evaluación le atañe la capacidad de juzgar el valor del

material para un propósito dado. • Los juicios han de fundamentarse en criterios definidos que

pueden ser – internos (de organización) o – externos (pertinencia con respecto a la finalidad);

• y al estudiante pueden dársele los criterios o permitirle que los determine por su cuenta.

• Los productos del aprendizaje en esta área, son los más elevados en la jerarquía cognoscitiva, porque contienen elementos de todas las demás categorías a los que añaden juicios conscientes de valores, que se apoyan en criterios claramente definidos.

Page 93: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

EVALUACIÓNLas habilidades que se deben demostrar en este nivel son:

Juzga sobre la consistencia lógica del material escrito.Emite un juicio sobre el grado de adecuación con que los datos apoyan las conclusiones.Juzga el valor de una obra usando criterios internos.Conceptúa el valor de una obra usando normas externas de excelencia.

Qué hace elEstudiante

El alumno aprecia, evalúa o critica en base a patrones y criterios específicos. Toma decisiones de valor acerca de diferentes asuntos; resolver controversias o diferencias de opinión

Page 94: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

EVALUACIÓNEjemplos de Palabras Indicadoras

Decidir; probar; medir; recomendar; juzgar; explicar; comparar; sumar; valorar; criticar; justificar; discriminar; apoyar; convencer; concluir; seleccionar; establecer rangos; predecir; argumentar; evaluar; tasar; corregir; contrastar; justificar; interpretar; apoyar

Ejemplo de Tareas, Actividades o Instrumentos

Ensayo argumentativo Artículo Casos prácticos Mesa redonda Debate

profundo

Page 95: Diseño y aplicación de rúbricas  OnLine : Herramientas que facilitan la   evaluación

Muchas Gracias!