La revisión de la prueba de admisión universitaria PAA

Febrero 2016

Misión del College Board de Puerto Rico y América Latina

• Es una organización sin fines de lucro que desarrolla programas y servicios similares a los que se ofrecen en los Estados Unidos, pero especialmente diseñados para poblaciones cuyo vernáculo es el español.

• Estos programas están dirigidos a sistematizar los procesos de evaluación y admisión universitaria, fortalecer la orientación académica y personal y a promover la excelencia educativa.

• Nuestra oficina desarrolla instrumentos de medición conforme a los estándares establecidos por el CBPR-LA y a los estándares de calidad que presenta la American Educational Research Association (AERA), American Psychological Association (APA) & National Council on Measurement in Education (NCME).

La PAA y el SAT

• La PAA NO es una traducción del SAT al español. – Esta decisión del College Board de no traducir la

PAA se dio en función a las investigaciones y consideraciones teóricas en los años sesenta. • Es mucho más fácil preservar el paralelismo entre

dos pruebas si se trabaja desde el lenguaje original que si se intenta reproducir la prueba mediante una traducción. – Esto provee mayor fidelidad en la medición de la misma

construcción lógica (razonamiento) en lenguas distintas.

Revisión de la PAA

• Características de los estudiantes • Necesidades de las instituciones de

educación superior de información académica y no académica para la validez predictiva de la prueba de admisión y la retención de los estudiantes

• Requisitos de ingreso para tener mayor probabilidad de éxito en el contexto académico universitario

Revisión de PEAU A continuación • Comparación de la PEAU vigente con la

revisión propuesta – Estructura – Contenido – Puntuaciones – Informes – Cuestionario a los estudiantes

Reconceptualización de la PEAU

• Usos de la PEAU en estos momentos – En Puerto Rico y América Latina (PAA)

• Rol de información prospectiva con información adicional para la admisión postsecundaria

• Estimado de probabilidad de éxito académico en el primer año de estudios universitarios basado en los resultados de la prueba

• Medida de las habilidades de razonamiento por medio de ítems que requieren la aplicación de conocimiento verbal y matemático

• Enfoque a estudiantes con 11 años de estudios formales – En Puerto Rico (PACH o Pruebas de Aprovechamiento)

• Rol de información retrospectiva por medio de la evaluación de contenidos de las disciplinas de Inglés, Matemáticas y Español

• Provee a las instituciones postsecundarias la información para la ubicación en los distintos niveles de desempeño de los estudiantes (básico, intermedio o avanzado)

Cambios en los contenidos y la estructura de la PEAU

• Integración de los componentes de Razonamiento (Verbal y Matemático de la PAA) con los de Aprovechamiento (Español y Matemáticas) para desarrollar la nueva estructura.

• Se proveerá a los usuarios de Puerto Rico y América Latina un instrumento de evaluación más robusto para la admisión, la ubicación y que atienda a las necesidades de ponderar cuán preparados están los estudiantes para los estudios postsecundarios (“career readiness”).

• El nuevo constructo medirá los procesos y contenidos enfocados en la evaluación de las habilidades, la organización del conocimiento y las destrezas.

Cambios en los contenidos y la estructura de la PEAU

• Se construirá un instrumento de una estructura multidimensional, en vez de múltiples instrumentos unidimensionales para la evaluación de razonamiento verbal o matemático y el aprovechamiento del español o de las matemáticas.

• Conjuntamente con la prueba, los estudiantes cumplimentarán un cuestionario que proveerá – Información adicional no académica útil para predecir el

desempeño académico – Información para identificar las probabilidades de retención

en los estudios de validez • La operacionalización de la prueba es el otoño de 2017.

PEAU Pruebas Vigentes

• Componentes PAA:

– Razonamiento Verbal (PR+AL)

– Razonamiento Matemático (PR+AL)

Revisión de Pruebas

• Componentes – Lectura – Matemáticas

• Comprensión y Aplicación • Álgebra, Gráficas y Funciones • Geometría y Medidas • Probabilidad y Análisis de

Datos – Redacción – Inglés (separado y obligatorio en

Puerto Rico; componente opcional en América Latina)

PEAU revisión Pruebas Vigentes • Características

� Énfasis en las destrezas de lectura

� Lectura orientada a la interpretación de las destrezas de los procesos de razonamiento deductivo e inductivo

� Matemáticas orientadas a la aplicación. Enfocadas en los procesos; se minimizan los contenidos en la PAA.

� Las pruebas de aprovechamiento se enfocan en los contenidos de las disciplinas y la organización del conocimiento.

Revisión de Pruebas • Características

� Enfocadas en la organización del contenido, los contenidos, los procesos y las destrezas.

� Aplicación de conocimientos y destrezas

� Enfocadas en los aspectos que han sido identificados por los expertos y las investigaciones como de mayor peso e importancia para la preparación para los estudios postsecundarios

Matemáticas Aritmética Álgebra • Números reales (Propiedades y Operaciones) • Razón, proporción y porcentaje • Patrones numéricos • Conceptos simples de teoría de números

(divisibilidad, factorización prima, múltiplos, MCD, MCM)

• Expresiones algebraicas (simplificación, evaluación, factorización)

• Ecuaciones lineales en una variable • Inecuaciones lineales en una variable • Exponentes racionales y radicales • Polinomios • Ecuaciones cuadráticas, racionales y con

radicales • Variación • Patrones algebraicos • Rectas y sus propiedades • Funciones (Dominio, Campo de valores,

Evaluación, Gráficas) • Funciones Lineales, Cuadráticas y

Exponenciales • Operaciones con funciones • Relaciones de cambio • Sistemas de ecuaciones

Matemáticas Geometría Análisis de Datos y Probabilidad

• Coordenadas cartesianas • Transformaciones (traslaciones y reflexiones) • Distancia y punto medio • Rectas y ángulos • Semejanza y Congruencia • Teorema de Pitágoras • Triángulos y Cuadriláteros (Perímetro y Área) • Círculos y polígonos • Volumen y área de superficie de sólidos

• Medidas de Tendencia Central (Media, mediana y moda)

• Medidas de dispersión • Interpretación de tablas, gráficas y figuras • Técnicas de conteo (combinaciones y

permutaciones) • Probabilidad de un evento • Población y muestra • Probabilidad condicional

Redacción Formato de lecturas Tipos de textos Ejercicios

Fragmentos Literarios No literarios

• Coherencia y cohesión • Precisión y concisión • Se incluyen las estrategias

textuales y lingüísticas que caracterizan los procesos de una composición creativa y coherente, a saber:

• Adición • Elisión • Integración • Particularización • Generalización

NUEVA INFORMACIÓN QUE PROVEERÁ PEAU

ESTRUCTURA DE PUNTUACIONES DEL SAT:

Rediseño de PEAU

Puntuaciones: � Opciones de los ítems: cinco

(5) � “Formula scoring” : corrección

de las omitidas contra las incorrectas: 0.25 deducción

Puntuaciones: � Opciones de los ítems:

cuatro (4) � “Rights-only scoring”:

respuestas correctas

Pruebas vigentes Revisión de Pruebas

Revisión de PAA

Vigente • Escala

– PAA • Razonamiento Verbal, 200

a 800 y Razonamiento Matemático , 200 a 800

– Pruebas de Aprovechamiento • Aprovechamiento en

Español, 200 a 800, Aprovechamiento en Matemáticas, 200 a 800; Aprovechamiento en Inglés, 200 a 800

Rediseñado • Escala

– Lectura, 200 a 800 y Matemáticas, 200 a 800

– Redacción 200 a 800 – 400 a 1600 {Lectura +

Matemáticas}

Escalas en que se informarán las puntuaciones

Lectura, Redacción y Matemáticas (3 PUNTUACIONES): � Promedio Teórico = 500 � Desviación Estándar = 100 ¾ Puntuación Máxima = 800 ¾ Puntuación Mínima = 200

Puntuaciones por área de contenido: ¾ Puntuación Mínima= 10 ¾ Puntuación Máxima= 40

¾ LECTURA Y MATEMÁTICAS: 400 A 1600

Las puntuaciones a escala se estandarizan, calibran y equiparan mediante

procesos estadísticos

Variables externas a las pruebas que tienen peso en :

LA EJECUCIÓN ACADÉMICA

LA RETENCIÓN ESTUDIANTIL

CANTIDAD DE ESTUDIANTES POR PROGRAMA ACADÉMICO DE ESCUELA SUPERIOR

FRECUENCIA PORCENTAJE

No contestó 7,087 6.4 Académico 84,124 75.7 Vocacional 19,368 17.4

Homeschooling 469 0.4 Total 111,048 100.0

CALIFICACIONES (NOTAS DE ESCUELA SUPERIOR) POR PROGRAMA ACADÉMICO

Programa Total

No contestó Académico Vocacional Homeschooling

3.50 - 4.00 947 33,490 6,687 223 41,797

3.00 - 3.49 965 26,210 6,383 149 33,707

2.50 - 2.99 480 15,542 4,128 64 20,214

2.00 - 2.49 167 5,869 1,500 15 7,551

Menos de 2.00 28 871 150 5 1,054

2,587 82,432 18,848 456 104,323

Programa Total

No contestó Académico Vocacional Homeschooling

3.50 - 4.00 36.6% 41.2% 35.5% 48.9% 40.1%

3.00 - 3.49 37.3% 31.8% 33.9% 32.7% 32.3%

2.50 - 2.99 18.6% 18.9% 21.9% 14.0% 19.4%

2.00 - 2.49 6.5% 7.1% 8.0% 3.3% 7.2%

Menos de 2.00 1.1% 1.1% 0.8% 1.1% 1.0%

100.0% 100.0% 100.0% 100.0% 100.0%

Ocupación de cabeza de familia

OCUPACIÓN FRECUENCIA PORCENTAJE

Obrero no diestro 14,247 14.2% Obrero diestro 10,494 10.4%

Oficinista o vendedor 9,033 9.0% Técnico 10,116 10.1%

Profesional 24,640 24.5% Pensionado 7,508 7.5%

Desempleado 8,943 8.9% Otro 15,452 15.4% Total 100,433 100.0%

Promedios en PAA Verbal y Matemática en función a la educación de la madre

PROMEDIOS

Educación Madre VERBAL MATEM

No contesto 435 447

Menos de 9no grado 414 421

Grado 9 a 12 421 433

Escuela superior 441 447

Alguna educ. univ. 468 472

Grado asociado 471 472

Bachillerato 498 507

Esc. graduada o profesional 518 533 400

420

440

460

480

500

520

540

560

VERBAL

Mat

Promedios en PAA Verbal y Matemática en función a la educación del padre

PROMEDIOS Educación Padre VERBAL MATEM

No contesto 442 451

Menos de 9no grado 425 431

Grado 9 a 12 431 438

Escuela superior 451 455

Alguna educ. univ. 476 480

Grado asociado 479 481

Bachillerato 506 519

Esc. graduada o profesional 531 552 400

420

440

460

480

500

520

540

560

VERBAL

Mat

Independent Variable Importance

Importancia Importancia Normalizada

Educación Madre .341 100.0%

Profesión del jefe de familia .294 86.3%

Educación Padre .239 70.0%

Ingreso (4 niveles) .125 36.7%

Independent Variable Importance

Importancia Importancia Normalizada

Educación Madre .235 87.8%

Educación Padre .204 76.3%

Profesión del jefe de familia .136 50.9%

Ingreso (4 niveles) .157 58.7%

Tipo_Esc_Pub_Priv .268 100.0%

NOTAS DE ESCUELA SUPERIOR EN FUNCIÓN A

IMPORTANCIA (PESO) DE VARIABLES

NOTAS DE ESCUELA SUPERIOR EN FUNCIÓN A IMPORTANCIA (PESO) DE VARIABLES

0

0.05

0.1

0.15

0.2

0.25

0.3

Importancia

MODELO NO-LINEAL: RED NEURAL: MULTILAYER-PERCEPTRON

CALIFICACIONES

-NOTAS-

INTERACCIONES

NIVELES DE VARIABLES

PESOS (importancia)

Modelo optimiza interacciones

RAZONAMIENTO APROVECHAMIENTO

PLAN VERBAL MAT ESP MAT INGL Grado técnico 362 386 354 397 372

Grado asociado

377 390 377 399 383

Bachillerato 437 446 427 452 448

Maestría 493 500 475 504 496

Doctorado 520 523 501 527 514

Indeciso 455 466 442 471 465

RESULTADOS EN LAS PRUEBAS DEL COLLEGE BOARD - RAZONAMIENTO VERBAL Y RAZONAMIENTO MATEMATICO - EN FUNCIÓN AL PLAN DE ESTUDIOS

Plan postsecundario de distribución de tiempo de estudio y trabajo

DISTRIBUCIÓN DE TIEMPO

LEYENDA: TC = Tiempo completo / TP = Tiempo parcial

FRECUENCIA PORCENTAJE

Pregunta #10 de solicitud PAA

¿Cual es su plan de estudios postsecundarios? A) Completar un grado técnico B) Obtener un grado asociado (por lo menos dos años

de estudios universitarios) C) Completar un bachillerato (Licenciatura)

-Cuatro o cinco años de estudios universitarios- D) Continuar estudios de maestría E) Continuar estudios de doctorado (siete o más años

de estudios universitarios) F) Indeciso

Importancia de la variable “Plan de Estudios”

La variable “Plan de Estudios” reduce significativamente el impacto de variables socioeconómicas ¾ Es decisión del estudiante ¾ No depende de variables externas que el estudiante no controla ¾ Guarda estrecha relación con la ejecución académica ¾ ¿Indicador de MOTIVACIÓN?:

• ¿DE LOGROS? • ¿INTRÍNSECA?

– Referencias:

• Zimmerman, B.; “Self Regulated learning and academic achievement” Lawrence Earlbaum Editors 2001.

• Alderman, M.; Motivation for Achievement 2004.

NOTAS DE ESCUELA SUPERIOR EN FUNCIÓN A IMPORTANCIA (PESO) DE VARIABLES

SIN Y CON PLAN DE ESTUDIOS POSTSECUNDARIOS

Importancia SIN plan Importancia CON plan

Importancia Normalizada Importancia Importancia

Normalizada Importancia

Educación Madre .177 84.2% .132 31.3%

Educación Padre .174 83.0% .089 21.1%

Profesión del jefe de familia .101 48.3% .070 16.5%

Ingreso (4 niveles) .132 62.9% .068 16.1%

Distribución de tiempo .206 98.3% .142 33.6%

Tipo Escuela Pub. Priv. .210 100.0% .078 18.6%

Plan de estudios postsecundarios

Sin Plan Estudios

sin Plan Estudios .422 100.0%

NOTAS DE ESCUELA SUPERIOR EN FUNCIÓN A IMPORTANCIA (PESO) DE VARIABLES

SIN Y CON PLAN DE ESTUDIOS POSTSECUNDARIOS

0.0%

10.0%

20.0%

30.0%

40.0%

50.0%

60.0%

70.0%

80.0%

90.0%

100.0%

Importancia SIN plan de estudios Importancia CON plan de es estudios

Resultados prueba de College Board - Razonamiento Verbal y Matemático en función a promedios de Escuela Superior

PROMEDIOS

PROM E.S. VERBAL MATEMA

T 3.5 - 4.0 529 537 3.0 - 3.49 463 469 2.5 - 2.99 419 427 2.0 - 2.49 384 394 Menos de 2.0 369 379

Total 472 479

350

400

450

500

550

Menos de2.0

2.0 - 2.49 2.5 - 2.99 3.0 - 3.49 3.5 - 4.0

Prom

edio

de

las P

rueb

as

Promedio de Escuela Superior

VERBAL

MATEMAT

RESULTADOS EN PRUEBAS DEL COLLEGE BOARD EN FUNCIÓN A IMPORTANCIA (PESO) DE VARIABLES CON Y SIN PROMEDIO ESCUELA

SUPERIOR

Importancia SIN Promedio Importancia CON Promedio

Importancia Normalizada Importancia Importancia

Normalizada Importancia

Educación Madre .127 31.9% .093 28.4%

Educación Padre .135 34.1% .095 28.7%

Profesión del jefe de familia .077 19.3% .049 14.9%

Ingreso (4 niveles) .075 19.0% .049 14.8%

Distribución de tiempo .120 30.4% .079 23.9%

Tipo Escuela Pub. Priv. .069 17.4% .065 19.6%

Plan de estudios postsecundarios .397 100.0% .242 73.4%

Promedio de Escuela Superior sin Promedio Escuela Sup.

sin Promedio Escuela Sup. .329 100.0%

RESULTADOS EN PRUEBAS DE COLLEGE BOARD EN FUNCIÓN A IMPORTANCIA (PESO) DE VARIABLES CON Y SIN PROMEDIO ESCUELA

SUPERIOR (NOTAS)

0.0%

10.0%

20.0%

30.0%

40.0%

50.0%

60.0%

70.0%

80.0%

90.0%

100.0%

Sin Notas Con Notas

Cuestionario a los estudiantes

• El cuestionario que se administra a los estudiantes, en estos momentos, está en proceso de revisión: ¾Una versión más corta ¾Se enfoca en variables no académicas que

demuestran un valor predictivo en la retención de los estudiantes y en su desempeño académico.

¾Algunas de las variables fueron identificadas por las instituciones de Puerto Rico y América Latina mediante un estudio de necesidades completado en diciembre de 2015.

La nueva PEAU y el SAT La revisión de PEAU ha seguido una estructura similar a las modificaciones estructurales del SAT

� Esto permitirá que se realicen comparaciones futuras, investigaciones de

“linking” y “equating” para contrastar las puntuaciones como se ha hecho con todas las versiones anteriores entre los resultados del SAT y la PAA

� Vea referencias de investigaciones de equiparación del SAT con la PAA:

• Schmidt A., Dorans N., Magriñá A., y Cook L. (1998) Predicting scores on the English Language

SAT from the Spanish Language PAA and the English as a Second Language Achievement Test; American Educational Research Association (AERA), San Diego

• • Cascallar A., Dorans N. (2003) Linking scores from tests of similar content given in different

languages: Spanish Language PAA and English Language SAT (College Board RR 2003 5) • • Cook L., Schmidt A., (2005) Establishing score comparability for tests given in different

languages. In: Hambleton R., Merenda P., Spielberger C. Adapting Educational and Psychological Tests for Cross Cultural Assessment, Publishers:Lawrence Erlbaum Associates

NOTAS DE ESCUELA SUPERIOR EN FUNCIÓN A IMPORTANCIA (PESO) DE VARIABLES

SIN Y CON PLAN DE ESTUDIOS POSTSECUNDARIOS

0.0%

10.0%

20.0%

30.0%

40.0%

50.0%

60.0%

70.0%

80.0%

90.0%

100.0%

Importancia SIN plan de estudios Importancia CON plan de es estudios

RESULTADOS EN PRUEBAS DE COLLEGE BOARD EN FUNCIÓN A IMPORTANCIA (PESO) DE VARIABLES CON Y SIN PROMEDIO ESCUELA

SUPERIOR (NOTAS)

0.0%

10.0%

20.0%

30.0%

40.0%

50.0%

60.0%

70.0%

80.0%

90.0%

100.0%

Sin Notas Con Notas