Sistema de Accountability en Chile - chiletransparente.cl · resultados en prueba SIMCE. •Deben...
Transcript of Sistema de Accountability en Chile - chiletransparente.cl · resultados en prueba SIMCE. •Deben...
El Impacto de las Presiones de Accountability Escolar en Chile en la Corupción
Chile Transparente Noviembre, 2013
Gregory Elacqua Instituto de Políticas Públicas
Universidad Diego Portales
En Chile existen y persisten un conjunto de escuelas de baja calidad crónica
• En 20% de las escuelas, la mayoría de sus estudiantes están atrasados en dos años o más según lo definido por el currículum nacional de matemáticas (SIMCE, 2011).
• 9% escuelas urbanas con bajo rendimiento crónico durante al menos una década (Corvalán, Joiko 2010).
• Resolver la situación de estas escuelas deficientes es para muchos una cuestión de equidad.
Ante la existencia de escuelas sostenidamente deficientes Chile ha seguido dos caminos
1. Mecanismos de accountability por parte del mercado:
• Padres eligen y escuelas compiten por alumnos
• Amenaza de la pérdida de matricula significa una presión para mejorar la calidad (para retener alumnos y atraer nuevos).
2. Mecanismos de accountability fijados por el Estado
• Fijar metas de rendimiento y clasificar a las escuelas según su nivel de cumplimiento.
• Aumentar la supervisión y aplicar sanciones para aquellos colegios de bajo desempeño que no mejoran o premios para los que avanzan
Debate sobre Accountability de Mercado
Los proponentes señalan que la posibilidad de elegir escuelas
por parte de los padres traerá los siguientes beneficios:
• Eficiencia: Crea sobre los colegios la presión de la competencia, lo que los impulsa a desarrollar una educación de mejor calidad a un menor precio (Friedman, 1962, Chubb and Moe, 1990; Hoxby, 1998)
• Equidad: Mejoran las oportunidades educacionales disponibles para las familias de NSE bajo (Jencks, 1966)
• Satisfacción: Permiten a los padres elegir las escuelas que enfatizan el tipo de proyecto educativo y valores que quieren para sus hijos (Howell y Peterson, 2002) – Maximizar la libertad de la familia (Friedman, 1962)
Los criticos han formulado cuestionamientos sobre la competencia en educación tanto desde la perspectiva
de la demanda como de la oferta:
• Desde la demanda: – Las familias de bajo NSE no tienen el
tiempo, la capacidad, los recursos ni la información para elegir los mejores colegios para sus hijos (Schneider et al., 2000)
• Desde la oferta: –Al enfrentarse a las presiones competitivas
en un mercado, los colegios son incentivados a enfocar sus esfuerzos en seleccionar los mejores estudiantes
Niveles de Accountability de Mercado
Voucher universal Sin lucro
Asignación de escuelas
Asignación residencial
Charter Schools
School Choice Público
Voucher NSE Bajo
Milwaukee
Río de Janeiro
Voucher universal Con Lucro
Debate sobre Accountability del Estado
Escuelas de bajos resultados responden a presiones del accountability y mejoran su
desempeño • Escuelas en Florida con presión de accountability
(bajas clasficiaciones) cambiaron sus políticas y prácticas pedagógicas y mejoran su rendimiento (Rouse et al., 2008)
• Escuelas britanicas clasificadas en la categoría más baja de rendimiento mejoraron cerca de un 10% de desviación estándar (Allen & Burguess, 2012).
• Profesores y escuelas que reciben premios mejoran rendimiento y cambian su prácticas y políticas (Levy, 2000)
Las escuelas responden a presiones de accountability con un comportamiento estratégico (gaming) que puede mejorar los
resultados en las pruebas, pero no el aprendizaje integral:
• Alteran composición de estudiantes que rinden las pruebas estandarizadas (ej. Culluk & Reback, 2007).
• Estrechamiento curricular (ej. Hannaway y Hamilton, 2007, Scorzafave y Oliani, 2013).
• Enseñan a responder pruebas (Borko y Elliot, 1999).
• Engañan al sistema – Cheating, alteran los programas de nutrición, etc.
(Figlio y Getzler, 2006; Cullen y Reback, 2006; Jacob, 2005).
James Heckman, Premio Nobel de Economía
• “Literalmente la enseñanza en los colegios y el proceso entero de educación han sido corrompidos para enseñar para las pruebas.”
Niveles de Accountability de Estado (sanciones)
Información
Planes de mejoramiento
Apoyo técnico
Reorganización
Transferencia
Reestructuración
Administración delegada
Toma de control
Cierre
Sanciones leves Sanciones fuertes
• En general, los premios se entregan a docentes o escuelas si éstas logran un progreso significativo de acuerdo a estándares predefinidos:
– California y Colorado: Programa Gobernadores de premios al desempeño
– Rio de Janeiro: Premio Anual de Desempeño
– Chile: SNED
Accountability de Estado (premios)
Chile partió con Accountability de Mercado: Reforma de vouchers de 1981
Reformas y cambios 1981-1990
1. Descentralización de la administración de las escuelas, del MINEDUC a los municipios.
2. Establecimiento de sistema de vouchers parejos.
3. Permitía selección de estudiantes
4. No había exigencias de calidad por parte del Estado
5. Poca información sobre la calidad de las escuelas
Cambios en Democracia (1990-2006)
1. Aumento de recursos privados en sistema público (Financiamiento compartido, 1993).
2. Más información sobre calidad a padres, profesores, investigadores, directores (1998).
Resultado: Declina matrícula en escuelas públicas
78
47
15
47
7 7
0
10
20
30
40
50
60
70
80
90
1981 1990 2000 2006
Público
Particular Subvencionado
Particular Pagado
Fuente: SIMCE
Productividad: Resultados SIMCE estancados entre 1999 y 2007
250 254
250 246
100 125 150 175 200 225 250 275 300 325 350 375 400
1999 2002 2005 2006 2007
SIMCE Lenguaje SIMCE Matemáticas
Productividad: Calidad sistema deficiente en
terminos comparativos
• El desempeño de los alumnos en Chile era uno de los mejores de América Latina, pero todavía estába muy por debajo de los países de la OCDE y países emergentes de Asia y Europa del Este.
• El 5% de los alumnos de 15 años en Chile obtuvieron resultados sobre la mediana de la OCDE en lenguaje.
• Se observaban tendencias similares en matemática, ciencia y educación cívica.
Presión ciudadana por reformas: Revolución de los Pingüinos 2006
Introduce Reforma Accountability de Mercado
1. Voucher diferenciado:
compensa mayores costos de
educar a estudiantes de bajo
NSE.
2. Prohibir selección (con
LGE) y cobros a
estudiantes de NSE bajo:
amplía oferta educativa a
familias de bajos recursos.
$ 123 $ 123
$ 80
$ 10
0
50
100
150
200
250
Antes de SEP Después de SEP
Subvención base Subvención preferencial Subvención por concentración
Fuente: MINEDUC, 2009
Introduce Reforma Accountability del Estado: Clasificación de escuelas con consecuencias
Autónomas
• Han demostrado sistemáticamente buenos resultados en prueba SIMCE. Mantienen autonomía.
Emergentes
• No han demostrado sistemáticamente buenos resultados en prueba SIMCE.
• Deben elaborar un plan de mejoramiento en torno a determinadas metas.
• Supervisores visitan escuela.
En Recuperación
• Han demostrado sistemáticamente malos resultados en prueba SIMCE.
• Deben elaborar un plan de mejoramiento en torno a determinadas metas y supervisores visitan escuela.
• Si la escuela no demuestra mejoras adecuadas, arriesga ser cerrada.
Introduce Accountability del Estado: Cambio Institucional
• Creación de dos nuevas instituciones:
1. Superintendencia de Educación: Fiscalizar
2. Agencia de Calidad: Evalúa
• Ministerio de Educación centra sus funciones en definir políticas y entregar apoyo
Escuelas tienen cuatro años para cumplir con las exigencias del Accountability del Estado
Septiembre, 2011: Escuelas son informadas de su clasificación SEP y escogen estrategias para
elaborar planes de mejoramiento
2012: Escuelas preparan y comienzan a ejecutar
planes de mejoramiento (asistidos por ATE):
identifican debilidades y preparan plan de acción
2013: Segundo año del plan de
mejoramiento
2014: Tercer año del plan de
mejoramiento
2015: Cuarto año del plan de
mejoramiento
Clasificación basada en resultados SIMCE 2008,
2009 y 2010
Primera sanción (Informan a los
padres) basada en
SIMCE del 2010, 2011 y 2012
Sanción final (Cierra) basada en
resultados SIMCE del 2011, 2012 y 2013
¿Cuáles son los mecanismos de accountability para generar cambios en las escuelas?
• Presión de padres (exit y voice)
• Creciente escrutinio, supervisión y burocracia con PME y supervisión
• Estigma social (e.g. Ravitch, 2011)
• Amenaza de perdida de empleo (e.g. Reback, Rockoff y Schwartz (2011).
¿Las presiones de accountability en Chile han generado mejores
resultados o comportamiento estratégico?
Evidencia
Debido a su reciente implementación sólo existe escasa evidencia de su efectividad en Chile.
Analizamos los efectos de la presión de accountability sobre políticas y prácticas en escuelas de bajo desempeño (peor categoria comparado con segundo peor categoria)
Nuestro supuesto es que colegios mal rankeados van a reaccionar a las presiones modificando sus políticas y prácticas para mejorar el rendmiento de sus alumnos y salir de la categoría
Evidencia
No encuentramos evidencia que los profesores modifican sus prácticas en aula.
Sin embargo, encontramos efectos fuertes en algunas políticas de escuela de corto plazo que enfocan en profesores.
Evidencia
• Escuelas clasificadas en recuperación (peor categoría):
– Menos probable de invertir en capacitación docente (largo plazo)
– Menos probable de usar accountability interno (evaluaciones, visitas de pares, etc.) para profesores (largo plazo)
– Más probable de ofrecer programas de tutoria sobre el rendimiento escolar (corto plazo)
– Asignación de profesores con más experiencia y mejor calidad (mejor universidad, post-titulo) a los cursos evaluados (corto plazo)
Evidencia
• Resultados indican que cambios vinculados a politicas definidas por las autoridades de la escuela, sin involucrar a los profesores en el proceso.
• Solo 1 de 3 profesores sabían la clasificación de su escuela
Encontramos comportamiento estratégico en mayoría de colegios
• Estrechamiento curricular Casi el 60% de las horas pedagógicas totales semanales se destinan a aquellas materias cubiertas por la prueba SIMCE (i.e. Lenguaje, Matemática y Comprensión del Medio).
• Enseñan a responder pruebas 60% dice haber utilizado ejercicios similares al SIMCE en sus clases y haber enseñado cómo responder preguntas de selección múltiple todos o casi todos los días.
• Engañan al sistema: No se observado malas practicas como copiar porque SIMCE controla el proceso.
• Alteran composición de estudiantes que rinden SIMCE: Evidencia anecdótica (buen alumno enfermo, exclusión de malos alumnos, Mineduc monitorea, comparando notas con alumnos que no rinden SIMCE, en 2012, 17 colegios violaron)
Persiste la Selección: Entrevistas, examen, pedir certificados de bautismo o matrimonio religioso, cheques de garantía, entre otros
La selecición afecta la segregación social
Y los resultados académicos (SFL mejor rendimiento que CFL que público)
-0,3
-0,2
-0,1
0
0,1
0,2
0,3
Sin ajustar Ajustado por NSE Ajustado por NSE y efecto par
Ajustado por NSE, efecto par y selección
Des
viac
ion
es e
stán
dar
Diferencias en puntajes SIMCE Lenguaje con respecto a escuelas con fines de lucro para el estudiante promedio de una escuela con fines de lucro
PS SFL Público
Source: SIMCE
Efectos globales de accountability? Entre 2007 and 2011 mejores significativos (1/2 DS) en SIMCE lenguaje y matemáticas 4 grado
250
267
250
259
230
235
240
245
250
255
260
265
270
275
1999 2002 2005 2006 2007 2008 2009 2010 2011
SIMCE lectura SIMCE Matemáticas
En síntesis
• Chile ha implementado diversos mecanismos de accountability para intentar mejorar la calidad de las escuelas.
• El accountability del Estado ha sido implementado de forma reciente.
• Las primeras investigaciones indican que sí genera cambios en las políticas estratégicas de las escuelas, pero sin involucrar a los docentes.
• También las políticas de accountability generan comportamiento estratégico y selección
• Aún no se sabe si es efectivo para mejorar los resultados de aprendizaje de los estudiantes, pero los resultados sugieren que hay un efecto global de las reformas en el sistema
El Impacto de las Presiones de Accountability Escolar en Chile en la Corupción
Chile Transparente Noviembre, 2013
Gregory Elacqua Instituto de Políticas Públicas
Universidad Diego Portales