8/13/2019 METAEVALUACION.doc

1/6

Metaevaluacin de las escuelas

En el presente artculo el autor, Miguel ngel Santos Guerra, plantea la metaevaluacin de lasescuelas como un proceso de valoracin de las evaluaciones, de naturaleza cualitativa, que darespuesta a aspectos inquietantes como el aprendizaje, la mejora, el rigor, la transferencia y la

tica !a significativa importancia a este "ltimo, pues considera que, adem#s de ser lametaevaluacin un proceso tcnico, contiene una dimensin tica, por lo cual menciona docecriterios de car#cter a$iolgico

%gualmente, en forma &reve, refiere la manera de realizar este proceso, desatacando el proceso denegociacin, la aplicacin de criterios, el juicio de e$pertos y la opinin de los protagonistas

Se est hablando y escribiendo mucho sobre laevaluacin de los centros escolares, se estnhaciendo muchas evaluaciones, se est

generando una cultura sobre la evaluacin. Anteese hecho no hay que lanzar las campanas alvuelo, porque lo ms importante no es hacermuchas evaluaciones, ni siquiera hacerlas bien.Lo ms importante es saber al servicio de qu

personas y de qu valores se ponen. Quierollamar la atencin en estas lneas sobre lanecesidad de analizar lo que sucede con lasevaluaciones. !o basta, pues, ponerlas enmarcha para que ya nos sintamos satis"echos. Lametaevaluacin #o proceso de evaluacin de las

evaluaciones$ permite preguntarse, al menos,por estas cinco cuestiones%

1 El aprendizaje

&s necesario aprender de las evaluaciones que se realizan. 'odos podemos aprender% lospatrocinadores, los evaluadores, los evaluados. (ero solamente lo podremos hacer si re"le)ionamosde "orma rigurosa y desapasionada sobre los procesos y los resultados.

!o es razonable repetir los errores de manera casi mecnica. &n la evaluacin que se pone enmarcha por prescripcin legal se produce un cruce de modelos verdaderamente inquietante. Se correel peligro de que la evaluacin no responda plenamente ni a uno ni a otro. (or una parte, se trata deuna evaluacin de rendimiento de cuentas #accountability$ ya que la ordena el poder y la realiza laautoridad acadmica #inspectores$. (or otra parte, se pretende hacer de ella una evaluacinnegociada, consensuada, participativa y democrtica.

Si se negocia, *se puede plantear la posibilidad de que los evaluadores sean agentes e)ternos alsistema+, *se puede sugerir que sean otros los mtodos+, *se puede decidir desde las escuelas quhacer con los in"ormes+...

&s necesario preguntarse por la actitud de los pro"esores y pro"esoras, por la arti"icializacin delcomportamiento cuando se hacen observaciones, por la calidad de la in"ormacin cuando se hacen

entrevistas, por la riqueza de los in"ormes elaborados, por la negociacin de los mismos, por lacapacidad de trans"ormacin que est teniendo la evaluacin... &s necesario preguntarse por lapreparacin de los inspectores para hacer un tipo determinado de evaluacin, por el tiempo de que

8/13/2019 METAEVALUACION.doc

2/6

disponen, por sus habilidades para llevarla a cabo... &s imprescindible interrogarse por la actitud delpro"esorado ante la evaluacin% por sus reticencias, por su colaboracin, por su disposicin alcambio...*(or qu repetir los errores de una "orma irracional y perseverante+ *Quin garantiza que los

buenos propsitos al realizarla no han producido e"ectos secundarios dainos+ *Quin puedea"irmar que est inmunizado contra la comisin de errores+ Si as ha sido, *!o es razonable y -usto

que se traten de evitar en "uturas e)periencias+

&l aprendiza-e no se produce solamente sobre los "allos, errores o con"lictos. 'ambin es importanteanalizar y desentraar las e)plicaciones sobre los aciertos, sobre la colaboracin abierta, sobre lare"le)in rigurosa, sobre el conocimiento elaborado, sobre los cambios e"ectivos...

2 La mejora

S que la palabra me-ora es casi in"inita en sus contenidos semnticos. *Qu es me-ora+ Sinembargo es una pregunta capital. ay que desentraar el signi"icado de este concepto como hay quehacerlo con el de calidad. /e lo contrario, no slo se producir con"usin, sino tambin perversin.0uando se realizan simpli"icaciones, suelen hacerse de manera interesada.

Quien identi"ica calidad con rendimiento de alumnos es porque est interesado en que as sea. Laevaluacin tiene que estar encaminada a la me-ora de la prctica educativa. La evaluacin es ungaranta de la calidad para el centro educativo #0asanova, 1223$, siempre y cuando se realice, seoriente, se encamine a la me-ora y no tanto al control, a la comparacin, a la clasi"icacin, a la

-erarquizacin o a la discriminacin.

(ara que la me-ora se produzca es necesario que la disposicin de los que intervienen en ella seaabierta y comprometida. Si no e)iste actitud autocrtica y apertura a la opinin e)terna es muydi"cil que cambie algo pro"undamente. Si no e)iste una actitud comprometida con la prctica, esimposible que las trans"ormaciones a"ecten a zonas signi"icativas. Los cambios, si se producen,sern super"iciales y anecdticos. ablo de disposicin positiva de todos los que intervienen en laevaluacin. &so atae tambin a la Administracin.

Si la evaluacin muestra carencias, de"iciencias o errores en la gestin del sistema educativo,habrn de percibir los pro"esores que e)iste disponibilidad para asumir las decisiones de me-ora. Sino sucede as, el pro"esorado ver la evaluacin como un "enmeno de -erarquizacin y de control.

La me-ora e)ige una negociacin de los in"ormes e)tensa y pro"unda. La negociacin de in"ormeses la piedra angular de la evaluacin #Santos 4uerra, 1225$, porque permite conocer con claridad yrigor qu es lo que sucede y por qu. /e ese conocimiento pueden surgir las decisiones de cambio.

3 El rigor

6na de las preocupaciones ms importantes de la metaevaluacin es la comprobacin del rigor queha tenido la evaluacin. La evaluacin que de"iendo es de naturaleza cualitativa por considerar queno se puede captar "enmenos comple-os desde mtodos cuantitativos y, por consiguiente,simpli"icados.

!o se deben aplicar a la utilizacin de metodologa cualitativa los presupuestos de la validez que sevienen aplicando en la investigacin e)perimental. &sa dependencia genera una distorsin delmodelo y no da respuesta a la verdadera cuestin% *0mo saber si la evaluacin que se ha realizadore"le-a con rigor lo que sucede en la escuela+ &s preciso aplicar los criterios de credibilidad y

comprobar en qu medida esa evaluacin los cumple. 7eamos algunos e-emplos%Si se han utilizado mtodos diversos para e)plorar el centro y se han triangulado las in"ormacionesprocedentes de ellos, habr ms rigor que si se ha utilizado un solo mtodo. &l proceso de

8/13/2019 METAEVALUACION.doc

3/6

triangulacin consiste en la constatacin, en la depuracin de los datos. La in"ormacin procedentede distintos mtodos no siempre dice lo mismo. !o se trata con la triangulacin de eliminar lasdiscrepancias, sino de e)plicarlas.

Si se ha permanecido un tiempo largo en el centro observando lo que en l sucede, habr msgarantas que si solamente se ha permanecido en l un tiempo muy breve. Las pistas de revisin

permiten hacer una valoracin sobre la naturaleza, el sentido, la tica y el rigor de la evaluacin.*&)isten esas pistas+

4 La transferencia

La evaluacin que se hace de una escuela puede servir para el aprendiza-e y el cambio de otrasescuelas. &l hecho de que cada escuela sea di"erente no oculta las caractersticas comunes que lasde"inen a todas. /i"undir los in"ormes de las evaluaciones #salvaguardando el anonimato de los

protagonistas$ puede ayudar a comprender lo que sucede con las escuelas. 8 puede servir para quealgunas re"le)ionen sobre los resultados habidos en otras.

(ara que la trans"eribilidad pueda producirse hay que partir de descripciones minuciosas. Las

a"irmaciones de carcter genrico no aportan in"ormacin relevante. /ecir que un centro 9"uncionabien9, que tiene 9clima e)celente9, que tiene 9magn"icos resultados9, no nos permite conocer nada.&n la medida que los centros tengan caractersticas y conte)tos ms similares, la trans"eribilidadser ms "cil. &n e"ecto, es razonable esperar que lo que sucede en un centro privado se repita enotro de este mismo tipo. &s probable que una escuela rural se parezca ms a otra de este carcterque otra situada en una gran urbe. 8 que un centro de gran tamao se aseme-e ms a otro de estascaractersticas que a una escuela unitaria.

&)iste otra "orma de establecer trans"eribilidad, que se ha denominado 9reader made9, hecha por ellector del in"orme. &ste se pregunta% *(asar algo parecido en este otro centro+ Quien lee unin"orme sobre la evaluacin de una escuela y est en otra, puede preguntarse "cilmente% *(asaralgo similar en la ma+

5 La tica

:e detendr algo ms en este apartado por considerarlo esencial en la metaevaluacin. Lametaevaluacin no es un proceso e)clusivamente tcnico. 0omo la misma evaluacin, tiene unadimensin sustancialmente tica. (or eso, la metaevaluacin no se centra e)clusivamente en la

b;squeda de criterios de carcter metodolgico o algortmico, sino que se ha de centrar en suvertiente moral.

&n otro lugar #Santos 4uerra, 122

8/13/2019 METAEVALUACION.doc

4/6

verdad.o Silenciar los resultados de la evaluacin respecto a los evaluados o a otras

audiencias.o Seleccionar aquellos aspectos que permiten tomar decisiones que apoyan las

iniciativas, ideas o planteamientos del poder.o acer p;blicas slo aquellas partes del in"orme que tienen un carcter halagador para

el poder.o /escali"icar la evaluacin achacndole "alta de rigor si los resultados no interesan.o /ar por buenos los resultados de la evaluacin a pesar de su "alta de rigor, cuando

esto es lo que interesa.o 6tilizar los resultados para tomar decisiones clara o subrepticiamente in-ustas.o Aprovechar la evaluacin para hacer "alsas comparaciones entre lo que es realmente

incomparable.o Atribuir los malos resultados no al desarrollo del programa sino a la torpeza, la

pereza o la mala preparacin o voluntad de los usuarios del mismo.

&s necesario mantener la vigilancia sobre esta cuestin trascendental porque no se trata de evaluarmucho, ni siquiera de evaluar de "orma tcnicamente per"ecta, sino de saber al servicio de quin yde qu valores se pone la evaluacin.

!adie se alegrara de que se abriese una "brica de cuchillos en una localidad si supiera que sudestino era la distribucin de estos entre los ciudadanos para e-ercitarse en el acuchillamiento de susenemigos.

&l quebrantamiento de la tica puede darse en el "enmeno mismo de la evaluacin, en suglobalidad o en algunos de sus partes espec"icas. Se puede poner en marcha una evaluacin alservicio del poder, del dinero o del prestigio de los patrocinadores, por e-emplo. 8 se puede obtener

in"ormacin de "orma "raudulenta realizando entrevistas que estn "alsamente planteadas. 0are#12=5$ plantea las e)igencias de un contrato equitativo de evaluacin. &n ese proceso se ponen loscimientos del edi"icio de la tica.Aunque no todas las e)igencias tienen la misma importancia ni su presentacin est organizadaseg;n criterios a)iolgicos, es de inters enumerarlas con un brevsimo comentario.a$ Ausencia de coercin% La equidad e)ige que los que tiene que participar en la evaluacin#evaluadores, evaluados, colaboradores, -ueces...$ no estn su-etos a presiones coercitivas. Se sabeque esas presiones pueden ser brutales o sutiles. >nternamente, tampoco deben e)istir mecanismosde control% nadie #persona o grupo$ debe e-ercer presin ni control sobre otros.

b$ ?acionalidad% Los participantes han de actuar de "orma lgica y sensata. &sto quiere decir eldiscurso y el proceso de la evaluacin estn presididos por argumentos y no por caprichos o

intereses.c$ Aceptacin de los trminos% Las partes que "irman el acuerdo aceptan libremente lasreglas de procedimiento que han sido "ormuladas de manera clara y transparente,tanto por lo que respecta a la naturaleza, como a los ob-etivos y a los mtodos de la evaluacin.d$ Acuerdo con-unto% La equidad requiere que el acuerdo se considere como algo ms que lacoincidencia entre opciones individuales. La negociacin, cuando es intensa y sincera, no es un

proceso sencillo. &)ige tiempo, e)ige valenta. 8 una discusin sin barreras de todos losparticipantes.e$ /esinters% ay que someter los intereses particulares a las preocupaciones, problemas ynecesidades de la causa com;n. Llegar a un acuerdo no garantiza que se hayan supeditado losintereses particulares a los generales."$ 6niversalidad% La normativa tiene que a"ectar a todos por igual, incluidos los evaluadores. Si lanormativa e)ige que se trate de "orma distinta a di"erentes personas, todos pueden situarse encualquiera de esas "ormas.

8/13/2019 METAEVALUACION.doc

5/6

g$ >nters comunitario% Quienes llegan a un acuerdo para realizar la evaluacin deben tener comometa que se produzca el m)imo bene"icio para cada de los participantes.h$ >n"ormacin igual y completa% !adie debe tener acceso a una in"ormacin privilegiada. 6nacondicin de la equidad consiste en que los participantes reciban in"ormacin sobre los hechos

pertinentes y que sta se distribuya por igual.i$ Ausencia de riesgos% 6no de los propsitos del contrato de evaluacin es que no se deriven

riesgos para quienes se someten a ella, o bien reducirlos al mnimo.-$ 7iabilidad% &l contrato de evaluacin ha de ser de tal naturaleza que sea posible llevarlo a cabo.Los evaluadores no deben prometer actividades y oportunidades "antsticas, por ms deseables questas "ueran. &l inters por conseguir el contrato puede llevar a realizar promesas inviables. 0uandono es posible cumplir el contrato, ste no es equitativo.@$ 0ontar con todas las opiniones% (ara que el contrato sea equitativo, las partes deben tener laoportunidad de hacer constar lo que crean conveniente.l$ (articipacin% La condicin "inal del contrato es que todos los participantes puedan participar.'odo el mundo debe tener voz. La tica que se e)ige a la evaluacin ha de presidir tambin lametaevaluacin. *asta dnde ha de llegar esta e)igencia+ *Quin eval;a a los evaluadores+ Si seestablecieran 0omisiones de 4aranta de la tica, *quin e-ercera el control democrtico sobre

ellas+&n su e)celente y ya clsica obra B&valuation Cith validityD, traducida al castellano con el ttuloB&valuacin, tica y poderD, ouse #125E, versin espaola de 122F$ e)ige a la evaluacinveracidad, belleza y -usticia. !o siempre se plantea la evaluacin siguiendo estos criterios. 0uandose pretende medir los resultados de las e)periencias y de los centros escolares a travs de pruebasestandarizadas con el "in de hacer una clasi"icacin seg;n la posicin en la escala, y se concedenluego recursos siguiendo esa clasi"icacin, se est utilizando la evaluacin al servicio de lain-usticia y de la desigualdad. (or muy rigurosas y precisas que sean las pruebas, no se evita eldesa-uste moral. Se est dando a los que ms tienen #cultura, dinero, poder...$ todava ms a travsde un instrumento que parece neutral y asptico. &s una trampa terrible que algunos de"ienden de"orma ingenua y muchos de manera interesada.

6 !mo se realiza la metaevaluacin"

La metaevaluacin puede emprenderse paralelamente a la evaluacin, aunque tambin puederealizarse una vez "inalizada esta. (or tratarse de una evaluacin, han de e)igrsele todos aquellosrequisitos que se le pide a la evaluacin.&)isten varias "ormas de responder a las cuestiones que aqu se plantean%

a# El proceso de negociacin

&l proceso de negociacin de in"ormes es un e)celente camino que nos permite conocer cmo hasido el proceso de evaluacin y cmo se pueden considerar sus resultados. La negociacin no slo

se re"iere al contenido del in"orme% a"ecta tambin a la calidad de los procesos que han hechoposible su elaboracin. 8, cmo no, a las posibilidades de me-ora que de l parten.Si e)isten, como en el caso de las escuelas, muchas evaluaciones, se puede emitir un -uicio msriguroso sobre lo que supone la evaluacin y sobre lo que sera preciso hacer para me-orarla.Algunas e)periencias apuntan a este tipo de procesos de metaevaluacin #Lu-n y (uente, 122G$. Loimportante es sacar de ellas los elementos necesarios para iluminar y dirigir las decisiones polticas,la intervencin de los e)pertos y la prctica de los docentes.

$# %plicacin de criterios

ay que remitirse aun artculo de 4uba #122

8/13/2019 METAEVALUACION.doc

6/6

re"irindose de "orma especial a las evaluaciones de carcter naturalista.

c# &uicio cr'tico de e(pertos

Se puede encomendar a e)pertos que no han participado en la evaluacin y que tampoco estnvinculados a la accin evaluada, la emisin de opiniones sobre el proceso de evaluacin.(ara poder realizar un -uicio "undado, los e)pertos tienen que conocer lo que ha sucedido en la

evaluacin. (ara ello dispondrn de todos los materiales y podrn entrevistar a los protagonistas%patrocinadores, evaluadores y evaluados.La metaevaluacin debe "acilitar el aprendiza-e de los evaluadores quienes, a travs de anlisis,sugerencias y preguntas se acercan a la comprensin de los procesos.

d# )pinin de los protagonistas

6na vez "inalizada la evaluacin, los protagonistas pueden emitir sus opiniones por escrito o de"orma oral, de manera que sea posible descubrir aquellos problemas, di"icultades o "allos que hayancondicionado el proceso.Si los protagonistas de la accin tienen la clave del signi"icado, los de la evaluacin tienen en susmanos la interpretacin de lo que ha sucedido en todas las "ases de la evaluacin. &llos saben qu

sucedi con la iniciativa, cmo se hizo la negociacin, cmo se ha e)plorado, qu ha sucedido conlos in"ormes, cmo se han respetado las normas. A ellos, pues, hay que preguntar, garantizando lascondiciones de una e)presin libre.

Autor:iguel A. Santos 4uerraH :etaevaluacin de las escuelas?ecuperado dehttp%HHCCC.saber.ula.veHbitstreamH13