DiversidadCulturalyValidezenlasPruebasdeAprovechamientoEscolar:RetosPrác>cosy

PosibilidadesMetodológicas

GuillermoSolano-FloresStanfordUniversity

Seminario,EvaluaciónyDiversidad:Jus7ciayEquidadenlaEvaluaciónEduca7va”

Ins7tutoNacionalparalaEvaluacióndelaEducaciónCiudaddeMéxico,22desep7embrede2016

Definiciones•  Cultura.Conjuntodevalores,experiencias,patronesdecomunicación,formasdesocializaciónycircunstanciashistóricasquecompartenlosindividuosdeungruposocial.*

•  Validezcultural.Gradodeefec7vidadconelqueelprocesodeevaluaciónconsideralasinfluenciassocioculturalesenlamaneraenquelosestudiantesinterpretanlosítemsdeunapruebayrespondenaesosítems.Talesinfluenciasincluyen:experienciassocialesdiarias,patronesdecomunicación,variedadesdelenguaje,epistemologías,ycondicionessocioeconómicas.***ConsejoTécnicoEspecializadoAd-HocparalaElaboracióndeCriteriosTécnicosdeValidezCulturaldelosInstrumentosdeEvaluaciónEduca7va(2015).Promociónyevaluacióndelavalidezculturalenlasac7vidadesevalua7vasdelINEE.(PorOrdenAlfabé7codeApellido):Gigante,E.vonGroll,B.Mar7nez-Casas,R.,Sandoval-Cruz,F.ySolano-Flores,G.(2015).Ins7tutoNacionalparalaEvaluacióndelaEducaciónCiudaddeMéxico,D.F.,Enero16.**Solano-Flores,G.,&Nelson-Barber,S.(2001).Ontheculturalvalidityofscienceassessments.JournalofResearchinScienceTeaching,38(5),553-573.

Limitacionesenlasprác7casevalua7vas•  Sepiensaendiversidadculturalylingüís7caalfinaldelprocesode

desarrollodelaprueba•  Seasumeuniversalidadeneldiseñodeítems•  Seinvocalaexistenciadetécnicasestadís7casparaanalizarsesgo,sinque

realmenteselesemplee•  Setrataaladiversidadculturalcomounasuntosuperficial,notécnico•  Seasignanpocosrecursosypoco7empoparaexaminarasuntosde

cultura•  Seusanopromuevenestereo7possociales•  Sesubes7malacomplejidaddelosasuntosculturalesylingüís7cos•  Sehacealgoconrespectoaculturaporconvenienciapolí7ca,sinun

compromisoprofundo•  Seconsideraquelasaccionesparatratarculturasonopcionales•  Seoperacionalizaalaculturademanerainadecuada

Factoresagravantes•  Pocosexpertosenmediciónestáninteresadosenconocera

fondolasbasesteóricasdelarelaciónentrecognición,culturaylengua

•  Pocosexpertosenantropologíaylingüís7caestáninteresadosenconocerafondolasbasesteóricasymetodológicasdelamedición

•  Seestableceunafalsadicotomíaentrelocualita7voylocuan7ta7vo

•  Enlamayoríadelospaíses,existenpocosexpertosenmedición

•  Muchospaísesimportanprác7casevalua7vasdeotrospaíses,incluyendoaquellasque7enenquevercondiversidadcultural,sincues7onarsuslimitaciones

Buenaideas,dudosaimplementaciónEstándar3.3:Inclusióndesub-grupospoblacionales

Am

erican Educational Research Association, A

merican Psychological A

ssociation, and N

ational Council for Measurem

ent in Education (2014). Standards for Educational and Psychological Testing. Ch. 3, Fairnes in Testing, p. 64. W

ashington, DC: A

uthor.

Unejemplohistóricosobresesgoculturalenpruebas

¿Encadapardecaras,cuálesmásbonita?**¿Quélefalta?*

*Basadoeny**citadoporJensen,A.R.(1960).Biasinmentaltes7ng.NewYork:TheFreePress.

Culturaycontextoenítems

Reportetécnico:UnpaneldeexpertosrevisólosítemsparaasegurarsedequenoresultarandiTcilesdeentenderparaalumnosdeciertosgruposculturalesolingüís7cos.NosaseguramosdeusarunlenguajeestándarenlaredaccióndelosítemsEmpleamoslosprincipiosdeldiseñouniversal

Item:Juanvaacenarconsuspapás.Supapádeja$17.00depropina.¿Cuáleseltotaldelacuentadelacena,suponiendoqueseagregael10%depropinaalacuentatotal?

Enfoquesconvencionaleseneltratamientodecultura:EjemplodeDIFendosítems

PuntuaciónZenlavariablelatente

Prob

abilidadde

repu

estacorrecta

Sinfuncionamientodiferencial

Confuncionamientodiferencial

Adaptadode:Zumbo,B.D.(1999).AHandbookontheTheoryandMethodsofDifferen7alItemFunc7oning(DIF):Logis7cRegressionModelingasaUnitaryFrameworkforBinaryandLikert-type(Ordinal)ItemScores.OlawaON:DirectorateofHumanResourcesResearchandEvalua7on,DepartmentofNa7onalDefense.

Población1Población2

Limitacionesenelanálisisdelfuncionamientodiferencialdeítems

•  Suponeheterogeneidadenlaspoblaciones•  Requieredeunnúmerorela7vamentegrandedeestudiantesencadagrupo

•  Se7enequerealizarseparadamenteporcadaítem

•  Seiden7ficaalosítemsinadecuadosmuytardeenelprocesodeevaluación

•  Conduceapensarenvalidezentérminosdeungrupopoblacional,nodelosconstructosevaluados

PROMOCIÓNYEVALUACIÓNDELAVALIDEZCULTURALENLASACTIVIDADESEVALUATIVASDELINEE

ConsejoTécnicoEspecializadoAd-HocparalaElaboracióndeCriteriosTécnicosdeValidezCulturaldelosInstrumentosde

EvaluaciónEduca>va

CiudaddeMéxico,D.F.,Enero16de2015

Necesidaddenuevasmetodologías

Definicionesdevalidez•  …juicioevalua7vointegralsobreelgradoenquela

evidenciaempíricayelrazonamientoteóricoapoyanlaadecuaciónylapropiedaddelasinferenciasylasaccionesbasadsencalificacionesdepruebasuotrasformasdeevaluación(Messick,1989)

•  …gradoenquelaevidenciayteóricaapoyanalasinterpretacionesdelascalificacionesenpruebasparalosusospropuestosdeesaspruebas(AERA,APA,&NCME,2014)

•  …gradoenelquesepuedenhacergeneralizacionesapropiadasacercadelashabilidadesyelconocimientodelosestudiantesenunáreadedominiodeterminadaconbaseensudesempeñoenunaprueba

Argumentosyevidenciaenapoyoageneralizacioneseinterpretaciones

Poblacióntotal

Grupodereferenciaygrupofocal

Desagregación

Segmentopoblacionalpredominante

(GrupodeReferencia)

Segmentopoblacionalminoritario(GrupoFocal)

Prueba

Estudiantesdegrupospredominantesyminoritarios

Prueba

SegmentopoblacionalpredominantePrueba

SegmentopoblacionalminoritarioPrueba

Ejemplo1:Desagregregación

Númeromínimodeítemsnecesariosparaobtenercoeficientesdegeneralizabilidadaceptables

GrupoPredominante

GrupoMinoritario1

GrupoMinoritario2

16

19

25

Basadoen:Solano-Flores,G.,&Li,M.(2006).Theuseofgeneralizability(G)theoryinthetes7ngoflinguis7cminori7es.Educa7onalMeasurement:IssuesandPrac7ce25(1),13-22.

Ejemplo2:Entrevistascogni7vasyvalidacióncultural

Solano-Flores, G., & Li, M. (2009). Generalizability of cognitive interview-based measures across cultural groups. Educational Measurement: Issues and Practice, 28 (2), 9-18.

hlps://www.smarterbalanced.org/wp-content/uploads/2015/08/Item-Accessibility-and-Language-Varia7on-Conceptual-Framework.pdf

Eltópicoolasituaciónreflejalaviday

elambientesocialde…

…muchosalumnos,independientementedesugrupocultural,étnicoosocioeconómico.

…individuosdeungrupocultural,étnicoosocioeconómicoespecíficoperoesfamiliaroconocidoporindividuosdemuchosotrosgrupos.

…individuosdeungrupocultural,étnicoosocioeconómicoespecíficoyespocofamiliaroesdesconocidoporindividuosdeotrosgrupos.

Contextosocialimplícitoeneldiseñodeítems

Adaptadode:Solano-Flores,G.,Shade,C.,&Chrzanowski,A.(2014).Itemaccessibilityandlanguagevaria7onconceptualframework.SubmimedtotheSmarterBalancedAssessmentConsor7um.October10.hlp://www.smarterbalanced.org/wordpress/wp-content/uploads/2014/11/ItemAccessibilityandLanguageVaria7onConceptualFramework_11-10.pdf

Ejemplo3:Sistema7zacióneneldesarrollodepruebas

Ejemplo4:Sistema7zacióneneldiseñodeítems

PersonajesFemeninos PersonajesMasculinos

Adaptadode:Solano-Flores,G.,Shade,C.,&Chrzanowski,A.(2014).Itemaccessibilityandlanguagevaria7onconceptualframework.SubmimedtotheSmarterBalancedAssessmentConsor7um.October10.hlp://www.smarterbalanced.org/wordpress/wp-content/uploads/2014/11/ItemAccessibilityandLanguageVaria7onConceptualFramework_11-10.pdf

Nombresdepersonajesfic7ciosausarenlaspruebasdesarrolladasporunsistemadeevaluación

Criteriosdevalidezcultural•  Marcoconceptualdelosinstrumentosdeevaluación•  Especificacióndepoblacionesyunidadesdeanálisis•  Estrategiaparaconsiderardiversidadcultural,lingüís?caysocioeconómica•  Especificacióndeítems•  Profesionalesinvolucradoseneldesarrollodelosítems•  Representacióndepoblacionesdiversasenlasmuestras•  Validacióncogni?vo-cultural•  Revisióndeexpertos•  Análisisdesesgocultural•  Estudiosdegeneralizabilidad•  Tiemposycalendarios•  Mecanismosdecorrección

Enfasisenelprocesodedesarrollodepruebas:Accionesinmediatas

•  Desarrollarundocumentoconelmarcopoblacionalquedefinagruposdeinterés–  Localidad:ruralyurbana–  Nivelessocioeconómicos:alto,medioybajo–  Etnicidad:indígena,noindígena–  Lenguamaterna:español,lenguaindígena

•  Probarborradoresdelosítemsconmuestrasdeestudiantespertenecientesaesosgruposdeinterés

•  Inclusióndelingüistasyantropólogosenlosequiposdeautoresdeítems

•  Inclusióndemaestrosprovenientesdemúl7plescontextossociales

Gracias!

gsolanof@Stanford.edu