Validación de un instrumento para el análisis y evaluación ... · (Murphy, 2003; Camacho, 2004;...

127

Artículo recibido: 9 de noviembre de 2015.

Artículo aceptado:22 de agosto de 2016.

INVESTIGACIÓN BIBLIOTECOLÓGICA, vol. 31, núm. 71, enero/abril, 2017, México, ISSN: 0187-358X, 127-149

*** Es doctor en Ciencias de la Educación y profesor en el Departamento de Didáctica de las Lenguas, las Artes y el Deporte de la Facultad de Ciencias de la Educación de la Universidad de Málaga. Sus líneas de investigación son la didáctica de las destrezas orales y escritas, las bibliotecas escolares y la animación a la lectura. [email protected]

Validación de un instrumento para el análisis y evaluación de webs de bibliotecas escolares mediante el acuerdo interjueces

Resumen

En este trabajo, se expone la metodología seguida y los resultados obtenidos tras someter la propuesta inicial de un instrumento para el análisis y evaluación de webs de bibliotecas escolares (denominado instrumento piloto) a un proceso de validación a través de un acuerdo interjue-ces. Esta técnica consiste en establecer el grado de acuer-do entre varios especialistas de solvencia garantizada acerca de una serie de criterios científicos determinados. Para ello se recabó el juicio de nueve personas expertas en bibliotecas escolares y evaluación de webs educativas.

Raúl Cremades*

128

INVE

STIG

ACIÓ

N BI

BLIO

TECO

LÓGI

CA, v

ol. 3

1, n

úm. 7

1, e

nero

/abr

il 20

17, M

éxic

o, IS

SN: 0

187-

358X

, pp.

127

-149 Se presentan las modificaciones experimentadas por

la propuesta inicial que han dado lugar al denominado instrumento definitivo, así como las conclusiones sobre el proceso completo de validación.

Palabras clave: Biblioteca escolar; Educación; Web de biblioteca escolar, Evaluación; Aprendizaje en lí-nea; Competencia digital; Acuerdo intejueces.

Abstract

Validation of School Library Websites Analysis and Evaluation Instrument through Interjudge AgreementRaúl Cremades

This paper describes the methodology employed and discusses findings of subjecting the initial proposal of an instrument for analyzing and evaluating school library websites (called pilot instrument) to an inter-rater vali-dation process. This technique consists of determining the degree of agreement on a number of scientific crite-ria among several reliable experts. With this objective in mind, the opinions of nine experts in school libraries and evaluation of educational websites were gathered. Changes undergone in original instrument design lead-ing so-called “final instrument” are presented, and con-clusions regarding the entire validation process are also provided.

Key words: School library; Education; School li-brary web; Evaluation; Online learning; Digital competence; Interjudge agreement.

Introducción

El instrumento creado por Raúl Cremades1 para el análisis y evaluación de webs de bibliotecas escolares, consiste en un sistema de categorización je-rárquica basado en los conceptos de parámetros e indicadores propuestos por Codina (2000: 35), el cual define los primeros como propiedades o ca-racterísticas de los recursos digitales objeto de evaluación, y los segundos

1 Aunque el instrumento fue utilizado por el autor para llevar a cabo en 2012 un amplio estudio inédito sobre bibliotecas escolares en Andalucía y Extremadura, se publica aquí por primera vez en su totalidad.

129

VALIDACIÓN DE UN INSTRUMENTO PARA EL ANÁLISIS Y EVALUACIÓN DE WEBS…

como los aspectos o elementos que se tienen en cuenta para evaluar la calidad de un indicador. Los elementos categoriales del citado instrumento están basados tanto en las propuestas de expertos en evaluación de webs (Bazin, 1999; Codina; 2000; Romagnoli et al., 2001; Merlo, 2003; Martín, 2005; Ayuso y Martínez; 2006; Jiménez-Piano y Ortiz, 2007) como en las consideraciones específicas de especialistas en webs de bibliotecas escolares (Murphy, 2003; Camacho, 2004; Luque, 2007).

El presente trabajo se centra en la exposición de la metodología seguida y los resultados obtenidos tras someter la propuesta inicial del autor del instru-mento (denominada instrumento piloto) a un proceso de validación a través de un acuerdo interjueces. Se presentan, por tanto, las modificaciones expe-rimentadas por la propuesta inicial con motivo de la valoración y opiniones vertidas por los jueces, que han dado lugar al resultado final (denominado instrumento definitivo), y se exponen las conclusiones obtenidas tras la ejecu-ción del proceso.

Metodología

Como afirman Julio Cabero y Felicidad Loscertales (1996), una de las formas de asegurar la fiabilidad de un sistema categorial es la consulta con expertos para comprobar el grado de acuerdo en su interpretación de ese sistema. En-tre las técnicas de consulta a expertos se encuentra la del acuerdo interjueces (Dubé, 2008: 75-80), que consiste en establecer el grado de acuerdo entre varias personas de solvencia garantizada acerca de una serie de criterios cien-tíficos determinados.

El objetivo esencial de nuestra investigación es transformar el instrumen-to piloto para mejorarlo a través de las opiniones, valoraciones y sugerencias que alcancen el consenso necesario al llevar a cabo el método del acuerdo interjueces. Pero debemos tener en cuenta, como punto de partida, que el instrumento ha sido creado para utilizarse mediante el análisis de contenido, definido por Bernard Berelson (1952) como “una técnica de investigación para la descripción objetiva, sistemática y cuantitativa del contenido mani-fiesto de la comunicación”. A la luz de esta definición, Javier Álvarez Galvez (2012: 130-150) resalta la importancia de garantizar la reproductividad y la validez de los resultados estableciendo una serie de reglas predefinidas por el investigador. Estos mismos principios son los que incluye Krippendorff en su definición del análisis de contenido: “una técnica de investigación para la realización de inferencias replicables y válidas a partir de textos (u otros con-tenidos significativos) en relación con su contexto de uso” (2004: 18).

130

INVE

STIG

ACIÓ

N BI

BLIO

TECO

LÓGI

CA, v

ol. 3

1, n

úm. 7

1, e

nero

/abr

il 20

17, M

éxic

o, IS

SN: 0

187-

358X

, pp.

127

-149 Los pasos que deben seguirse en el análisis de contenido han sido sinte-

tizados por Jaime Andréu Abela (2001: 11) en estas cinco acciones: 1. deter-minar el objeto o tema de análisis; 2. establecer las reglas de codificación; 3. especificar el sistema de categorías; 4. comprobar la fiabilidad del sistema de codificación-categorización; 5. realizar inferencias. Una de las maneras sugeridas por Andréu para comprobar la fiabilidad del sistema de codifica-ción-categorización (en nuestro caso, concretado en el instrumento piloto) es la valoración de los codificadores (en este caso, los jueces o expertos):

La fiabilidad se expresa como una función del acuerdo alcanzado en-tre los codificadores sobre la asignación de las unidades a las diversas categorías. Si dicho acuerdo es total para todas las unidades, está ga-rantizada la fiabilidad, por el contrario si no es mayor que el corres-pondiente al azar, la fiabilidad es nula (Abela, 2001: 19).

La metodología que sigue nuestra investigación incluye la codificación manual, es decir, el uso de codificadores humanos que aporten su valoración personal de los textos, según una serie de reglas o criterios comunes. Pero, como afirma Álvarez Gálvez (2012: 136), no todo el mundo es válido para codificar. Los prerrequisitos esenciales de los codificadores son dos: fami-liaridad hacia la información tratada y entrenamiento en el sistema de codifi-cación (Krippendorff, 2004). Asimismo, es muy recomendable que todos los miembros del grupo de codificadores tengan unos niveles culturales, educa-tivos y profesionales similares (Peter y Lauf, 2002: 815-832), ya que una parte esencial de su tarea se basará en la comprensión e interpretación de los datos textuales sometidos a acuerdo.

El análisis de las coincidencias y discrepancias es la base de la metodolo-gía del acuerdo interjueces (Muñoz, Montoro y Luque, 2006: 519-537), pero debemos tratar de reducir al máximo el inevitable sesgo personal proporcio-nándoles una serie de criterios claros y estables. Cuanto mayor es el número de jueces, más importante será el rigor de esos criterios que, en nuestro ca-so, han sido fijados a través de un cuestionario y sus correspondientes ins-trucciones. El cuestionario ha sido estructurado en tres partes: la primera consiste en una valoración mediante opciones múltiples de cada uno de los ítems del instrumento piloto; la segunda es una pregunta abierta sobre po-sibles ítems no incluidos; y la tercera es otra pregunta abierta sobre posibles comentarios generales respecto al instrumento piloto.

Por último, una vez fijados los criterios, se deben establecer los límites de aceptabilidad de los acuerdos. Como afirman U. N. Umesh, Robert A. Peter-son y Mattehew H. Sauber (1989: 835), decidir si un determinado valor del

131


porcentaje de acuerdo es suficiente o insuficiente no resulta fácil en la prác-tica. Para nuestra investigación se ha decidido acudir a la interpretación de J. Richard Landis y Garay G. Koch (1977: 159-174) y adaptar sus valoraciones sobre lo que debe considerarse “acuerdo moderado” y “acuerdo sólido”, co-mo se verá más abajo en la Tabla 2, teniendo en cuenta tanto los objetivos del instrumento piloto como el número de jueces participantes.

Instrumento piloto

Diseñado para ser usado con la técnica del análisis de contenido y con la re-gla de recuento de la presencia de los elementos definidos en sus categorías (Andréu Abela, cit. en Landis y Koch, 1977: 11-19), el instrumento piloto pa-ra el análisis y evaluación de webs de bibliotecas escolares estaba compuesto por los sesenta y ocho ítems (dos parámetros, doce indicadores y cincuenta y cuatro subindicadores) que se exponen en la Tabla 1.

Tabla 1. Instrumento piloto para el análisis y evaluación de webs de bibliotecas escolares

Parámetro 1 Aspectos formales y organizativos

Indicador 1.1 Diseño de la web

Subindicador 1.1.1 Tipo y tamaño adecuado de letra para facilitar la lectura.

Subindicador 1.1.2 Distribución espacial del texto adecuada para facilitar la lectura.

Subindicador 1.1.3 Contraste adecuado de colores para facilitar la lectura.

Subindicador 1.1.4Las imágenes y los textos se complementan de forma adecuada para un eficaz acceso a la información.

Subindicador 1.1.5 Se destaca de algún modo la información más reciente o más importante.

Indicador 1.2 Navegación por la web

Subindicador 1.2.1 Existe enlace directo desde la web principal del centro.

Subindicador 1.2.2 Existe mapa de la web del centro o de la web de la biblioteca escolar.

Subindicador 1.2.3 Incluye enlaces internos entre las distintas secciones de la web.

Subindicador 1.2.4Se ofrece información del apartado donde se encuentra el usuario en cada momento.

Subindicador 1.2.5 Se muestra la diferencia entre enlaces visitados y no visitados.

Subindicador 1.2.6Se indica el nivel de accesibilidad de la web para personas con problemas de audición, visión o movilidad.

Subindicador 1.2.7 Existen motores de búsqueda simple o avanzada de información.

Indicador 1.3 Interactividad y herramientas 2.0

132

INVE

STIG

ACIÓ

N BI

BLIO

TECO

LÓGI

CA, v

ol. 3

1, n

úm. 7

1, e

nero

/abr

il 20

17, M

éxic

o, IS

SN: 0

187-

358X

, pp.

127

-149 Subindicador 1.3.1 Se ofrece a los usuarios alguna posibilidad de interacción.

Subindicador 1.3.2 Dispone de blog o la web es un blog.

Subindicador 1.3.3 Dispone de wiki o la web es una wiki

Subindicador 1.3.4 Se ofrecen fotografías, presentaciones o vídeos alojados en la World Wide Web.

Subindicador 1.3.5 Se ofrecen podcasts o audiolibros.

Subindicador 1.3.6 Dispone de chat.

Subindicador 1.3.7 Dispone de posibilidad de redifusión web o sindicación web.

Subindicador 1.3.8 Dispone de presencia o interactividad con redes sociales.

Indicador 1.4 Luminosidad de la web

Subindicador 1.4.1 Ofrece algún enlace externo.

Subindicador 1.4.2 Ofrece enlaces a otras bibliotecas escolares.

Subindicador 1.4.3 Ofrece enlaces a otras webs relacionadas con la biblioteca escolar.

Subindicador 1.4.4 Ofrece enlaces a webs relacionadas con competencias lingüísticas y literarias.

Subindicador 1.4.5 Tiene enlaces que no funcionan.

Parámetro 2 Contenidos

Indicador 2.1 Información sobre la biblioteca escolar

Subindicador 2.1.1 Se informa sobre el nombre propio, la mascota o el logo de la biblioteca escolar.

Subindicador 2.1.2 Se ofrece un plano de la biblioteca escolar.

Subindicador 2.1.3 Se informa sobre el horario y/o las normas de uso de la biblioteca escolar.

Subindicador 2.1.4 Se informa sobre los servicios u objetivos de la biblioteca escolar.

Subindicador 2.1.5 Se informa sobre los planes vinculados a la biblioteca escolar.

Subindicador 2.1.6 Se informa sobre proyectos propios de la biblioteca escolar.

Subindicador 2.1.7 Se ofrece acceso al catálogo de la biblioteca escolar.

Indicador 2.2 Información sobre autoría y responsabilidad

Subindicador 2.2.1 Aparece el nombre de la persona autora y/o responsable de la web.

Subindicador 2.2.2Se facilita correo electrónico u otro modo de contacto con la persona responsable de la web.

Indicador 2.3 Actualización de los contenidos

Subindicador 2.3.1 Se indica fecha de inauguración de la web.

Subindicador 2.3.2 Se indica fecha de última actualización.

Subindicador 2.3.3 La web se ha actualizado durante el último curso escolar.

Indicador 2.4 Publicaciones periódicas propias o relacionadas

Subindicador 2.4.1Se ofrece información sobre boletín de la biblioteca escolar en papel o en formato digital.

Subindicador 2.4.2 Se ofrece información sobre revista escolar en papel o en formato digital.

Indicador 2.5 Información (sincrónica, diacrónica y selectiva) sobre actividades propias

Subindicador 2.5.1 Se informa sobre actividades propias presentes.

133


Subindicador 2.5.2 Se informa sobre actividades propias pasadas.

Subindicador 2.5.3 Se informa sobre actividades propias futuras.

Subindicador 2.5.4La información sobre actividades propias se dirige específicamente a distintos miembros de la comunidad educativa.

Indicador 2.6 Posibilidad de realizar actividades

Subindicador 2.6.1 Se ofrecen actividades propias de comprensión oral.

Subindicador 2.6.2 Se ofrecen actividades propias de lectura y comprensión lectora.

Subindicador 2.6.3 Se ofrecen actividades propias de expresión escrita.

Indicador 2.7 Materiales a disposición del alumnado

Subindicador 2.7.1 Se ofrecen textos de temática general.

Subindicador 2.7.2 Se ofrecen audios de temática general.

Subindicador 2.7.3 Se ofrecen vídeos de temática general.

Subindicador 2.7.4 Se ofrecen textos orientados a la educación lingüística o literaria.

Subindicador 2.7.5 Se ofrecen audios orientados a la educación lingüística o literaria.

Subindicador 2.7.6 Se ofrecen vídeos orientados a la educación lingüística o literaria.

Indicador 2.8 Material didáctico para docentes y padres

Subindicador 2.8.1 Se ofrece algún tipo de material didáctico propio para docentes.

Subindicador 2.8.2 Se ofrece algún tipo de material didáctico propio para padres.

La fundamentación teórica de los parámetros, indicadores y subindica-dores que componen el instrumento piloto ha sido publicada previamente por el autor, tanto para los contenidos (Cremades, 2013) como para los as-pectos formales y organizativos de las webs (Cremades, 2015).

Validación del instrumento: acuerdo interjueces

Para llevar a cabo la validación de nuestro instrumento piloto se recabó el juicio de nueve personas (ocho españolas y una chilena) expertas en biblio-tecas escolares y evaluación de webs educativas, seleccionadas por su expe-riencia personal y sus publicaciones científicas en la materia. Se consideró pertinente el número de jueces seleccionados siguiendo el criterio de Klaus Krippendorf (2004), que considera un número mínimo de dos personas con una demostrada independencia entre ellos y respecto a cualquier institución.

Los nueve jueces fueron María Isabel Borda, jueza uno (profesora del De-partamento de Didáctica de la Lengua y la Literatura de la Universidad de Málaga); Ana Castillo, jueza dos (profesora del Departamento de Información

134

INVE

STIG

ACIÓ

N BI

BLIO

TECO

LÓGI

CA, v

ol. 3

1, n

úm. 7

1, e

nero

/abr

il 20

17, M

éxic

o, IS

SN: 0

187-

358X

, pp.

127

-149 y Comunicación de la Universidad de Extremadura); Luis Miguel Cencerra-

do, juez tres (coordinador del Centro de Documentación e Investigación de Literatura Infantil y Juvenil de la Fundación Germán Sánchez Ruipérez en Salamanca); Jaume Centelles, juez cuatro (maestro y bibliotecario escolar del ceip Sant Josep-El Pi de L’Hospitalet, Barcelona); Glòria Durban, jueza cinco (responsable de la biblioteca de la Escuela Técnica Profesional del Clot, Bar-celona); José García Guerrero, juez seis (responsable del apoyo y desarrollo de las bibliotecas escolares en la Delegación de Educación de Málaga de la Junta de Andalucía); Pere Marquès, juez siete (profesor titular de Tecnología Edu-cativa del Departamento de Pedagogía Aplicada de la Universidad Autónoma de Barcelona); Constanza Mekis, jueza ocho (coordinadora nacional de Biblio-tecas Escolares/cra, Enseñanza Básica y Media del Ministerio de Educación de Chile); y María Dolores Moreno, jueza nueve (maestra y responsable de la biblioteca escolar del cp José María de Calatrava, Mérida, Badajoz).

Los cinco criterios que se siguieron para la selección de estos especialis-tas fueron:

1) Independencia. Ninguna de las nueve personas elegidas para valorar el instrumento piloto está sometida a ningún tipo de presión o sesgo institucional ni mantiene relación de dependencia con el resto.

2) Solvencia profesional. Todos los jueces son personas dedicadas pro-fesionalmente al mundo de la docencia, investigación o gestión, re-lacionadas con las bibliotecas escolares y con la evaluación de webs educativas. Todos cuentan con gran experiencia en su desempeño profesional.

3) Actividad investigadora. Todos los jueces seleccionados han realizado al-gún tipo de investigación educativa y han publicado los frutos de ésta. Por tanto, se trata de personas familiarizadas con el discurso académico y los métodos de investigación aplicada a la educación.

4) Diversidad geográfica. De los nueve jueces, ocho son españoles y una chilena. Los jueces españoles provienen de cuatro comunidades au-tónomas diferentes y de seis ciudades distintas.

5) Nivel de responsabilidad. Tres de los nueve jueces son docentes uni-versitarios; otros tres son responsables de bibliotecas escolares; otros dos son coordinadores de organismos públicos relacionados directa-mente con las bibliotecas escolares; y uno es responsable de un cen-tro de documentación privado también relacionado con las bibliote-cas escolares.

135


A estas nueve personas se les entregó el instrumento piloto junto con un texto explicativo de la investigación, y se les pidió que tuvieran en cuenta la imposibilidad de un consenso total acerca de los ítems necesarios para anali-zar y evaluar cualquier tipo de web. Se les indicó que la lista propuesta de 68 ítems (dos parámetros, doce indicadores y 54 subindicadores) era discutible y ampliable, por ello, además de su valoración, se les ofrecía la posibilidad de que sugirieran algún ítem que consideraran imprescindible y que no estuvie-ra incluido en el instrumento piloto. Para ello se les pidió que respondieran a estas tres cuestiones:

a) Valora cada uno de los parámetros, indicadores y subindicadores de uno a tres según tu criterio sobre su validez para el análisis y evalua-ción de la calidad de webs de bibliotecas escolares. 1. Poco importan-te; 2. importante; 3. muy importante.

b) ¿Consideras que existen otros parámetros, indicadores o subindica-dores esenciales que no están incluidos?

c) ¿Quieres añadir algún comentario general sobre este instrumento para el análisis y evaluación de la calidad de webs de bibliotecas esco-lares?

Resultados del acuerdo

Una vez recibidas las respuestas de los nueve jueces, se calculó el grado de acuerdo mediante porcentajes según las puntuaciones otorgadas por cada persona a cada una de las tres posibilidades, ya que según Francisco Muñoz Leiva et al. (2006), la marca más usada en esta técnica es la medición de la proporción de los acuerdos. También se halló la puntuación media sobre tres de cada uno de los parámetros, indicadores y subindicadores para contar con una visión de conjunto sobre la valoración de cada ítem.

Para establecer el grado conceptual de acuerdo partiendo de cada por-centaje se adaptó a las características del instrumento piloto la interpretación ofrecida por J. Éric Dubé (2008) de la estadística kappa (k) de Cohen, según Landis y Koch (1977), como se indica en la Tabla 2.

Tabla 2. Adaptación de la estadística kappa de Cohen (Dubé, 2008)

PORCENTAJE GRADO DE ACUERDO

0 % Nulo

1 a 20 % Mínimo

136

INVE

STIG

ACIÓ

N BI

BLIO

TECO

LÓGI

CA, v

ol. 3

1, n

úm. 7

1, e

nero

/abr

il 20

17, M

éxic

o, IS

SN: 0

187-

358X

, pp.

127

-149 21 a 40 % Correcto

41 a 60 % Moderado

61 a 80 % Fuerte

81 a 99 % Casi perfecto

100 % Total

Los resultados numéricos del acuerdo interjueces sobre cada uno de los ítems del instrumento piloto se presentan a continuación en las Tablas 3 y 4, una para cada parámetro. Se aporta la puntuación que otorga cada uno de los jueces (J. 1, J. 2, J. 3, etc.) a cada uno de los parámetros, indicadores y subindicadores, así como la puntuación media y el porcentaje de acuerdo so-bre cada uno de los tres valores posibles (PI: poco importante; I: importante; MI: muy importante).

Tabla 3. Resultados numéricos del acuerdo interjueces para el parámetro 1

J. 1 J. 2 J. 3 J. 4 J. 5 J. 6 J. 7 J. 8 J. 9 MEDIA % PI % I % MI

PARÁMETRO 1 3 3 2 3 3 3 2 3 3 2.78 22.22 77.77

INDICADOR 1.1 3 3 2 2 3 3 3 3 2 2.67 33.33 66.66

SUBINDICADOR

1.1.13 3 3 2 2 3 1 3 2 2.44 11.11 33.33 55.55

SUBINDICADOR

1.1.23 3 2 2 3 3 2 3 2 2.56 44.44 55.55

SUBINDICADOR

1.1.33 3 2 2 2 3 1 3 2 2.33 11.11 44.44 44.44

SUBINDICADOR

1.1.43 2 2 3 3 3 1 3 2 2.44 11.11 33.33 55.55

SUBINDICADOR

1.1.52 3 3 2 3 3 3 3 3 2.78 22.22 77.77

INDICADOR 1.2 3 3 3 2 3 3 3 3 3 2.89 11.11 88.88

SUBINDICADOR

1.2.13 3 3 3 3 3 3 2 3 2.89 11.11 88.88

SUBINDICADOR

1.2.23 3 1 1 2 3 2 2 1 2.00 33.33 33.33 33.33

SUBINDICADOR

1.2.32 2 2 2 3 3 3 3 3 2.56 44.44 55.55

SUBINDICADOR

1.2.42 3 2 2 3 3 3 3 2 2.56 44.44 55.55

SUBINDICADOR

1.2.51 3 1 1 2 2 1 1 2 1.56 55.55 33.33 11.11

137


SUBINDICADOR

1.2.62 3 2 1 2 3 3 3 2 2.33 11.11 44.44 44.44

SUBINDICADOR

1.2.73 3 3 2 2 3 3 3 3 2.78 22.22 77.77

INDICADOR 1.3 3 3 3 2 3 3 3 3 2 2.78 22.22 77.77

SUBINDICADOR

1.3.13 3 3 2 3 2 2 3 2 2.56 44.44 55.55

SUBINDICADOR

1.3.22 2 1 2 3 1 1 1 2 1.67 44.44 44.44 11.11

SUBINDICADOR

1.3.31 2 1 1 2 1 1 1 1 1.22 66.66 22.22

SUBINDICADOR

1.3.42 2 2 2 3 3 1 3 2 2.22 11.11 55.55 33.33

SUBINDICADOR

1.3.52 2 1 1 3 1 1 2 2 1.67 44.44 44.44 11.11

SUBINDICADOR

1.3.61 2 1 2 1 1 1 1 1 1.22 66.66 22.22

SUBINDICADOR

1.3.72 3 3 2 2 3 2 3 3 2.56 44.44 55.55

SUBINDICADOR

1.3.83 2 2 2 3 2 2 3 3 2.44 55.55 44.44

INDICADOR 1.4 3 3 3 3 2 3 3 3 2 2.78 22.22 77.77

SUBINDICADOR

1.4.12 3 3 3 3 3 1 3 2 2.56 11.11 22.22 66.66

SUBINDICADOR

1.4.21 2 2 2 2 3 1 3 2 2.00 22.22 55.55 22.22

SUBINDICADOR

1.4.32 2 2 3 2 3 2 3 2 2.33 66.66 33.33

SUBINDICADOR

1.4.41 2 2 2 3 3 2 3 3 2.33 11.11 44.44 44.44

SUBINDICADOR

1.4.53 3 3 2 3 3 2 3 3 2.78 22.22 77.77

Tabla 4. Resultados numéricos del acuerdo interjueces para el parámetro 2

J. 1 J. 2 J. 3 J. 4 J. 5 J. 6 J. 7 J. 8 J. 9 MEDIA % PI % I % MI

PARÁMETRO

23 3 3 3 3 3 3 3 3 3.00 100.00

INDICADOR

2.13 3 3 3 3 3 3 3 3 3.00 100.00

SUBINDICADOR

2.1.13 3 1 3 3 3 2 3 2 2.56 11.11 22.22 66.66

138

INVE

STIG

ACIÓ

N BI

BLIO

TECO

LÓGI

CA, v

ol. 3

1, n

úm. 7

1, e

nero

/abr

il 20

17, M

éxic

o, IS

SN: 0

187-

358X

, pp.

127

-149 SUBINDICADOR

2.1.22 2 1 1 1 3 2 2 2 1.78 33.33 55.55 11.11

SUBINDICADOR

2.1.33 3 3 3 3 3 3 3 2 2.89 11.11 88.88

SUBINDICADOR

2.1.43 3 3 3 3 3 3 3 3 3.00 100.00

SUBINDICADOR

2.1.52 2 2 2 2 2 3 2 3 2.22 77.77 22.22

SUBINDICADOR

2.1.63 3 2 2 2 3 3 3 3 2.67 33.33 66.66

SUBINDICADOR

2.1.73 3 3 2 3 3 3 3 3 2.89 11.11 88.88

INDICADOR 2.2 3 3 2 2 2 3 3 3 2 2.56 44.44 55.55

SUBINDICADOR

2.2.11 2 1 2 2 3 2 3 2 2.00 22.22 55.55 22.22

SUBINDICADOR

2.2.22 3 3 3 3 3 2 3 2 2.67 33.33 66.66

INDICADOR 2.3 3 3 3 3 3 3 3 3 3 3.00 100.00

SUBINDICADOR

2.3.11 2 1 1 2 3 1 1 3 1.67 55.55 22.22 22.22

SUBINDICADOR

2.3.22 3 3 3 3 3 3 1 3 2.67 11.11 11.11 77.77

SUBINDICADOR

2.3.33 3 3 3 3 3 2 3 3 2.89 11.11 88.88

INDICADOR 2.4 3 2 2 2 3 3 3 3 3 2.67 33.33 66.66

SUBINDICADOR

2.4.13 2 2 2 3 3 3 3 2 2.56 44.44 55.55

SUBINDICADOR

2.4.23 2 2 2 2 3 3 3 2 2.44 55.55 44.44

INDICADOR 2.5 2 3 3 2 3 3 3 3 3 2.78 22.22 77.77

SUBINDICADOR

2.5.13 3 3 3 3 3 2 3 3 2.89 11.11 88.88

SUBINDICADOR

2.5.22 2 2 2 2 2 2 3 3 2.22 77.77 22.22

SUBINDICADOR

2.5.32 3 2 2 2 3 2 3 3 2.44 55.55 44.44

SUBINDICADOR

2.5.43 3 3 2 3 3 2 2 3 2.67 33.33 66.66

INDICADOR 2.6 1 3 2 1 2 3 1 2 3 2.00 33.33 33.33 33.33

SUBINDICADOR

2.6.11 3 2 1 2 2 1 2 3 1.89 33.33 44.44 22.22

SUBINDICADOR

2.6.21 3 2 1 2 2 1 2 3 1.89 33.33 44.44 22.22

139


SUBINDICADOR

2.6.31 3 2 1 2 2 1 2 3 1.89 33.33 44.44 22.22

INDICADOR 2.7 3 2 3 1 3 3 2 3 3 2.56 11.11 22.22 66.66

SUBINDICADOR

2.7.13 2 3 2 3 2 2 3 2 2.44 55.55 44.44

SUBINDICADOR

2.7.23 2 3 1 3 2 2 3 2 2.33 11.11 44.44 44.44

SUBINDICADOR

2.7.33 2 3 1 3 2 2 3 2 2.33 11.11 44.44 44.44

SUBINDICADOR

2.7.43 2 2 2 3 3 1 3 3 2.44 11.11 33.33 55.55

SUBINDICADOR

2.7.52 2 2 1 3 3 1 3 3 2.22 22.22 33.33 44.44

SUBINDICADOR

2.7.62 2 2 1 3 3 1 3 3 2.22 22.22 33.33 44.44

INDICADOR 2.8 3 2 3 1 1 3 2 3 2 2.22 22.22 33.33 44.44

SUBINDICADOR

2.8.13 2 3 1 1 3 2 3 3 2.33 22.22 22.22 55.55

SUBINDICADOR

2.8.22 2 3 2 1 3 2 3 3 2.33 11.11 44.44 44.44

Modificación del instrumento piloto

Tras la valoración numérica emitida por los nueve jueces se suprimieron los subindicadores 1.2.5, 1.3.3, 1.3.6, y 2.3.1, debido a que concitaban más del 50 % de grado de acuerdo para la valoración de poco importante.

De las respuestas a las cuestiones b) y c) de los jueces se pudieron inferir las siguientes consideraciones respecto a los ítems del instrumento piloto:

• La experta Constanza Mekis (jueza ocho) opina que el indicador 1.2 podría incluir un subindicador referido a las estadísticas de uso. No se incluyó esta modificación al considerar que las estadísticas de uso pue-den ser una herramienta útil para la persona encargada de gestionar la web de biblioteca escolar, pero no para los usuarios de la web.

• En relación al indicador 1.3, la profesora Ana Castillo (jueza dos) opi-na que no resulta tan esencial que la web disponga de un blog, una wi-ki o un servicio de podcasting, como el uso que se haga de los mismos. Para ella, una página web sin ninguno de estos recursos y simplemente con un chat o cualquier herramienta que aporte interactividad (pero

140

INVE

STIG

ACIÓ

N BI

BLIO

TECO

LÓGI

CA, v

ol. 3

1, n

úm. 7

1, e

nero

/abr

il 20

17, M

éxic

o, IS

SN: 0

187-

358X

, pp.

127

-149

bien gestionada) puede ser más participativa que un blog. En defini-tiva, Castillo apoya firmemente la inclusión de este indicador sobre la interactividad y las herramientas 2.0.

• La profesora Mekis (jueza ocho) opina que el indicador 2.6 podría in-cluir un subindicador sobre la comprensión digital y las habilidades de información. Sin embargo, no se incluyó esta modificación porque las competencias relacionadas con la comprensión digital y las habilida-des de información ya están presentes en cada uno de los parámetros, indicadores y subindicadores del instrumento piloto.

• Las profesoras Maria Isabel Borda (jueza uno) y Mekis (jueza ocho) coinciden en sugerir que los subindicadores incluidos en el indicador 2.7 deben ser cambiados para dejar más clara la distinción entre los materiales relacionados con lengua y literatura y los que se agrupan ba-jo la expresión “de temática general”. Sí se tuvo en cuenta esta aporta-ción para modificar el texto de todos los subindicadores del indicador 2.7, según se detalla más adelante.

Además, debido a la opinión expresada por los jueces en sus respuestas a las cuestiones b) y c), se modificaron los siguientes ítems del instrumento piloto:

• La profesora Castillo (jueza dos) sugiere que la redacción del subindi-cador 1.4.5 puede dar lugar a confusión, por tanto se procedió a enun-ciarlo en sentido positivo de este modo: Todos los enlaces funcionan bien.

• A sugerencia de la profesora M. Dolores Moreno (jueza nueve), se mo-dificó el contenido del subindicador 2.4.1 para expresar que las rese-ñas o críticas, novedades bibliográficas o noticias del sector se pueden ofrecer también sin el formato de un boletín propio de la biblioteca es-colar. La nueva redacción quedó así: Se ofrece información sobre nove-dades bibliográficas, noticias del sector editorial o boletín de la biblioteca escolar en papel o en formato digital.

• Por las sugerencias de las profesoras Borda (jueza uno) y Mekis (jueza dos) en referencia al indicador 2.7, se modificó la redacción de los su-bindicadores 2.7.1, 2.7.2 y 2.7.3 de este modo: Se ofrecen [textos, audios, videos] no orientados específicamente a la educación lingüística o literaria. Por las mismas sugerencias se modificó la redacción de los subindica-dores 2.7.4, 2.7.5 y 2.7.6 de este modo: Se ofrecen [textos, audios, videos] orientados específicamente a la educación lingüística o literaria.

141


Instrumento definitivo

Una vez suprimidos los cuatro subindicadores citados e introducidas las mo-dificaciones textuales recogidas en el apartado anterior, quedó establecido el instrumento definitivo para el análisis y evaluación de webs de bibliotecas es-colares validado mediante acuerdo interjueces. Este instrumento cuenta con un total de 64 ítems (dos parámetros, doce indicadores y cincuenta y cuatro subindicadores) cuya presencia en la web debe ser consignada por la persona que realice el análisis y evaluación a través de la técnica del análisis de conte-nido. El texto completo del instrumento definitivo es el siguiente:

Parámetro 1: Aspectos formales y organizativosIndicador 1.1: Diseño de la webSubindicadores: 1.1.1. Tipo y tamaño adecuado de letra para facilitar la lectura.1.1.2. Distribución espacial del texto adecuada para facilitar la lectura.1.1.3. Contraste adecuado de colores para facilitar la lectura.1.1.4. Las imágenes y los textos se complementan de forma adecuada para

un eficaz acceso a la información.1.1.5. Se destaca de algún modo la información más reciente o más impor-

tante.Indicador 1.2: Navegación por la webSubindicadores:1.2.1. Existe enlace directo desde la web principal del centro.1.2.2. Existe mapa de la web del centro o de la web de la biblioteca escolar.1.2.3. Incluye enlaces internos entre las distintas secciones de la web.1.2.4. Se ofrece información del apartado donde se encuentra el usuario

en cada momento.1.2.5. Se indica el nivel de accesibilidad de la web para personas con pro-

blemas de audición, visión o movilidad.1.2.6. Existen motores de búsqueda simple o avanzada de información.Indicador 1.3: Interactividad y herramientas 2.0Subindicadores:1.3.1. Se ofrece a los usuarios alguna posibilidad de interacción.1.3.2. Dispone de blog o la web es un blog.1.3.3. Se ofrecen fotografías, presentaciones o vídeos alojados en la World

Wide Web.1.3.4. Se ofrecen podcasts o audiolibros.1.3.5. Dispone de posibilidad de redifusión web o sindicación web. 1.3.6. Dispone de presencia o interactividad con redes sociales.

142

INVE

STIG

ACIÓ

N BI

BLIO

TECO

LÓGI

CA, v

ol. 3

1, n

úm. 7

1, e

nero

/abr

il 20

17, M

éxic

o, IS

SN: 0

187-

358X

, pp.

127

-149 Indicador 1.4: Luminosidad de la web

Subindicadores:1.4.1. Ofrece algún enlace externo.1.4.2. Ofrece enlaces a otras bibliotecas escolares.1.4.3. Ofrece enlaces a otras webs relacionadas con la biblioteca escolar.1.4.4. Ofrece enlaces a webs relacionadas con competencias lingüísticas y

literarias.1.4.5. Todos los enlaces funcionan bien.

Parámetro 2: ContenidosIndicador 2.1: Información sobre la biblioteca escolarSubindicadores:2.1.1. Se informa sobre el nombre propio, la mascota o el logo de la biblio-

teca escolar.2.1.2. Se ofrece un plano de la biblioteca escolar.2.1.3. Se informa sobre el horario y/o las normas de uso de la biblioteca

escolar.2.1.4. Se informa sobre los servicios u objetivos de la biblioteca escolar.2.1.5. Se informa sobre los planes vinculados a la biblioteca escolar.2.1.6. Se informa sobre proyectos propios de la biblioteca escolar.2.1.7. Se ofrece acceso al catálogo de la biblioteca escolar.Indicador 2.2: Información sobre autoría y responsabilidadSubindicadores:2.2.1. Aparece el nombre de la persona autora y/o responsable de la web.2.2.2. Se facilita correo electrónico u otro modo de contacto con la perso-

na responsable de la web.Indicador 2.3: Actualización de los contenidosSubindicadores:2.3.1. Se indica fecha de última actualización.2.3.2. La web se ha actualizado durante el último curso escolar.Indicador 2.4: Publicaciones periódicas propias o relacionadasSubindicadores:2.4.1. Se ofrece información sobre novedades bibliográficas, noticias del

sector editorial o boletín de la biblioteca escolar en papel o en formato digital.2.4.2. Se ofrece información sobre revista escolar en papel o en formato

digital.Indicador 2.5: Información (sincrónica, diacrónica y selectiva) sobre activi-

dades propiasSubindicadores:2.5.1. Se informa sobre actividades propias presentes.

143


2.5.2. Se informa sobre actividades propias pasadas.2.5.3. Se informa sobre actividades propias futuras.2.5.4. La información sobre actividades propias se dirige específicamente

a distintos miembros de la comunidad educativa.Indicador 2.6: Posibilidad de realizar actividadesSubindicadores:2.6.1. Se ofrecen actividades propias de comprensión oral.2.6.2. Se ofrecen actividades propias de lectura y comprensión lectora.2.6.3. Se ofrecen actividades propias de expresión escrita.Indicador 2.7: Materiales a disposición del alumnadoSubindicadores:2.7.1. Se ofrecen textos no orientados específicamente a la educación lin-

güística o literaria.2.7.2. Se ofrecen audios no orientados específicamente a la educación lin-

güística o literaria.2.7.3. Se ofrecen videos no orientados específicamente a la educación lin-

güística o literaria.2.7.4. Se ofrecen textos orientados específicamente a la educación lingüís-

tica o literaria.2.7.5. Se ofrecen audios orientados específicamente a la educación lin-

güística o literaria.2.7.6. Se ofrecen videos orientados específicamente a la educación lin-

güística o literaria.Indicador 2.8: Material didáctico para docentes y padresSubindicadores:2.8.1. Se ofrece algún tipo de material didáctico propio para docentes.2.8.2. Se ofrece algún tipo de material didáctico propio para padres.

Con el objetivo de facilitar una visión global de la categorización estable-cida, se presenta en la Figura 1 un gráfico con el esquema jerárquico de todos los elementos que componen el instrumento definitivo para el análisis y eva-luación de webs de bibliotecas escolares.

144

INVE

STIG

ACIÓ

N BI

BLIO

TECO

LÓGI

CA, v

ol. 3

1, n

úm. 7

1, e

nero

/abr

il 20

17, M

éxic

o, IS

SN: 0

187-

358X

, pp.

127

-149

Figura 1. Esquema del instrumento definitivo para el análisis y evaluación de webs de bibliotecas escolares

145


Conclusiones

Las conclusiones obtenidas tras el proceso de validación del instrumento de análisis y evaluación de webs de bibliotecas escolares mediante el acuerdo interjueces se exponen en relación a tres ámbitos: aplicación de la técnica, eficacia del método y limitaciones del proceso.

Aplicación de la técnica

La técnica del acuerdo interjueces se ha aplicado correctamente porque se han seguido los principios científicos establecidos por los especialistas en re-lación a los siguientes aspectos:

• Determinación del número de jueces. La elección de nueve jueces ha sido una decisión acertada ya que, además de cumplir con el mínimo de dos establecido por Krippendorff (2004: 522), ha posibilitado la diversidad e independencia de opiniones y ha preservado la proporcionalidad entre el número de ítems valorado y su codificación manual.

• Elección de los jueces. Los jueces fueron elegidos según los cinco crite-rios ya expuestos de independencia, solvencia profesional, experiencia investigadora, diversidad geográfica y diverso nivel de responsabilidad especializada. Estos criterios son adecuados porque han posibilitado el cumplimiento de los requisitos contemplados tanto por Krippendorff (2004: 522) como por Jochen Peter y Edmund Lauf (2002): afinidad con la información tratada, adiestramiento en el sistema de codificación y semejantes niveles educativos, culturales y profesionales.

• Información a los jueces. Se ha proporcionado el mismo tipo de infor-mación (cuestionario e instrucciones) a todos los jueces con el objetivo de evitar diferencias en los criterios de valoración y de minimizar el sesgo personal de los codificadores manuales.

• Establecimiento de las reglas de valoración. Los límites de aceptabilidad de los acuerdos han sido de dos tipos: numéricos y analíticos. En el cuestionario valorativo se ha establecido una escala con una adapta-ción (según los objetivos del instrumento y el número de jueces) de la estadística kappa de Cohen. El límite de aceptabilidad para la su-presión de ítems se ha establecido en el 50% de grado de valoración como poco importante. En las cuestiones de respuestas abiertas se ha analizado la aceptabilidad de las propuestas de cambio según los

146

INVE

STIG

ACIÓ

N BI

BLIO

TECO

LÓGI

CA, v

ol. 3

1, n

úm. 7

1, e

nero

/abr

il 20

17, M

éxic

o, IS

SN: 0

187-

358X

, pp.

127

-149 argumentos aportados por cada uno de los jueces y su relación con

la valoración numérica. La aplicación de estas reglas ha dado lugar a la supresión y cambios en la redacción de ítems pero no se ha producido la adición de ninguno nuevo.

Eficacia del método

El cumplimiento de los objetivos de nuestra investigación ha demostrado la eficacia del método usado para la validación del instrumento, lo que ha que-dado patente en un triple sentido:

1. El instrumento final validado es el resultado del consenso de nueve expertos sobre la base de una propuesta fundamentada científicamen-te. La combinación de preguntas abiertas y cerradas en el cuestionario respondido por los jueces ha redundado en una mayor aportación para la mejora del instrumento piloto. 2. El instrumento final, tras las supresiones y redefiniciones de ítems, se puede considerar solvente para ser utilizado en el análisis de con-tenido de webs de bibliotecas escolares, como se indica en el cuar-to de los componentes de este tipo de análisis, según Andréu Abela (2001), referido a la comprobación de la fiabilidad del sistema de co-dificación-categorización.3. El texto definitivo del instrumento refuerza la posibilidad de llevar a cabo, mediante la regla de presencia, el análisis de contenido según las características establecidas por Berelson (1952) de objetividad, sistematización, cuantificación e información manifiesta.

Limitaciones del proceso

Aunque la aplicación de la técnica del acuerdo interjueces ha resultado ade-cuada y su eficacia ha quedado demostrada, en el proceso de nuestra investi-gación también se han evidenciado algunas limitaciones, entre las que pode-mos destacar:

• El hecho de establecer los límites necesarios en la aceptabilidad de los acuerdos conlleva la no incorporación al instrumento definitivo de reco-mendaciones oportunas por parte de alguno de los jueces al no alcanzar el consenso requerido.

147


• Aunque los criterios seguidos para la elección del número de jueces y de las personas concretas han sido acertados, con esos mismos crite-rios se hubiera podido elegir un número diferente de jueces y a otras personas distintas, lo que habría dado lugar a resultados también di-versos. El instrumento para el análisis y evaluación de webs de biblio-tecas escolares habría quedado igualmente validado, pero con aporta-ciones distintas.

• Si el número de jueces hubiera sido mayor, también habría aumentado la cantidad de propuestas y sugerencias en las preguntas abiertas del cuestionario, pero es posible que el instrumento hubiera quedado re-ducido en el número de ítems, ya que a mayor número de jueces resul-ta más difícil alcanzar acuerdos relevantes. En nuestra opinión, para analizar documentos tan extensos y variados como las páginas webs, conviene abarcar un número elevado de aspectos. Por tanto, si se am-plía el número de jueces sería recomendable modificar los límites de aceptabilidad de los acuerdos.

En definitiva, podemos concluir que nuestra investigación aporta una de las formas posibles de validar un instrumento fiable que cumple con todos los requisitos para analizar y evaluar el contenido de cualquier web de biblio-teca escolar.

148

INVE

STIG

ACIÓ

N BI

BLIO

TECO

LÓGI

CA, v

ol. 3

1, n

úm. 7

1, e

nero

/abr

il 20

17, M

éxic

o, IS

SN: 0

187-

358X

, pp.

127

-149 Referencias

Álvarez Gálvez, J. 2012. “Análisis cuantitativo de textos: del análisis de contenido al tratamiento de textos como datos”. En Metodolo-gía de la investigación social, innovaciones y aplicaciones. Manual avanzado de metodología, editado por M. Arroyo e I. Sábada, 130-150. Madrid: Síntesis.

Andréu Abela, J. 2001. Las técnicas de análisis de contenido: una revisión actualizada. Sevilla: Fundación Centro de Estudios Andaluces.

Ayuso García, M. D. y V. Martínez Navarro. 2006. “Evaluación de ca-lidad de fuentes y recursos digitales: guía de buenas prácticas”. Anales de Documentación 9: 17-42.

Bazin, L. 1999. “Elaboration d’une grille de sélection des sites web”. Bulletin des Bibliothèques de France 2: 73-76.

Berelson, B. 1952. Content Analysis in Communication Research. Glen-coe, Illinois: The Free Press.

Cabero, J. y F. Loscertales. 1996. “Elaboración de un sistema catego-rial de análisis de contenido para analizar la imagen del profesor y la enseñanza en la prensa”. Bodón 48 (4): 375-392.

Camacho Espinosa, J. A. 2004. La biblioteca escolar en España: pasado, presente… y un modelo para el futuro. Madrid: Ediciones de la Torre.

Codina, L. 2000. “Evaluación de recursos digitales en línea: concep-tos, indicadores y métodos”. Revista Española de Documentación Científica 23 (1): 9-44.

Cremades, R. 2013. “Codificación de los elementos esenciales para la evaluación de contenidos de sitios web de bibliotecas escolares”. En Buenas prácticas con tic en la investigación y la docencia, edita-do por J. Sánchez y J. Ruiz, E. Sánchez, 1-10. Málaga: Universidad de Málaga.

—. 2015. “Elementos categoriales y criterios de asignación de valores para el análisis de los aspectos formales y organizativos de pági-nas web de bibliotecas escolares”. En Horizontes científicos y plani-ficación académica en la didáctica de lenguas y literaturas, editado por X. Núñez, A. González, C. Pazos, P. Dono, 1115-1131. Ri-beirão: Edições Húmus.

Dubé, J. E. 2008. “Evaluación del acuerdo interjueces en investigacion clínica. Breve introducción a la confiabilidad interjueces”. Revista Argentina de Clínica Psicológica (1): 75-80.

Jiménez-Piano, M. y V. Ortiz Repiso. 2007. Evaluación y calidad de se-des web. España: Trea.

Krippendorf, K. 2004. Content Analysis. An Introduction to Its Metho-dology. Londres: Sage Publications.

Landis, J. R. y G. G. Koch. 1977. “The Measurement of Observer Agreement for Categorical Data”. Biometrics (33): 159-174.

Luque Jaime, J. M. 2007. “Servicios y programas de la biblioteca esco-lar en las páginas webs de los centros educativos. Selección de re-cursos digitales y virtuales de apoyo al currículo”. En La articula-

149


ción de los recursos en el funcionamiento de la biblioteca escolar, editado por J. García Guerrero, 181-220. Madrid: Ministerio de Educación, Cultura y Deporte.

Martín Laborda, R. 2005. “Las nuevas tecnologías en la educación”. Cuadernos Sociedad de la Información 5. Madrid: Fundación Auna.

Merlo Vega, J. A. 2003. “La evaluación de la calidad de la información web: aportaciones teóricas y experiencias prácticas”. En Recursos informativos: creación, descripción y evaluación, editado por F. Zapi-co Alonso, 101-110. Mérida: Consejería de Educación, Ciencia y Tecnología.

Muñoz Leiva, F., F. J. Montoro Ríos y T. Luque Martínez. 2006. “As-sessment of Interjudge Reliability in the Open-ended Questions Coding Process”. Quality & Quantity 40 (4): 519-537.

Murphy, R. 2003. Going Online: Developing LRC Web Pages. Swin-don: School Library Association.

Peter, J. y E. Lauf. 2002. “Reliability in Cross-national Content Analy-sis”. Journalism & Mass Communication Quarterly 79 (4): 815-832.

Romagnoli, C., G. Femenías y P. Conte. 2001. Internet, un nuevo re-curso para la educación. Material de apoyo para profesores. Santiago de Chile: Ministerio de Educación.

Umesh, U. N., R. A. Peterson y M. H. Sauber. 1989. “Interjudge Agreement and the Maximum Value of Kappa”. Educational and Psychological Measurement 49: 835-850.

Para citar este artículo:Cremades, Raúl. “Validación de un instrumento para el análisis y eva-

luación de webs de bibliotecas escolares mediante acuerdo inter-jueces”. Investigación Bibliotecológica 31, no. 71 (enero-abril 2017): 127-149.

Validación de un instrumento para el análisis y evaluación ... · (Murphy, 2003; Camacho, 2004;...

Documents

Transcript of Validación de un instrumento para el análisis y evaluación ... · (Murphy, 2003; Camacho, 2004;...