Transcript of Informe de Evaluación - Plan de choque de Competencias ...
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
1
ÍNDICE
1.2. Objetivo, justificación y utilidad
.......................................................................................
6
1.3. Estructura del informe
......................................................................................................
7
2. Descripción de la intervención
.................................................................................................
8
2.1. Análisis del contexto
.........................................................................................................
8
2.2. Plan de choque en formación de Competencias Digitales Básicas
................................ 10
2.3. Condicionantes y limitaciones evaluativas
.....................................................................
13
3. Consideraciones metodológicas
.............................................................................................
15
3.1. Análisis cuantitativo
........................................................................................................
16
3.2. Análisis cualitativo
...........................................................................................................
18
4. Análisis e interpretación de los resultados e impactos
......................................................... 24
4.1. Análisis de la eficacia: Ejecución física
............................................................................
24
4.2. Resultados tras la finalización del programa
..................................................................
28
4.3. Estimación del impacto del programa
............................................................................
34
4.4. Resultados del cuestionario online
.................................................................................
47
4.5. Una mirada en el empleo.
...............................................................................................
51
5. Análisis cualitativo del Programa para el desarrollo de
Competencias Digitales Básicas ... 54
5.1. Diseño del Plan de choque
..............................................................................................
54
5.2. Gestión del Programa
......................................................................................................
56
5.3. Resultados percibidos a nivel cualitativo
.......................................................................
61
6. Conclusiones derivadas de la evaluación
..............................................................................
65
7. Recomendaciones y propuestas de actuación
......................................................................
71
Anexos
.........................................................................................................................................
74
Anexo II. Cuestionario telefónico población usuaria
............................................................
75
Anexo III. Cuestionario telefónico población general
...........................................................
79
Anexo IV. Cuestionario online
................................................................................................
83
Anexo V. Agradecimientos
.....................................................................................................
84
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
2
Tabla 1. Ficha técnica de caracterización de la encuesta.
......................................................... 17
Tabla 2. Listado de personas participantes en las entrevistas
realizadas. ............................... 21
Tabla 3. Personas participantes en el plan de choque, según Sexo,
Edad y Nivel formativo. . 25
Tabla 4. Distribución de cursos y participantes, según Nivel del
curso. ................................... 25
Tabla 5. Distribución de cursos y participantes según Zona
geográfica. .................................. 26
Tabla 6. Distribución de cursos y participantes según Localidad.
............................................ 27
Tabla 7. Tipo de ayuda para la adquisición de conocimientos.
................................................ 28
Tabla 8. Lugar de conexión fuera del hogar.
.............................................................................
34
Tabla 9. Motivo de elección de gestión presencial en trámites con
la Administración pública.
.....................................................................................................................................................
46
Tabla 10. Correos enviados y respuestas recibidas del cuestionario
online. ........................... 47
Tabla 11. Población según estado en la Base de Datos del SNE-NL.
......................................... 53
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
3
Gráfico 1. Origen de la adquisición de conocimientos.
.............................................................
28
Gráfico 2. Valoración de la ayuda que supone el uso de Internet.
........................................... 29
Gráfico 3. Valoración del curso de Competencias Digitales Básicas.
........................................ 30
Gráfico 4. Aplicación de conocimientos adquiridos tras la
realización del curso. ................... 31
Gráfico 5. Lugar de conexión a Internet.
...................................................................................
32
Gráfico 6. Dispositivos utilizados para conectarse a Internet.
................................................. 33
Gráfico 7. Caracterización como personas usuarias de Internet:
Comunicación con familiares
y amigos y Búsqueda de información sobre temas de interés.
................................................ 36
Gráfico 8. Caracterización como personas usuarias de Internet:
Búsqueda de empleo,
Utilización de servicios públicos digitales y Acceso a Redes
Sociales. ..................................... 37
Gráfico 9. Caracterización como personas usuarias de Internet:
Búsqueda de empleo,
Utilización de servicios públicos digitales y Acceso a Redes
Sociales. ..................................... 38
Gráfico 10. Caracterización de la población según el uso que hace
de Internet. ..................... 39
Gráfico 11. Porcentaje de mejora de CDB: Localizar información,
Comunicarse a través de
Internet, Acceder y navegar en páginas web y Manejar un ordenador.
.................................. 41
Gráfico 12. Porcentaje de mejora de CDB: Riesgos de Internet,
Búsqueda o mejora de empleo
y Trámites online con la Administración pública.
.....................................................................
42
Gráfico 13. Porcentaje de mejora de CDB: Riesgos de Internet,
Búsqueda o mejora de empleo
y Trámites online con la Administración pública.
.....................................................................
43
Gráfico 14. Valoración de Competencias Digitales Básicas.
...................................................... 45
Gráfico 15. Preferencia en la gestión de trámites con la
Administración Pública. .................. 46
Gráfico 16. Nivel de conocimientos según competencia digital
valorada. ............................... 48
Gráfico 17. Tipología de trámites con la Administración pública:
Salud, Ayuntamiento y
Servicios Sociales de Base/Unidades de Barrio.
........................................................................
49
Gráfico 18. Tipología de trámites con la Administración pública:
Seguridad Social, Servicio
Navarro de Empleo y Servicio Público de Empleo Estatal.
........................................................ 50
Gráfico 19. Principal dispositivo de conexión a Internet.
......................................................... 51
Gráfico 20. Frecuencia de conexión a Internet.
.........................................................................
51
Gráfico 21. Población según estado en la Base de Datos SISPE del
SNE-NL. ............................ 52
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
4
1. Introducción
El Informe de Evaluación del Plan de choque del Programa para el
Desarrollo de Competencias Digitales Básicas presenta los
resultados e impactos derivados de la ejecución de esa intervención
durante el periodo que abarcan los meses de junio a octubre de
2020. Este programa de formación del Servicio Navarro de Empleo -
Nafar Lansare (en adelante SNE-NL) aparece en un momento de elevada
complejidad en tanto que se trataba de los primeros meses de la
pandemia de enfermedad por coronavirus (COVID-191) y, por tanto, el
contexto socioeconómico se definía por una elevada incertidumbre y
un importante incremento del desempleo como consecuencia de la
paralización repentina de la actividad económica y social. En esta
situación, el Plan de choque puesto en marcha por el SNE-NL
pretendía paliar el problema de carencias en cuanto a Competencias
Digitales Básicas (en adelante CDB) observado durante los primeros
meses de pandemia, que tenía como resultado la falta de acceso por
parte de la población a muchos de los servicios digitales que en
ese momento se ofrecían por parte del Gobierno de Navarra o de
otras instituciones de la Administración pública central, como
podían ser el Servicio Público de Empleo Estatal (en adelante SEPE)
o la Tesorería General de la Seguridad Social.
1.1. Objeto y alcance
El objeto central de la evaluación es el Plan de choque del
Programa para el Desarrollo de Competencias Digitales Básicas del
SNE-NL. Este programa se articula a través de cursos de formación
dirigidos a personas que quieren o necesitan reforzar sus
capacidades en cuanto a conocimientos digitales en un nivel básico.
Se trata, por tanto, de un programa enmarcado dentro de la oferta
formativa del SNE-NL que se vincula, en este caso, a la mejora de
la empleabilidad a través de la adquisición de Competencias
Digitales Básicas. Sin embargo, como se detallará dentro de este
informe de evaluación, esta intervención ha tenido efectos
positivos más relevantes en cuanto a la reducción de la llamada
brecha digital, que con relación a la mejora de la empleabilidad o
el acceso al empleo de la población participante. Se trata de una
situación lógica, que la evaluación ha venido a confirmar,
atendiendo tanto a los contenidos y duración de los cursos como al
contexto socioeconómico en el que se ha desarrollado.
El objetivo del SNE-NL con el lanzamiento y financiación de esta
intervención era el de lograr una mejora en las competencias
digitales de la población participante que tuviera un resultado
positivo desde una doble perspectiva. Por un lado, mejorando la
empleabilidad de personas desempleadas en un contexto actual donde
el uso de tecnologías digitales es esencial en la práctica
totalidad de los empleos que se generan. Por otra parte, reduciendo
la brecha digital existente en esas personas, ya que ésta supone un
condicionante en cuanto a su conexión con servicios esenciales de
la Administración pública y tiene como resultado limitaciones en
relación con su calidad de vida.
Hay que indicar como elemento clave para el desarrollo de este
programa su implementación a través de ayuntamientos. Se trataba de
una intervención del SNE-NL a la que podía adherirse cualquier
municipio o entidad local de Navarra a través de la firma de un
convenio con el ayuntamiento correspondiente. En este sentido,
durante el informe se hablará en todo momento de ayuntamiento, ya
que fueron las entidades con la que se suscribieron los acuerdos
para participar en el Plan de choque. De forma concreta, las
Agencias de Empleo del SNE-NL ejercían como elemento de
intermediación, contactando con los ayuntamientos para
1 La pandemia de enfermedad por coronavirus (COVID-19) está
ocasionada por el virus coronavirus de tipo 2 causante del síndrome
respiratorio agudo grave (SARS-CoV-2). La Organización Mundial de
la Salud (OMS) la reconoció como una pandemia global el 11 de marzo
de 2020.
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
5
presentarles el programa, indicándoles que cualquier entidad local
o municipio se podía adherir al programa y solicitar la impartición
de cursos en su territorio. Con la firma del convenio, los
ayuntamientos se comprometían a poner en disposición del SNE-NL las
instalaciones y equipamientos necesarios para impartir la
formación. Es conveniente indicar que las Agencias de Empleo
tuvieron un papel destacado en esta primera fase del Plan de
choque, gracias a su presencia en el territorio y conocimiento de
la población a la que se dirigían.
Respecto de la infraestructura era necesario disponer de locales
equipados (mesa, proyector/pizarra, wifi o cobertura móvil,
ordenadores/tablets) y prestar apoyo logístico (limpieza,
mantenimiento, etc.). Sin embargo, en el caso de aquellos
ayuntamientos que no disponían de todo el equipamiento, pero tenían
interés en esta formación, se formalizaba igualmente el acuerdo y
se impartían los cursos, siendo el SNE-NL quien aportaba el equipo
móvil necesario para realizar la formación de manera
adecuada.
Además de lo anterior, el papel de los ayuntamientos ha sido clave
en la implementación del programa en tanto que ellos también hacían
difusión del programa, captación de personas interesadas en asistir
a los cursos y colaboración para el seguimiento del alumnado. En
ese sentido, como se verá a lo largo de la evaluación ha sido muy
relevante la intervención de los Servicios Sociales de Base, y
Unidades de Barrio en el caso de Pamplona, en el acceso al
programa, definiendo en cierta manera los resultados que finalmente
se han obtenido.
Además de los ayuntamientos, la intervención evaluada contó con la
colaboración de la Federación Navarra de Municipios y Concejos (en
adelante FNMC) y las direcciones generales del Gobierno de Navarra
de Administración Local y Despoblación, de Telecomunicaciones y
Digitalización, de Protección Social y Cooperación al Desarrollo, y
la del Observatorio de la Realidad Social, de Planificación y
Evaluación de las Políticas Sociales.
En cuanto a la delimitación del alcance de la evaluación, se
indican a continuación qué dimensiones del objeto van a ser
consideradas en cuanto a la institución que se ocupa de la gestión
y aplicación del programa a evaluar, el ámbito sectorial, el área
geográfica, el periodo de tiempo y la población beneficiaria.
Dimensión institucional: Se trata de un programa formativo del
SNE-NL que se ha impartido en colaboración con 36 ayuntamientos de
diferentes localidades de la Comunidad Foral de Navarra.
Dimensión sectorial: El Plan de choque del Programa para el
Desarrollo de Competencias Digitales Básicas se encuentra dentro la
oferta de formación profesional para el empleo del SNE-NL.
Dimensión geográfica: El ámbito geográfico al que se dirigía la
intervención era la totalidad de la Comunidad Foral en el sentido
de que cualquier ayuntamiento de Navarra podía solicitar participar
en el programa.
Dimensión temporal: La duración del plan de choque fue de 5 meses,
iniciándose las primeras acciones formativas durante el mes de
junio de 2020 y finalizando en octubre de ese mismo año.
Población beneficiaria: La población destinataria de los cursos
eran personas desempleadas, afectadas por ERTES y en mejora de
empleo, con dificultades en cuanto a habilidades digitales
relacionadas con la denominada brecha digital.
Para cerrar este apartado vinculado a la definición del objeto
evaluado, se presenta a continuación un resumen de las principales
características de los cursos de Competencias Digitales Básicas
impartidos.
Objetivo del curso: Reforzar las Competencias Digitales Básicas a
través de talleres prácticos para usar diferentes herramientas y
conocer las oportunidades que brinda el entorno digital
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
6
de cara a encontrar un empleo y para facilitar gestiones
personales. De forma complementaria, se pretendía alcanzar una
mejora de la empleabilidad de estas personas a través de ese
incremento de Competencias Digitales Básicas.
Duración: 25 horas, impartido en una semana en sesiones de 5 horas
al día.
Contenido: Manejo del móvil, tablet y ordenador, dar de alta y
gestionar una cuenta de correo electrónico, utilizar las conexiones
a internet, solicitud on line de los principales servicios públicos
de Navarra, videoconferencias y firma electrónica, redacción de
textos o currículum, etc.
Ratio alumnado: 10-12 personas por aula.
Niveles formativos:
- Nivel 1 dirigido a personas sin experiencia en equipamientos y
navegación.
- Nivel 2 focalizado en personas que ya disponen de nociones
digitales básicas.
Metodología: Sesiones presenciales impartidas por un formador o
formadora que además prestará asesoramiento tutorizado online al
alumnado que lo solicite.
1.2. Objetivo, justificación y utilidad
Objetivo.
El objetivo principal de esta evaluación trata de estimar los
resultados e impactos derivados de la implementación del Plan de
choque en relación a las Competencias Digitales Básicas de la
población beneficiaria.
Asimismo, más allá de su función como instrumento para la rendición
de cuentas a través de la estimación de resultados e impactos, esta
evaluación pretende servir como herramienta de aprendizaje
identificando aspectos estratégicos clave de cara a la mejora en la
implementación de posteriores ediciones de esta intervención
pública o de otras cuya población destinataria, objetivos y
contenidos sean iguales o similares.
Atendiendo a lo expuesto, los objetivos esenciales de la evaluación
son los siguientes:
Estimar el impacto en la población usuaria de los cursos de
Competencias Digitales Básicas a través de la comparación con un
grupo de población no participante, haciendo uso de una metodología
de evaluación de carácter cuasi experimental.
Identificar en qué medida la intervención diseñada por el SNE-NL es
pertinente y coherente respecto a los problemas que pretende
abordar y cómo afecta su gestión a los resultados obtenidos.
Valorar el impacto sobre la población participante desde una doble
perspectiva: en relación a sus capacidades digitales y en el acceso
a un empleo.
Analizar el grado de satisfacción de la población participante en
los cursos de Competencias Digitales Básicas con la formación
recibida.
Elaborar conclusiones y recomendaciones para la mejora en el diseño
y gestión de programas de formación para el desarrollo de
Competencias Digitales Básicas.
Utilizar la evaluación como herramienta de aprendizaje que aporta
evidencias de cara a la mejora en el diseño, gestión y ejecución de
intervenciones públicas similares en cuanto a objetivos, contenidos
y población a la que se dirige.
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
7
Generar conocimiento para el impulso de evaluaciones desde una
perspectiva didáctica, a modo de una evaluación formativa, con el
objetivo de ofrecer un instrumento metodológico sobre planificación
y evaluación de políticas públicas.
Justificación y utilidad.
Atendiendo al Decreto Foral 268/2019, de 30 de octubre, el Servicio
del Observatorio de la Realidad Social (en adelante ORS) ejercerá,
dentro del ámbito material de la investigación aplicada, la
planificación y la evaluación de las políticas públicas de
servicios sociales y empleo, así como el análisis de los procesos
de transformación social y de los problemas sociales. Por tanto, el
Observatorio cuenta con potestad normativa para evaluar la
intervención en tanto que la entidad encargada de su diseño y
gestión es el SNE-NL.
Además de lo anterior, el hecho de ser una intervención vinculada a
paliar los efectos negativos derivados de la llamada brecha digital
supone que la valoración de sus resultados e impactos se insertan
dentro de las evaluaciones previstas por el ORS atendiendo a su
carácter de transformación social.
En la actualidad, la eficiencia en la gestión pública se vincula a
procesos de diseño e implementación de políticas basadas en la
evidencia. En ese sentido, la evaluación se configura como una
importante herramienta de apoyo en la toma de decisiones sobre este
tipo de intervenciones, ya que la aplicación de metodologías
experimentales, o cuasi experimentales como ocurre en este caso,
permiten estimar de la manera más adecuada posible los impactos
reales del programa evaluado e identificar sus potenciales ámbitos
de mejora.
Por último, esta evaluación pretende aportar utilidad desde su
concepción como herramienta de aprendizaje, presentándola a las
diferentes unidades que conforman el Departamento de Derechos
Sociales como un instrumento que supone una oportunidad de mejora
de la calidad de la gestión pública y la rendición de cuentas ante
la ciudadanía, insertado en un proceso de mejora continuo.
1.3. Estructura del informe
Este informe final de evaluación se articula a partir de siete
capítulos que abarcan la totalidad de los elementos que conforman
un proceso evaluativo y un octavo epígrafe de anexos que sirve de
complemento a la información presentada a lo largo del
documento.
El capítulo 1 tiene un objetivo introductorio del trabajo e incluye
una descripción del objeto evaluado y su alcance, los objetivos de
la evaluación, su justificación y utilidad y, por último, la
estructura del documento. En el capítulo 2 se ofrece una
descripción de la intervención evaluada, ampliando con aspectos
estratégicos la información presentada en el capítulo inicial y
detallando elementos que han supuesto condicionantes o limitaciones
evaluativas.
A lo largo del capítulo 3 se recoge la síntesis metodológica y la
descripción de las herramientas empleadas para el desarrollo de la
evaluación. Dentro de este tercer apartado aparece de forma
relevante el epígrafe donde se describe la metodología cuasi
experimental aplicada en la estimación del impacto del programa en
la población beneficiaria.
El bloque central del informe está conformado por los capítulos 4 y
5, donde se incluye el análisis de los aspectos cuantitativos y
cualitativos de esta evaluación. En primer lugar, el cuarto
epígrafe de este informe presenta la estimación de resultados e
impactos obtenida a partir de la aplicación de una metodología
evaluativa de carácter cuasi experimental. A continuación, el
quinto apartado incluye los hallazgos identificados en la
investigación cualitativa que ayudan a contextualizar de forma
adecuada los resultados de carácter cuantitativo.
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
8
Para finalizar, los capítulos 6 y 7 incluyen las conclusiones
obtenidas en la evaluación y las recomendaciones derivadas del
análisis realizado. Se trata de reflexiones basadas en los
resultados de la propia evaluación, en el proceso de triangulación
efectuado y que pretenden servir a modo de orientación en la toma
de decisiones por parte del Gobierno de Navarra.
A modo de cierre del documento se insertan los epígrafes
correspondientes a los Anexos, en los que se incluyen los guiones
utilizados para el desarrollo de las entrevistas en profundidad,
los cuestionarios para la entrevista telefónica y el cuestionario
de valoración online.
2. Descripción de la intervención
2.1. Análisis del contexto
La pandemia causada por el COVID-19 que se inició en marzo de 2020
supuso un cambio radical en el contexto social conocido hasta ese
momento. El Real Decreto 463/2020, de 14 de marzo, por el que el
Gobierno central declaraba el estado de alarma para la gestión de
la situación de crisis sanitaria ocasionada por el COVID-19 y el
Decreto-Ley Foral 1/2020, de 18 de marzo, a través del cual el
Gobierno Foral aprobó medidas urgentes para responder al impacto
generado por esa misma circunstancia, definieron un escenario donde
la población se vio obligada a permanecer en sus casas sin poder
salir excepto para realizar tareas esenciales y siempre de una
forma controlada y regulada.
Al mismo tiempo, la relación de la ciudadanía con la Administración
pública cambió totalmente debido a que la presencialidad en la
atención y prestación de servicios públicos pasó a ser la excepción
y no la norma. De este modo, a partir de ese momento la atención de
forma virtual a través de Internet o el teléfono fue el método más
usado a la hora de hacer gestiones con la Administración. Esta
situación llegó a tal extremo que en muchos ámbitos como el del
Empleo o los Derechos Sociales la atención pasó a ser virtual en su
totalidad. De hecho, se dio el caso de que incluso la atención
sanitaria en el ámbito primario se desarrollaba en la mayoría de
los casos a través del teléfono.
Se produjo, por tanto, una situación donde la relación de la
ciudadanía con la Administración pública se producía
mayoritariamente desde los hogares, haciendo uso de Internet y de
las nuevas tecnologías. En este contexto, desde los Gobiernos
central y Foral se tomaron decisiones vinculadas en muchos casos a
la prórroga automática de plazos finales en aquellos trámites
administrativos que se encontraban abiertos, y a la ampliación de
otros que estaban pendientes de realizarse. Esto se dio
especialmente en el caso de los trámites con Hacienda y en el
ámbito de los servicios públicos de empleo, debido a que la crisis
socioeconómica derivada de la pandemia tuvo como resultado directo
un rápido incremento del número de personas que pasaban a situación
de desempleo, y de empresas que tenían dificultades para atender
sus pagos, tanto a nivel de sueldos y salarios, como de proveedores
y con la propia Administración.
Sin embargo, con el paso de las semanas se observó que la
ampliación de los plazos y las prórrogas concedidas a nivel de
trámites administrativos no serían una solución definitiva, pues
nadie era capaz en ese momento de definir con precisión cuándo se
podría volver a la presencialidad en la prestación de servicios por
parte de las Administraciones públicas.
A la situación descrita se le unía otro condicionante muy
importante como era la existencia de la llamada brecha digital.
Este concepto se viene analizando desde los años 80 y se centra en
la existencia de desigualdades en el acceso, uso o impacto de las
nuevas Tecnologías de la Información y la Comunicación (en adelante
TIC) en la población.
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
9
Si bien inicialmente el foco del análisis se posicionaba
esencialmente en el acceso, más que en el uso, y además se
vinculaba a niveles de renta y formación más bajos, los datos
recopilados en los últimos años han puesto de manifiesto que no es
así. El momento actual está definido por una penetración muy
elevada y de carácter global de la telefonía móvil, además de por
la capacidad de los proveedores de Internet de llevar la conexión a
cualquier lugar del planeta. Sin embargo, aparecen diferencias
importantes en cuanto a la calidad y velocidad de la conexión a
Internet dependiendo de la zona o región, o de la capacidad
económica de quien la contrata. Asimismo, la rápida evolución de
los dispositivos de conexión y del software informático ha supuesto
que, en muchos casos, las carencias en cuanto a conocimientos y
habilidades digitales aparezcan de forma generalizada en cualquier
sector de la población, independientemente de su nivel de renta y
de estudios.
En ese sentido, durante el mes de mayo de este año 2021 se presentó
un estudio promovido por el Colegio Oficial de Ingenieros
Industriales de Navarra, la Fundación Industrial Navarra y la
Fundación La Caixa que puso de manifiesto las brechas existentes en
materia de competencias digitales, así como las necesidades
formativas en ese sentido, atendiendo al marco DigComp2 de la Unión
Europea. Este marco de competencias digitales DigComp es una
herramienta definida para el desarrollo de la competencia digital
de la ciudadanía en el ámbito de la Unión Europea. El marco incluye
una descripción detallada de todas las habilidades necesarias para
ser competente en entornos digitales. Además, describe esas
competencias en términos de conocimientos, habilidades y actitudes,
definiendo de forma concreta los niveles dentro de cada una de
ellas.
Atendiendo al contexto anterior descrito, el Servicio Navarro de
Empleo a través de su Servicio de Desarrollo de Competencias
Profesionales decidió diseñar y poner en marcha un Plan de choque a
través de un Programa de Desarrollo de Competencias Digitales
Básicas, con el objetivo fundamental de atender desde la
Administración pública de la Comunidad Foral las necesidades
existentes en ese momento en cuanto a brecha digital.
Esencialmente se trataba de alcanzar un doble objetivo con la
impartición de los cursos. Por un lado, conseguir que la ciudadanía
no se quedara “desconectada” de la Administración pública,
facilitándole la formación necesaria para poder interactuar de
forma virtual a través de páginas webs, aplicaciones y del uso de
otras herramientas como los certificados digitales, que son
exigencias en muchos casos para la realización de determinados
trámites. Por otra parte, estos cursos se insertaban dentro del
programa de Formación para el Empleo del SNE-NL, por lo que se
esperaba que tuvieran un resultado positivo en cuanto a la mejora
de la empleabilidad de las personas participantes. Este último
aspecto se consideraba necesario en tanto que el paro registrado3
en Navarra se había incrementado de forma considerable como
resultado de aquellas personas que habían perdido su empleo.
De forma concreta, el SNE-NL dirigió su intervención a aquellas
personas en situación de desempleo, Expediente de Regulación
Temporal de Empleo (en adelante ERTE) o mejora de empleo, que
necesitaban mejorar sus competencias digitales tanto para
relacionarse con la propia Administración pública como para
situarse en mejores condiciones de cara a acceder a un mercado
laboral, que actualmente demanda un mínimo de competencias
personales de carácter digital. En este sentido, una exigencia a la
hora de acceder al curso era encontrarse inscrito/a dentro de la
base de datos del SNE-NL, del mismo modo que ocurre con cualquier
persona que quiera acceder a la oferta de Formación Profesional
para el Empleo (en adelante FPE).
2 Marco Europeo de Competencias Digitales DigComp
https://ec.europa.eu/jrc/en/digcomp 3 Entre marzo y abril de 2020
se registraron incrementos del paro registrado que a nivel
intermensual fueron de más del 9% y en el periodo interanual
superaron el 30%.
10
Asimismo, desde el equipo del Servicio de Desarrollo de
Competencias Profesionales se consideraba en ese momento que, en
muchos casos, las relaciones con la Administración pública a través
de Internet y haciendo uso de las TIC no serían algo circunstancial
y temporal. Es decir, aunque en muchos casos este proceso había
surgido motivado por las restricciones de la pandemia, sería una
situación que permanecería en el tiempo. Esto es así, en tanto que
desde hace un tiempo se ha iniciado un proceso de trasformación
digital en la sociedad que no es de carácter coyuntural, sino que
de tipo estructural y permanecerá en el tiempo.
El tiempo ha venido a confirmar el supuesto anterior, constatando
que la pandemia sólo fue el elemento que provocó un cambio que ha
continuado después de los meses más complicados, y permanece tras
el levantamiento del confinamiento y la vuelta a la presencialidad.
Ejemplo concreto de esta situación son indicadores como que las
reuniones de trabajo, tanto en el caso de empresas privadas como
dentro de la Administración, siguen haciéndose a través de
videollamada, que el teletrabajo se entiende ya como una medida de
conciliación activa y que la atención en muchos ámbitos de la
Administración pública se ofrece ahora tanto de forma presencial,
como virtual a través de su página web o de aplicaciones de
telefonía móvil.
Hay que mencionar que la implementación del Plan de choque se hizo
con la participación de los ayuntamientos y de sus Servicios
Sociales de Base o Unidades de Barrio (en adelante SSB/UB) en el
caso de Pamplona. En ese sentido, si bien la iniciativa estuvo
liderada y financiada por el SNE-NL, el acceso a la población
beneficiaria de los cursos se realizó con la colaboración de las
entidades locales, que tal y como se ha explicado en el apartado
donde se describe el objeto de evaluación, facilitaban locales e
infraestructuras para impartir la formación y gestionaban la
difusión del programa y el acceso de la población interesada en
participar.
Por último, es conveniente indicar que en el caso de Tudela se dio
la circunstancia de que fue la Fundación Dédalo para la Sociedad de
la Información la encargada de la gestión del Programa de
Competencias Digitales Básicas. La Fundación Dédalo es una entidad
sin ánimo de lucro que tiene como objetivo principal la promoción,
el impulso y desarrollo de la sociedad de la información en el área
geográfica de la Ribera de la Comunidad Foral de Navarra. Con ese
objetivo realizan actividades en el ámbito de la ciudadanía,
empresas, emprendedores y organizaciones, tal y como ocurrió en el
caso de la intervención evaluada. Esta situación de intervención de
la Fundación Dédalo solo se dio en Tudela, ya que en el resto de
las zonas geográficas fue personal docente, que presta servicios de
forma independiente y por cuenta propia, quien fue contratado por
el Servicio Navarro de Empleo para la impartición de los
cursos.
2.2. Plan de choque en formación de Competencias Digitales
Básicas
El Servicio Navarro de Empleo ofrece a través de su portal de
formación una amplia oferta de cursos4 de diferentes temáticas y de
carácter gratuito dirigida a personas desempleadas. Sin embargo,
además de su oferta formativa permanente que incluye formación en
competencias digitales, el Plan de choque del Programa para el
Desarrollo de Competencias Digitales Básicas se diseñó e implementó
en junio de 2020 para atender la coyuntura concreta descrita en el
epígrafe anterior. Esta intervención se efectuó a través de la
impartición de cursos de formación de dos niveles:
Nivel 1, dirigido a personas sin experiencia en equipamientos y
navegación en Internet.
Nivel 2, focalizado en personas con algunas nociones esenciales de
Internet.
De forma concreta, se presentan a continuación dos tablas donde se
incluye un resumen de los aspectos esenciales que definen cada uno
de los niveles de la formación impartida.
4 Portal web donde se encuentra la oferta formativa del Servicio
Navarro de Empleo - Nafar Lansare
https://formacion.navarra.es/
11
Resultado esperado
Al finalizar el curso, el alumnado será capaz de desarrollar
habilidades y destrezas para realizar trámites online de forma
segura con las administraciones públicas en general. También, el
alumnado será capaz de manejar y configurar diferentes plataformas
de videoconferencia que le permitirán incorporarse al entorno de la
formación online, así como del teletrabajo.
Requisitos Personas inscritas en el SNE-NL como Demandantes de
Empleo (desempleadas o no). Dominio del idioma castellano hablado,
leído y escrito.
Personas Destinatarias
Personas con escasas competencias digitales.
Personas con menor cualificación: desempleadas o trabajando hasta
el decreto de alarma (en situación de ERTE).
Duración 25 horas.
Modalidad
Formación muy práctica orientada a destreza y reto personal.
Acceso a píldoras formativas para afianzar lo aprendido durante el
curso.
Alumnado Entre 10 y 12 personas.
Información
https://formacion.navarra.es/es/competencias-digitales-basicas
MÓDULO 1. AJUSTES BÁSICOS DE CONFIGURACIÓN PARA WINDOWS Y
ANDROID.
UNIDAD 1. Descripción de diferentes dispositivos digitales.
MÓDULO 2. NAVEGACIÓN EN INTERNET Y TIPOS DE ARCHIVOS.
UNIDAD 1. El navegador.
UNIDAD 2. Navegar, buscar y filtrar datos, información y contenidos
digitales.
UNIDAD 3. Trabajo con ficheros.
MÓDULO 3. VIDEOCONFERENCIA CON ZOOM.
UNIDAD 1. Configuración básica de Zoom.
UNIDAD 2. Iniciar una videollamada.
UNIDAD 3. Unirse a una videollamada.
UNIDAD 4. Seguridad y privacidad.
UNIDAD 5. Interpretar los posibles errores y mensajes del
sistema.
MÓDULO 4. EL CORREO ELECTRÓNICO DE GMAIL Y LA AGENDA DE CONTACTOS
GOOGLE CONTACTS.
UNIDAD 1. Crear una cuenta de GMAIL.
UNIDAD 2. Descripción general de la interfaz.
UNIDAD 3. La bandeja de entrada.
UNIDAD 4. Adjuntar un archivo.
UNIDAD 5. Administrar el correo con etiquetas.
UNIDAD 6. Uso de la barra de búsqueda.
UNIDAD 7. Descripción general de la interfaz de Google
Contacts.
UNIDAD 8. Crear, editar, combinar y eliminar contactos.
UNIDAD 9. Contactos duplicados.
MÓDULO 5. LA NUBE DE GOOLGE DRIVE.
UNIDAD 1. Crear carpetas, organizarlas y eliminarlas.
UNIDAD 2. Descargar archivos, eliminarlos y renombrarlos.
MÓDULO 6. TRABAJO FIN DE CURSO.
Unidad 1. Asignación de un reto de producción de un trabajo de
interés sustancial para cada persona (Curriculum, Formulario,
Texto, Tramitación real...)
12
Resultado esperado
Al finalizar el curso, el alumnado será capaz de desarrollar
habilidades y destrezas para realizar trámites online de forma
segura con las administraciones públicas en general. También, el
alumnado será capaz de manejar y configurar diferentes plataformas
de videoconferencia que le permitirán incorporarse al entorno de la
formación online, así como del teletrabajo.
Requisitos Personas inscritas en el SNE-NL como Demandantes de
Empleo (desempleadas o no). Dominio del idioma castellano hablado,
leído y escrito.
Destinatarios
Personas con menor cualificación: desempleadas o con trabajos, muy
operativas hasta el decreto de alarma (en situación de ERTE).
Duración 25 horas.
Modalidad
Formación muy práctica orientada a destreza y reto personal.
Acceso a píldoras formativas para afianzar lo aprendido durante el
curso.
Alumnado Entre 10 y 12 personas.
Información
https://formacion.navarra.es/es/competencias-digitales-basicas
MÓDULO 1. NAVEGACIÓN EN INTERNET Y TIPOS DE ARCHIVOS.
UNIDAD 1. Navegar, buscar y filtrar datos, información y contenidos
digitales.
UNIDAD 2. Evaluar datos, información y contenidos digitales.
UNIDAD 3. Descarga de archivos, apps y escaneo de códigos QR.
MÓDULO 2. SISTEMAS DE VIDEOCONFERENCIA Y TELETRABAJO.
UNIDAD 1. Equipamiento para la videoconferencia.
UNIDAD 2. Videoconferencias con Zoom.
UNIDAD 3. Otros sistemas para realizar videoconferencias.
MÓDULO 3. HERRAMIENTAS DE GOOGLE.
UNIDAD 1. El correo de Gmail.
UNIDAD 2. La agenda de contactos. Google Calendar.
UNIDAD 3. Utilidades avanzadas de Google Drive.
MÓDULO 4. TIPOS DE ACREDITACIONES DIGITALES.
UNIDAD 1. Sistema Cl@ve.
UNIDAD 3. Certificado digital.
UNIDAD 4, DNI electrónico.
MÓDULO 5. TRÁMITES FRECUENTES Y DESCARGA DE DOCUMENTOS ONLINE CON
GOBIERNO DE NAVARRA Y OTRAS ADMINISTRACIONES PÚBLICAS.
UNIDAD 1. SNE-NL Gestión de las demandas, consulta de las ofertas
de empleo y de la oferta formativa.
UNIDAD 2. SALUD ¿Cogemos una cita médica?
UNIDAD 3. HACIENDA Obtención del PIN.
UNIDAD 4. AYUNTAMIENTOS Padrón y otros trámites.
UNIDAD 5. DIRECCIÓN GENERAL DE TRÁFICO Consulta de puntos.
UNIDAD 6. SEGURIDAD SOCIAL Informe de vida laboral.
MÓDULO 6. SEGURIDAD DE LOS TRÁMITES ONLINE.
UNIDAD 1. Mecanismos que garantizan la seguridad en Internet.
UNIDAD 2. Contraseñas robustas y fuertes.
UNIDAD 3. Consejos para una navegación segura en internet.
UNIDAD 4. Estafas en internet, ¿cómo evito caer en la trampa?
MÓDULO 7. TRABAJO FIN DE CURSO.
Unidad 1. Asignación de un reto de producción de un trabajo de
interés sustancial para cada persona (Curriculum, Formulario,
Texto, Tramitación real...)
13
2.3. Condicionantes y limitaciones evaluativas
Los dos principales condicionantes que se han abordado por parte
del equipo evaluador del Observatorio de la Realidad Social han
estado vinculados, por un lado, a la carencia de un diagnóstico
previo y a la existencia de una estrategia programática derivada
del mismo. Y, por otro lado, a la selección de los grupos de
población necesarios para la aplicación de la metodología de
carácter cuasi experimental diseñada para la estimación del impacto
de la intervención evaluada.
En el caso de la carencia de un diagnóstico y una estrategia
programática asociada al mismo hay que indicar que no es algo
exclusivo de esta intervención, sino que en ciertos casos esta es
una limitación detectada durante el trabajo de evaluación. En el
caso de la existencia de un diagnóstico, suele ocurrir que en
determinados casos se implementan políticas públicas que no
atienden a un análisis previo del contexto y de la población
objetivo a la que se dirige, sino que se impulsan por diferentes
motivos como pueden ser: responder a intereses políticos o
técnicos, paliar un problema urgente o porque la intervención es
continuación de programas anteriores. Asimismo, se dan casos en los
que, existiendo un diagnóstico previo, éste no es adecuado o la
estrategia definida no lo ha tenido en cuenta por diversos motivos,
que pueden ir desde una mala planificación por parte del personal
técnico que diseña el programa, hasta por la existencia de
condicionantes derivados de su financiación por parte de otro
órgano de la Administración o entidad de rango superior.
En el caso de este trabajo, si bien es cierto que no existía un
diagnóstico realizado por parte del Servicio Navarro de Empleo, la
realidad ponía de manifiesto la existencia de un problema de
relevancia en la población relacionado con la brecha digital
existente, que se puso especialmente de relieve con la
“desconexión” por parte de la ciudadanía en sus gestiones y
trámites administrativos con la Administración pública. Además, la
labor permanente de prospección y análisis del mercado de trabajo
que efectúa el SNE-NL, permitía efectuar una caracterización del
contexto al que se dirigían, que se puede considerar como muy
adecuada a tenor de los resultados derivados de la intervención
evaluada.
Con relación a esta caracterización, el SNE-NL disponía de datos
previos al inicio del Plan de choque como que el 70% de la
población desempleada de Navarra cuenta con formación hasta primera
etapa de secundaria, identificándose en ese sentido una cifra de
23.000 personas que no podían acceder a formación de certificado de
nivel 2 por no tener las competencias requeridas. Por otra parte,
el proyecto “El Empleo y la Formación Profesional”5, cuyo objetivo
era identificar las competencias transversales que debe
proporcionar el sistema de Formación Profesional para el Empleo de
Navarra a la sociedad del futuro, había detectado la necesidad de
fortalecer la autonomía digital de la ciudadanía. Hay que indicar
que este análisis de la situación había sido confirmado, en el caso
de las personas desempleadas, por el propio personal técnico de las
Agencias de Empleo.
Por tanto, a falta de ese diagnóstico específico sobre el que
diseñar el Plan de choque, el Servicio de Desarrollo de
Competencias Profesionales del SNE-NL contaba con información
suficiente para diseñar de manera adecuada la estrategia de
actuación y los contenidos de un Programa de Desarrollo de
Competencias Digitales Básicas. Además, el programa definido y sus
contenidos formarían parte de un itinerario ampliado en el que se
incluiría formación para el refuerzo de competencias personales
básicas en los ámbitos de la lectura, escritura, matemáticas, etc.,
en el caso de que fuera necesario para la población beneficiaria.
En relación con todo lo expuesto,
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
14
cabe mencionar que en todos los cursos de Formación Profesional
para el Empleo del SNE-NL se están reforzando las competencias
digitales de carácter transversal.
En cuanto a la elección de los grupos de población y las muestras
necesarias para efectuar la evaluación de impacto, hay que indicar
lo siguiente en cuanto al proceso de selección y las limitaciones
asociadas al mismo.
En primer lugar, la población participante en los cursos ascendió a
un total de 848 personas; sin embargo, antes del inicio de los
cursos solo estaban inscritas 723 en la base de datos del Sistema
de Información de los Servicios Públicos de Empleo (en adelante
SISPE) del SNE-NL que fueron con las que se lanzó el diseño de los
grupos de tratamiento y control necesarios para una evaluación de
impacto como la realizada. Esta situación se produjo porque de cara
al proceso de selección, y al posterior análisis estadístico
comparativo, había que elegir una fecha concreta para extraer las
muestras y se consideró el 30 de junio como la más adecuada, ya que
era la fecha disponible más cercana al inicio de los cursos. Sin
embargo, se daba la circunstancia de que las 125 personas restantes
que participaron en el programa evaluado se interesaron en los
cursos durante los meses de su ejecución (de julio a octubre) sin
estar registradas en SISPE en ese momento, formalizando su
inscripción en alguna fecha previa al curso al que asistieron, pero
siempre posterior al 30 de junio.
La situación descrita es una limitación relativa, ya que finalmente
lo relevante es que el grupo de comparación o control que se obtuvo
a partir de una muestra de la población general era representativo
y estadísticamente comparable con el grupo llamado de tratamiento
que conformaban las personas usuarias del programa de Competencias
Digitales Básicas. Por tanto, el grupo de comparación se extrajo de
la base de datos completa y se vinculó directamente a las
características de las 723 personas usuarias de los cursos
inscritas el 30 de junio, garantizando en todo momento su
comparabilidad.
En este punto es también interesante comentar la siguiente
coyuntura derivada de la participación de los ayuntamientos en la
gestión del programa. Si bien su actuación ha sido estratégica y ha
resultado clave de cara a garantizar el éxito del programa en
cuanto a su impartición y a la cobertura poblacional, el hecho de
gestionar este tipo de formación principalmente a través de
Servicios Sociales de Base genera en muchos casos un sesgo en la
población destinataria. Este condicionante tiene como resultado que
la población participante en los cursos no es representativa de la
que existe en la base de datos completa del SNE-NL, siendo un
ejemplo de esta situación lo siguiente:
- La distribución porcentual en cuanto a sexos en la base de datos
SISPE a 30 de junio de 2020 era de 49,4% de hombres frente a 50,6%
de mujeres. Sin embargo, la población usuaria del programa de
Competencias Digitales Básicas se distribuía en un 39,3% de hombres
y un 60,7% de mujeres.
- En cuanto a nivel formativo, encontramos que el grupo mayoritario
en la base de datos global era el de primera etapa de educación
secundaria con un 47,7% del total. Mientras que, en el caso de la
población usuaria, aunque era el mismo grupo, este porcentaje
ascendía al 59,6% del total.
En la presentación de resultados cualitativos se desarrolla esta
situación con más detalle ofreciendo además información aclaratoria
de cara a su explicación. Si bien esto no fue un condicionante a
nivel técnico de cara al análisis cuasi experimental, se considera
relevante su inclusión en este apartado con el objetivo de
facilitar una mejor contextualización del proceso evaluativo
realizado por parte del ORS.
Sin embargo, donde sí apareció una limitación del proceso de
selección fue durante la realización de la encuesta. Si bien en el
caso de la población usuaria (grupo de tratamiento) fue suficiente
con las 723 personas disponibles para alcanzar 347 respuestas
positivas, establecidas como
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
15
muestra representativa, en el caso de la población general (grupo
de control o comparación) esa cifra no fue suficiente. En este
sentido, para cada elemento de la población usuaria se había
seleccionado el mejor par posible en la base de datos para estimar
el impacto en base a la metodología diseñada. Sin embargo, con esos
723 pares pertenecientes a la población general no fue posible
alcanzar las 347 respuestas positivas previstas. Para corregir esta
situación lo que se hizo fue volver a buscar nuevos pares a modo de
reservas, vinculados a aquellas personas contactadas que no habían
respondido a la encuesta.
La solución técnica a esta situación resultó compleja, a la par que
laboriosa, por las diferentes consultas que se hicieron a la base
de datos SISPE y la aplicación de modelos estadísticos en el
programa STATA6. Sin embargo, el trabajo realizado por el equipo
evaluador del ORS consiguió reducir al mínimo el número de pares
reservas de los originales, garantizando de la mejor manera posible
la significatividad estadística de todo el proceso y la posibilidad
de inferir al programa evaluado los efectos detectados en la
población usuaria.
3. Consideraciones metodológicas
En el ámbito de la evaluación de impacto ha sido y es amplio el
debate sobre la idoneidad o supremacía de unos u otros enfoques
metodológicos, polarizando los planteamientos entre quienes optan
por diseños experimentales/cuasiexperimentales o enfoques
participativos y quienes proponen visiones contextualizadas (un
diseño para cada caso), siendo ésta última donde se sitúa este
proceso de evaluación de impactos del Plan de choque del Programa
para el Desarrollo de Competencias Digitales Básicas del Servicio
Navarro de Empleo – Nafar Lansare.
Para la evaluación de impacto del Plan de choque del Programa para
el Desarrollo de Competencias Digitales Básicas del SNE-NL se ha
recurrido a una metodología basada en la triangulación de:
Por tanto, desde este planteamiento apoyado en métodos mixtos, las
cuestiones que concentran la atención del diseño metodológico de la
evaluación de impacto es la delimitación de los impactos y,
especialmente, el enjuiciamiento de su conexión causal con el
proyecto de Competencias Digitales Básicas, es decir, poder
determinar con el mayor rigor posible que esta intervención fue la
causante, o que contribuyó, a la generación de dichos efectos e
impactos. En este sentido, la aproximación metodológica más
adecuada a las necesidades de información que se acordaron en las
reuniones iniciales previas al lanzamiento del proceso evaluativo
tuvieron como resultado el diseño y aplicación de una estrategia de
métodos mixtos que combina aproximaciones cuantitativas y
cualitativas.
6 STATA es un paquete de software estadístico que permite, entre
otras funcionalidades, la gestión de datos, el análisis
estadístico, el trazado de gráficos y las simulaciones.
Evaluación de impacto
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
16
Asimismo, en el caso del análisis de impacto cuantitativo se ha
aplicado una metodología de carácter cuasi experimental
fundamentada en el uso de la técnica Propensity Score Matching7 (en
adelante PSM) para la selección de participantes y un análisis de
impacto basado en el método de Diferencias en Diferencias8 (en
adelante DiD). Estas técnicas estadísticas y su aplicación en esta
evaluación se desarrollan dentro del epígrafe 3.3.
3.1. Análisis cuantitativo
Explotación de bases de datos
El análisis cuantitativo recoge una visión global de las
principales variables incluidas en la base de datos de los cursos
aportada por el Servicio Navarro de Empleo. Asimismo, también se
han efectuado consultas al Sistema de Información de los Servicios
Públicos de Empleo (SISPE) con un doble objetivo. Por una parte,
efectuar consultas relativas a indicadores clave de cara a un
análisis sobre la situación en cuanto al empleo de la población
participante en los cursos. Por otro lado, para seleccionar a la
población de los grupos de tratamiento y comparación de la
evaluación del impacto.
El análisis en profundidad de los cursos impartidos ha perseguido
realizar el tratamiento de la información disponible en las bases
de datos de la forma más adecuada posible a los objetivos de la
evaluación. Así, la explotación de los registros facilitados por el
SNE-NL ha permitido analizar a la población usuaria atendiendo a
sexo y edad, mientras que en cuanto a los cursos las variables
utilizadas para el análisis han sido tipología del curso y zona
geográfica de impartición.
Por otra parte, más allá de los datos específicos del Plan de
choque ejecutado durante 2020, se han efectuado consultas a la base
de datos SISPE que han permitido valorar los resultados de la
participación en el curso con relación al empleo. En ese sentido,
una vez definidos los dos grupos de población estadísticamente
comparables que exigía el diseño de la metodología cuasi
experimental aplicada para la estimación del impacto del programa,
se efectuó una comparativa que atendía a su situación en los
registros SISPE y que podía aportar una fotografía bastante
adecuada de los resultados derivados del programa en cuanto al
empleo.
Encuesta telefónica
Además del análisis de la base de datos facilitada por el Servicio
Navarro de Empleo y las consultas efectuadas a SISPE, se lanzó un
proceso de encuestación vinculado a la estimación del impacto del
Plan de choque. La encuesta fue de tipo telefónico y se abordó a
partir de un cuestionario dirigido a dos grupos de población:
Población Usuaria. Aquellas personas que habían participado en el
curso de Competencias Digitales Básicas del Servicio Navarro de
Empleo.
Población General. Aquellas personas que están registradas en la
base de datos del SNE- NL pero que no habían participado en ningún
curso del Plan de choque evaluado.
7 En evaluación de impacto, el pareamiento por puntaje de
propensión o Propensity score matching (PSM) en inglés, es una
técnica estadística de coincidencia que intenta estimar el efecto
de una política, u otra intervención, atendiendo a las covariables
que predicen que recibe el tratamiento. 8 Técnica
cuasi-experimental utilizada en evaluación de impacto para medir el
efecto de una intervención en un determinado período en el
tiempo.
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
17
Se incluye a continuación una ficha técnica de caracterización del
proceso de encuestación telefónica realizado.
Tabla 1. Ficha técnica de caracterización de la encuesta.
UNIVERSO Personas inscritas en el SNE-NL (SISPE) a 30 de junio de
2020. N %
TIPO DE POBLACIÓN General 347 50%
Usuaria 347 50%
SEXO Hombre 248 36%
Educación primaria 45 6%
1ª etapa educación secundaria. Orientación general 53 8%
1ª etapa educación secundaria. Orientación profesional 47 7%
Educación superior 55 8%
DISCAPACIDAD
Físicas 27 4%
Psíquicas 13 2%
Sensoriales 3 0%
Del lenguaje 1 0%
TAMAÑO DE LA MUESTRA
694 encuestas, 347 a población usuaria y 347 a la población
general.
TIPO DE MUESTREO
En el caso de la población usuaria se extrajo una selección
aleatoria de la población total participante en los cursos.
En cuanto a la población general se extrajo una muestra de SISPE
que cumpliera con los criterios de pareamiento de la muestra de
población usuaria.
UNIVERSO 723 personas (población usuaria) 2.123 personas (población
general).
NIVEL DE CONFIANZA
4,8%
TÉCNICA Encuestas telefónicas nominales con 6 sustitutos para la
muestra general y 2 sustitutos para la muestra a usuarios.
TRABAJO DE CAMPO Del 20 de mayo al 1 de junio de 2021.
DURACIÓN MEDIA DE LA ENTREVISTA
13 minutos.
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
18
Además de la caracterización técnica indicada, hay que mencionar
que el cuestionario definido para el proceso se articuló a partir
de cuatro bloques diferenciados:
Bloque 1. Caracterización de la persona usuaria de Internet.
Bloque 2. Conocimiento de los cursos de competencias.
Bloque 3. Conexión a Internet.
Bloque 4. Relación con la administración pública.
Por otra parte, gracias a la información contenida en la base de
datos SISPE, se efectuaron una serie de consultas para caracterizar
a la población entrevistada, que permitieron analizar los
resultados de la encuesta atendiendo a las siguientes
variables:
- Sexo. - Edad. - Nacionalidad. - Nivel formativo. - Tipo de
discapacidad.
Dado que el elemento central de esta evaluación ha sido la
aplicación de una metodología cuasi experimental para estimar el
impacto del Programa de Desarrollo de Competencias Digitales
Básicas, el proceso de selección de los dos grupos de población se
describe al detalle dentro del epígrafe 3.3, en el que se
desarrolla de manera específica la metodología aplicada. Asimismo,
los cuestionarios utilizados en la encuesta se incluyen en los
Anexos.
Cuestionario online
Por último, para finalizar la recopilación de información de
carácter cuantitativo se hizo uso de la herramienta de encuestación
online del Gobierno de Navarra. A través de la creación de
formularios de consulta se envió durante el mes de junio, por medio
de correo electrónico, un enlace a un cuestionario online de 4
preguntas cortas. Este proceso ha permitido obtener información
atendiendo a una doble perspectiva:
Por una parte, la tasa de respuesta en sí misma ya es un indicador
representativo de conexión digital.
Por otra parte, las respuestas obtenidas han aportado información
referida a elementos estratégicos a nivel de competencias digitales
como son:
Percepción del nivel de conocimientos digitales.
Elemento utilizado para conectarse a internet (Teléfono, tablet,
ordenador…)
Frecuencia de conexión vinculada a la búsqueda de empleo.
Tipo de contacto con la Administración pública (Presencial, online,
ambos…)
El cuestionario utilizado se inserta dentro de los anexos de este
documento.
3.2. Análisis cualitativo
Para tener una visión completa del proyecto de Competencias
Digitales Básicas, de sus contenidos y de los resultados iniciales
que se alcanzaron, es conveniente tener en cuenta no sólo datos
cuantitativos, sino también elementos cualitativos que arrojen luz
sobre la percepción de los efectos y acerca de la implementación de
esta iniciativa en la práctica.
Con el objetivo de atender los requerimientos de una evaluación de
esta tipología se dispuso de un diseño metodológico basado en un
enfoque eminentemente participativo que combinaba el uso de
diversas técnicas y herramientas, con una estrategia de
triangulación que facilitase el
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
19
contraste de la información recabada y que incrementase la
capacidad de compresión de los fenómenos estudiados, y por tanto su
análisis explicativo y propositivo.
La finalidad de este análisis ha sido, en última instancia, la
identificación de efectos e impactos de naturaleza cualitativa, si
bien en un primer momento su utilidad ha sido facilitar una
aproximación contextualizada al objeto de evaluación, el Plan de
choque ejecutado y la realidad a la que se dirigía en la Comunidad
Foral de Navarra. Con este planteamiento, los resultados de este
análisis exploratorio han servido de base para contextualizar de la
manera más adecuada posible el elemento central de este trabajo,
que es la evaluación de impactos del programa.
Revisión documental
El proceso de análisis cualitativo ha partido de una revisión
documental de la información facilitada por el SNE-NL vinculada al
proceso de diseño y gestión del plan de choque. De forma concreta
los recursos analizados fueron los siguientes:
Documentación general del proyecto que incluía:
Presentación del proyecto a los ayuntamientos.
Documento explicativo de las funciones y participación de los
ayuntamientos en la organización y puesta en marcha de los
cursos.
Programación de los cursos a nivel temporal y de distribución
geográfica.
Contenidos y tareas que componen las sesiones de formación.
Materiales pedagógicos para la impartición.
Informes de seguimiento de los cursos.
Memorias de ejecución del curso a modo de informe valorativo del
personal docente.
Encuesta para valorar las competencias digitales.
Cuestionarios de valoración dirigido al alumnado.
Encuesta de igualdad.
Documentación dirigida al personal docente para cumplir con los
protocolos COVID-19.
Además de esta documentación propia del proyecto, se revisó otra
documentación de carácter estratégico que fue surgiendo durante el
trabajo de campo, entre la que merece la pena destacar:
Marco europeo de competencias digitales DigComp.
Estudio de Competencias Digitales de la población trabajadora de
Navarra9.
Se da la circunstancia de que este último estudio fue realizado por
una persona que tuvo un papel fundamental en la elaboración de
contenidos, selección del personal docente y lanzamiento del Plan
de choque de Competencias Digitales Básicas, y que de forma previa
a la publicación del estudio había participado en una de las
entrevistas que se incluyen dentro del proceso de recogida de
información cualitativa de esta evaluación.
9 Estudio promovido por el Colegio Oficial de Ingenieros
Industriales de Navarra, la Fundación Industrial Navarra y la
Fundación La Caixa.
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
20
Entrevistas
Tras el primer análisis documental realizado, el equipo evaluador
del Observatorio de la Realidad Social consideró la necesidad y
oportunidad de integrar en el proceso de evaluación a una serie de
agentes clave a través de entrevistas semiestructuradas, con el
objetivo de obtener respuestas a preguntas planteadas y reflexiones
propias de las personas participantes. Esta información permitió
abordar de la mejor manera posible el análisis de datos
cuantitativo y el diseño metodológico para la selección de grupos
requerido en la evaluación de impacto. Pero, sobre todo, ayudó en
la contextualización de los resultados e impactos obtenidos al
final del proceso evaluativo.
En cuanto a la participación, se han integrado en este proceso de
evaluación cualitativo a los principales agentes y entidades
implicadas en la ejecución y gestión del Programa para el
Desarrollo de Competencias Digitales Básicas. En ese sentido, se ha
contado con la participación del Servicio Navarro de Empleo, de
ayuntamientos que solicitaron el programa, de los Servicios
Sociales de Base encargados de su difusión y facilitar el acceso,
de la Federación Navarra de Municipios y Concejos, de consultoras
independientes que diseñaron los contenidos del programa y de parte
del profesorado.
Esta selección fue definida en todo momento de mutuo acuerdo con el
Servicio Navarro de Empleo, que facilitó el acceso del equipo
evaluador del Observatorio de la Realidad Social a las personas que
actuaron en representación de las entidades referidas. Las
entrevistas en profundidad fueron la principal técnica de
recopilación de información cualitativa utilizada en esta
evaluación, realizando un total de 16 entrevistas a 17
personas.
Para el desarrollo de las entrevistas se definió previamente un
guion orientativo, incluido en el Anexo I de este informe, en el
que se establecieron una serie de preguntas, a modo de guía, en el
marco de las principales etapas que se suceden en la implementación
del Plan de choque. Con su realización se pudo recabar información
cualitativa esencial a partir de las percepciones de las personas
entrevistadas sobre los principales hitos de los cursos de
Competencias Digitales Básicas impartidos; desde su
conceptualización y diseño; pasando por su ejecución y gestión,
hasta sus resultados e impactos.
Atendiendo a lo anterior, hay que poner de manifiesto que las
opiniones vertidas en estas entrevistas permitieron enfocar el
trabajo de evaluación con una perspectiva más amplia, holística y
más eficiente, así como con mayor focalización en las cuestiones
clave durante la fase inicial de las tareas de evaluación. Junto a
ello, un objetivo esencial de estas entrevistas ha sido facilitar
el diseño contextualizado del cuestionario que permitió el
importante proceso de encuestación previsto en esta evaluación,
vinculado a la estimación del impacto, y que se llevó a cabo en la
última etapa del trabajo de campo.
Con respecto a su formato, además de apoyarse en un guion de
cuestiones orientativas, todas las entrevistas se realizaron a
través de videoconferencia. En general, las entrevistas han sido
individuales, excepto en una ocasión que participaron de forma
conjunta dos personas. Con su realización, se pudo recabar
información cualitativa esencial a partir de las percepciones de
las personas entrevistadas sobre los principales hitos de la
intervención evaluada.
En la tabla siguiente se detalla el listado de entrevistas
realizadas, indicando fecha, entidad, nombre de la persona
responsable con la que se contactó y cargo que ocupaba. En resumen,
en las entrevistas han participado 17 personas seleccionadas,
representantes de 11 entidades o grupos participantes de una u otra
forma en la ejecución del Programa para el Desarrollo de
Competencias Digitales Básicas, que inicialmente fueron
considerados como agentes informadores clave de común acuerdo con
el Servicio Navarro de Empleo.
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
21
Tabla 2. Listado de personas participantes en las entrevistas
realizadas.
Fecha Nombre Entidad Cargo
12/04/2021 Cristina Urdanoz Servicio Navarro de Empleo Jefa de
sección
03/05/2021 Miriam Martón Servicio Navarro de Empleo Directora
gerente
20/04/2021 Fermín Cabasés FNMC Asesor económico
27/04/2021 Maite García
06/05/2021 Rodrigo Zardoya Fundación Dédalo Director
23/04/2021 María Marco Ayuntamiento de Tafalla Trabajadora
social
15/04/2021 María Jesús Gamboa Servicio Navarro de Empleo Jefa de
agencia de empleo
23/04/2021 Xabier Ibañez Ayuntamiento de Cintruénigo Agente de
empleo
21/04/2021 María Razquin Ayuntamiento de Irurtzun Educadora
social
19/04/2021 Itxaso Ruíz Ayuntamiento de Zizur Mayor Técnica de
desarrollo local
20/04/2021 Gustavo Urra Ayuntamiento de Barañain Responsable
telecentro
15/04/2021 Maite Cuesta Consultora independiente
21/04/2021 Eva Perujuániz Asistencia técnica externa
12/05/2021 Edurne Almirantearena Formadora
12/05/2021 Iñaki Etxeberría Formador
Fuente: Elaboración propia.
3.3. Evaluación del impacto
El objetivo principal de esta evaluación es conocer los efectos del
Plan de choque del Programa para el desarrollo de Competencias
Digitales Básicas ejecutado por el Servicio Navarro de Empleo en el
año 2020. Se pretende detectar los factores catalizadores que
facilitan o inhiben el logro de dichos efectos e impactos y estimar
y ponderar estos impactos en la población destinataria de sus
servicios.
Tal y como se ha señalado en los puntos anteriores, el enfoque
metodológico de esta evaluación propone la aplicación ordenada y
secuencial de una serie de técnicas de investigación, recopilación,
tratamiento y análisis de la información con una clara
intencionalidad: desplegar un proceso inicial para captar con la
mayor riqueza posible los ámbitos de incidencia de la formación
impartida sobre Competencias Digitales Básicas, los factores
condicionantes, la naturaleza de sus efectos e impactos y optimizar
la comprensión de los procesos que conducen al logro de dichos
efectos e impactos.
De cara a la determinación del efecto neto de la intervención en la
población usuaria del Programa para el desarrollo de Competencias
Digitales Básicas, se ha aplicado una metodología contrafactual, a
través de la que se ha comparado una muestra del grupo de
tratamiento, integrado por aquellas usuarias que han recibido el
programa, con un grupo de control, compuesto por personas que no
han recibido el programa.
El grupo de control se ha seleccionado en un contexto cuasi
experimental, es decir, una vez ha concluido el programa. Para
ello, se ha utilizado la información disponible en la base de datos
SISPE y se han analizado las variables que caracterizan a la
población usuaria, para encontrar aquellos individuos de la
población general que no han recibido el programa, pero que
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
22
presentan las mismas características, es decir, sus pares. Esto
permite que sean comparables estadísticamente.
La muestra de control se ha seleccionado con la técnica estadística
de Propensity Score Matching (PSM). Esta técnica permite sintetizar
las variables que caracterizan a los individuos de ambos grupos,
tratamiento y control, en la variable de probabilidad de participar
en el programa. Entre el total de la población general se ha
seleccionado aquella muestra con una probabilidad de participar en
el Programa similar a la población usuaria, lo que permite
construir un grupo de control semejante una vez ya se ha aplicado
el programa. La técnica PSM utiliza bases de datos y técnicas
estadísticas para construir el mejor grupo de comparación posible
sobre la base de características observables.
Para cada unidad del grupo de tratamiento (población usuaria) y del
grupo de control (población general), se analiza la probabilidad de
que esta unidad se inscriba en el programa, obteniendo como
resultado el denominado puntaje de propensión. Este resultado se
estima sobre la base de los valores observados de sus
características (las variables explicativas), siendo un número real
entre 0 y 1, que resume la influencia de todas las características
observables en la probabilidad de inscribirse en el programa.
Una vez que se ha obtenido el puntaje de propensión de todas las
unidades, aquellas del grupo de tratamiento pueden parearse con
unidades del grupo de control que tienen los puntajes de propensión
más cercanos. Estas unidades próximas se convierten en el grupo de
comparación más adecuado y se utilizan para producir una estimación
del contrafactual.
En el caso de esta evaluación, con la aplicación del PSM se ha
calculado la probabilidad de participar en el Programa incluyendo
en el modelo todas las variables existentes en la base de datos,
para tener un nivel de significatividad suficiente. Posteriormente,
se ha comprobado que se cumplen los condicionantes de existencia de
una región de soporte común y de equilibrio general. El grupo de
control se ha elegido en una proporción de 8 a 1, es decir,
seleccionando 8 personas de la población por cada persona usuaria,
ante la posibilidad de no obtener respuesta al cuestionario.
Una vez obtenidos los dos grupos de comparación, para estimar el
impacto se ha utilizado la metodología de Diferencias en
Diferencias (DiD). Esta técnica compara los cambios en los
resultados a lo largo del tiempo entre personas usuarias de un
programa (grupo de tratamiento) y personas que no han participado
(grupo de comparación). Esto permite estimar cualquier diferencia
entre ambos grupos que sea constante a lo largo del tiempo.
En el modelo aplicado se han tenido que incluir todas las variables
de la base de datos para obtener un grado de significatividad
adecuado, aunque se observó, a tenor de los resultados obtenidos,
que existe una multitud de variables no incluidas en la base de
datos, variables no observables, que afectaban a la probabilidad de
participar en el programa. El sesgo que pudiera ocasionar esta
carencia de información no puede ser eliminado por la aplicación de
la metodología de Diferencias en Diferencias (DiD), que utiliza la
diferencia de las variables antes y después de la aplicación del
tratamiento, ya que no se dispone de información previa al
programa.
La aplicación de esta metodología se ha adaptado a las necesidades
de la evaluación ya que se ha elegido el grupo de control antes de
disponer la información de las variables de resultados o de
respuesta. Tras esta selección se ha llevado a cabo una encuesta a
ambos grupos, con preguntas similares que permitan cuantificar la
estimación de los logros del programa en los objetivos que se
pretendían con el mismo. Tras obtener los resultados de la encuesta
se ha procedido al análisis del efecto del programa en los ámbitos
previstos.
Para salvar en la medida de lo posible el sesgo inducido por las
variables no observables, tanto al grupo de control como a la
población beneficiaria se les ha pedido que efectúen una
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
23
valoración de la mejora a lo largo del tiempo. Es decir, en vez de
preguntarles por su percepción sobre un ítem en un momento
concreto, se les ha planteado que valoren su evolución Esta mejora
se ha vinculado al programa, en el caso del tratamiento, y al
periodo de tiempo transcurrido desde que se inició la pandemia, en
el caso del grupo de control. De esta forma, se podría considerar
la respuesta de los participantes en el programa como la diferencia
entre el momento en el que ha finalizado el tratamiento y el
momento inicial previo a la aplicación de este. Se puede considerar
un “efecto bruto”, es decir el efecto producido tanto por el
programa como por otros factores ajenos al mismo a los resultados
obtenidos en el grupo de usuarios del curso, o grupo de
tratamiento.
La diferencia de los resultados entre ambos grupos conceptualmente
detraería lo que se ha impulsado por causas ajenas al programa, es
decir la mejora cuantificada en el grupo de control (población
general), al total de logros cuantificados en los beneficiarios del
tratamiento (población usuaria). El resultado podría considerarse
el “efecto neto” del programa, es decir aquel efecto atribuido al
programa, que previsiblemente no se hubiera logrado en ausencia del
mismo, una vez se ha restado el efecto promovido por factores
ajenos al programa.
Por lo tanto, con la hipótesis anterior se procedió a estimar la
diferencia de medias y su significatividad, para estimar el efecto
neto del programa.
Con la intención de presentar de una forma más sencilla la
metodología utilizada en esta evaluación de impacto, se describe a
continuación la secuencia de hitos alcanzados para efectuar la
selección definitiva de los grupos de tratamiento (población
usuaria) y control (población general).
La secuencia que resume el proceso de selección de ambos grupos es
la siguiente:
- Se efectuó una consulta en la base de datos del SNE-NL a 30 de
junio para valorar la situación de la población usuaria. Se eligió
esta fecha con la intención de conocer la situación de la población
usuaria justo antes de iniciar el programa.
- Se obtuvo información para un total de 723 personas de las 848
que participaron en el programa. Esto es así porque hubo personas
que se inscribieron de forma posterior en la base de datos.
- Atendiendo a las variables que según la aplicación del Propensity
Score Matching se consideraban representativas de cara a la
participación en el programa, se obtuvieron un total de 723 pares
de la población general con los que efectuar el análisis
comparativo. Estos pares son personas con un nivel de similitud con
la población usuaria que permite su comparación evitando el mayor
sesgo posible.
- Se planteó una muestra representativa de 347 encuestas para cada
grupo poblacional. Esto supuso un total de 694 encuestas que
permitirían medir el impacto entre ambos grupos (población usuaria
y población general).
- Debido a que la tasa de respuesta de la población general fue
inferior a la de la población usuaria, se volvió a estimar otro
listado de personas extraídas de la base de datos que cumplían la
condición de ser pares de los usuarios y usuarias, de cara a
efectuar la comparación para medir el impacto.
- Estos 694 pares finales han sido los mismos que se han utilizado
de cara a la valoración de la situación en cuanto al acceso al
empleo que se realizó posteriormente.
Informe de Evaluación - Plan de choque de Competencias Digitales
Básicas
24
4. Análisis e interpretación de los resultados e impactos
El capítulo cuarto de este informe presenta los resultados
obtenidos a partir de las diferentes herramientas de análisis
cuantitativo implementadas en el proceso evaluador: la encuesta, el
cuestionario online y las consultas a las bases de datos. Así, se
describe inicialmente en el apartado 4.1 el resultado del análisis
de ejecución de los cursos impartidos a partir de la información
contenida en los registros del Servicio Navarro de Empleo.
A continuación, se presentan los resultados derivados de la
encuesta telefónica y del cuestionario online enviado. En este caso
la información recopilada se estructura a partir de dos epígrafes
diferenciados. En primer lugar, el epígrafe 4.2 incluye los
principales resultados derivados de la encuesta relativos tanto a
los cursos, como a aspectos generales de Competencias Digitales
Básicas y a su uso cotidiano, especialmente en la relación con la
Administración pública. Seguidamente, el epígrafe 4.3 desarrolla
los resultados obtenidos en la evaluación de impacto realizada por
el Observatorio de la Realidad Social aplicando una metodología
cuasi experimental.
Por último, se incluyen en el apartado 4.4 los resultados obtenidos
con el envío del cuestionario online y se cierra este cuarto
apartado con el epígrafe 4.5 que incluye un breve análisis del
impacto en el empleo que han tenido los cursos.
4.1. Análisis de la eficacia: Ejecución física
La explotación de la base de datos donde se incluía la información
vinculada a los cursos y a la población participante dentro del
Plan de choque indica que desde junio a octubre de 2020 se
impartieron 100 cursos de Competencias Digitales Básicas, de ambos
niveles, a un total de 976 alumnos y alumnas. De esas 976 personas
participantes hubo 128 que repitieron formación, haciendo primero
el nivel I y luego el nivel II, por lo que en total se formó a 848
personas beneficiarias del programa.
En cuanto a su distribución según sexo, los registros indican que
el 60,3% de las participantes fueron mujeres mientras que los
hombres representaron el 39,7%. Esta distribución porcentual es
diferente a la de la base de datos SISPE, que a 30 de junio de 2020
era de 49,4% de hombres frente a 50,6% de mujeres. En este sentido,
se entiende que existe una conducta más proactiva a participar en
este tipo de formación por parte de las mujeres que de los hombres,
situación que también se planteó según la percepción del personal
de los Se