Tutorías remotas con medios de baja tecnología para acelerar los aprendizajes: Evidencia para El Salvador

Zoido, Pablo; Flores, Iván; Hevia, Felipe J.; Székely, Miguel; Castro, Eleno Working Paper Tutorías remotas con medios de baja tecnología para acelerar los aprendizajes: Evidencia para El Salvador IDB Working Paper Series, No. IDB-WP-1427 Provided in Cooperation with: Inter-American Development Bank (IDB), Washington, DC Suggested Citation: Zoido, Pablo; Flores, Iván; Hevia, Felipe J.; Székely, Miguel; Castro, Eleno (2022) : Tutorías remotas con medios de baja tecnología para acelerar los aprendizajes: Evidencia para El Salvador, IDB Working Paper Series, No. IDB-WP-1427, Inter-American Development Bank (IDB), Washington, DC, https://doi.org/10.18235/0004690 This Version is available at: https://hdl.handle.net/10419/289986 Standard-Nutzungsbedingungen: Die Dokumente auf EconStor dürfen zu eigenen wissenschaftlichen Zwecken und zum Privatgebrauch gespeichert und kopiert werden. Sie dürfen die Dokumente nicht für öffentliche oder kommerzielle Zwecke vervielfältigen, öffentlich ausstellen, öffentlich zugänglich machen, vertreiben oder anderweitig nutzen. Sofern die Verfasser die Dokumente unter Open-Content-Lizenzen (insbesondere CC-Lizenzen) zur Verfügung gestellt haben sollten, gelten abweichend von diesen Nutzungsbedingungen die in der dort genannten Lizenz gewährten Nutzungsrechte. Terms of use: Documents in EconStor may be saved and copied for your personal and scholarly purposes. You are not to copy documents for public or commercial purposes, to exhibit the documents publicly, to make them publicly available on the internet, or to distribute or otherwise use the documents in public. If the documents have been made available under an Open Content Licence (especially Creative Commons Licences), you may exercise further usage rights as specified in the indicated licence. https://creativecommons.org/licenses/by-nc-nd/3.0/igo/legalcode Tutorías Remotas con Medios de Baja Tecnología para acelerar los aprendizajes: Evidencia para El Salvador Pablo Zoido Iván Flores Felipe J. Hevia Miguel Székely Eleno Castro DOCUMENTO DE TRABAJO DEL BID Nº IDB-WP-1427 Diciembre 2022 División de Educación Banco Interamericano de Desarrollo Diciembre 2022 Tutorías Remotas con Medios de Baja Tecnología para acelerar los aprendizajes: Evidencia para El Salvador Pablo Zoido Iván Flores Felipe J. Hevia Miguel Székely Eleno Castro* Catalogación en la fuente proporcionada por la Biblioteca Felipe Herrera del Banco lnteramericano de Desarrollo Tutorías remotas con medios de baja tecnología para acelerar los aprendizajes: evidencia para El Salvador / Pablo Zoido, Iván Flores, Felipe J. Hevia, Miguel Székely, Eleno Castro. p. cm. — (Documento de trabajo del BID ; 1427) Incluye referencias bibliográficas. 1. Educational innovations-El Salvador. 2. Educational equalization-El Salvador. 3. Mathematics-Study and teaching-El Salvador. I. Zoido-Lobatón, Pablo. II. Flores, Iván. III. Hevia, Felipe. IV. Székely, Miguel. V. Castro, Eleno. VI. Banco Interamericano de Desarrollo. División de Educación. VII. Serie. IDB-WP-1427 Clasificación JEL: I20, I24, I25, I28 Palabras Clave: investigación en educación, desigualdad, desarrollo económico, política gubernamental Copyright © Banco Interamericano de Desarrollo. Esta obra se encuentra sujeta a una licencia Creative Commons IGO 3.0 Reconocimiento-NoComercial-SinObrasDerivadas (CC-IGO 3.0 BY-NC-ND) (http://creativecommons.org/licenses/by-nc- nd/3.0/igo/legalcode) y puede ser reproducida para cualquier uso no-comercial otorgando el reconocimiento respectivo al BID. No se permiten obras derivadas. Cualquier disputa relacionada con el uso de las obras del BID que no pueda resolverse amistosamente se someterá a arbitraje de conformidad con las reglas de la CNUDMI (UNCITRAL). El uso del nombre del BID para cualquier fin distinto al reconocimiento respectivo y el uso del logotipo del BID, no están autorizados por esta licencia CC-IGO y requieren de un acuerdo de licencia adicional. Después de un proceso de revisión por pares, y con el consentimiento previo y por escrito del BID, una versión revisada de esta obra podrá reproducirse en cualquier revista académica, incluyendo aquellas referenciadas por la Asociación Americana de Economía a través de EconLit, siempre y cuando se otorgue el reconocimiento respectivo al BID, y el autor o autores no obtengan ingresos de la publicación. Por lo tanto, la restricción a obtener ingresos de dicha publicación sólo se extenderá al autor o autores de la publicación. Con respecto a dicha restricción, en caso de cualquier inconsistencia entre la licencia Creative Commons IGO 3.0 Reconocimiento-NoComercial-SinObrasDerivadas y estas declaraciones, prevalecerán estas últimas. Note que el enlace URL incluye términos y condiciones adicionales de esta licencia. Las opiniones expresadas en esta publicación son de los autores y no necesariamente reflejan el punto de vista del Banco Interamericano de Desarrollo, de su Directorio Ejecutivo ni de los países que representa. http://www.iadb.org 2022 1 Tutorías Remotas con Medios de Baja Tecnología para acelerar los aprendizajes: Evidencia para El Salvador Pablo Zoido*, Iván Flores+, Felipe J. Hevia++, Miguel Székely+ y Eleno Castro* 1,2 Resumen Este documento presenta los resultados de una evaluación de impacto, con diseño experimental, que estima el efecto sobre aprendizajes de matemáticas de un programa de tutorías remotas ofrecido a niñas y niños de 9 a 14 años en tres departamentos de El Salvador. El programa utilizó medios de baja tecnología como mensajes de texto y llamadas telefónicas de 20 minutos, durante ocho semanas. Se estima que las tutorías remotas tuvieron un efecto positivo y significativo de 0.23 desviaciones estándar, lo cual equivale a una aceleración de 33.2 por ciento en los aprendizajes en matemáticas, en comparación con los cambios observados en el grupo de control. La evidencia indica que los aprendizajes aumentan significativamente a medida que el número de tutorías recibidas es mayor. Al comparar con otros estudios relacionados, se concluye que la intervención es costoefectiva. Los principales elementos innovadores son: (i) la generación de evidencia mediante instrumentos aplicados de manera presencial que garantiza una alta calidad y precisión en las mediciones de nivel de aprendizaje; (ii) a nuestro saber, este es el primer programa con evaluación experimental en su tipo en América Latina implementado durante la pandemia, con escuelas abiertas parcialmente, lo que permite verificar si la intervención es igual de efectiva que intervenciones similares en otros contextos y regiones del mundo; (iii) la utilización de dos tipos de pruebas de nivel de aprendizaje para validar la robustez de los resultados. Clasificación JEL: I20, I24, I25, I28 Palabras Clave: investigación en educación, desigualdad, desarrollo económico, política gubernamental 9 de diciembre, 2022 1 *Banco Inter Americano de Desarrollo (BID); +Centro de Estudios Educativos y Sociales (CEES); ++Centro de Investigaciones y Estudios Superiores en Antropología Social (CIESAS). 2 Los autores agradecen el apoyo de Gonzalo Almeyda, Jenny Carolina Hernández, Victoria Oubiña y Alan Picazo en la elaboración del presente estudio, así como los relevantes y detallados comentarios de Samuel Berlinski, Matías Busso, y Gregory Elacqua del BID, a versiones previas de este documento. Los autores agradecen también a Youth Impact (Young 1ove por su antiguo nombre), en particular a Noam Angrist y Colin Crossley, quienes compartieron los materiales que habían trabajado en otras regiones del mundo y ofrecieron apoyo técnico y asesoría en su contextualización para El Salvador. Las opiniones expresadas en este estudio son de sus autores, y no necesariamente reflejan las de las instituciones a las que pertenecen. 2 Contenido Introducción........................................................................................................ 3 1. Descripción del Programa y diseño experimental ....................................... 5 2. Resultados del trabajo de campo y estadística descriptiva ........................ 11 3. Estrategia empírica ..................................................................................... 15 4. Resultados .................................................................................................. 17 5. Conclusiones .............................................................................................. 26 3 Introducción La pandemia por Covid-19 ha tenido un impacto significativo en los sistemas educativos alrededor del mundo. América Latina y el Caribe (ALC) no fue la excepción, con alrededor de 114 millones de estudiantes que dejaron de tomar clases de manera presencial en 2020. En 2021 la región se ubicó como aquélla con mayor número de estudiantes afectados a nivel mundial. El regreso a clases se dio de manera paulatina, y a mediados de 2021, todavía 86 millones de niños y niñas en ALC no habían regresado a clases presenciales (UNICEF 2021a, 2021b). La interrupción de la enseñanza tradicional afectó principalmente a la población más pobre al contar con menos recursos para una educación a distancia efectiva, como tener acceso a servicio de internet en el hogar, y contar con una infraestructura necesaria como computadoras o tabletas y espacio físico adecuado para el estudio remoto, mostrándose una situación similar en las escuelas en las que estos niños estudian. Entre los efectos de la pandemia en la región se observó una disminución de horas dedicadas al estudio por parte de los alumnos, una reducción del número de horas ofrecidas por los maestros y una menor interacción de los estudiantes con sus pares así como con los docentes (Acevedo et al., 2022). Estas interrupciones en el proceso educativo han tenido consecuencias considerables sobre los aprendizajes, algunas de los cuales se han medido en estudios recientes. Por ejemplo, en el Estado de Sao Paulo en Brasil, con base en la prueba estandarizada para educación básica (SAEB) aplicada en 2021, se observaron pérdidas de entre 11 y 29 puntos porcentuales en los resultados de lengua portuguesa y de entre 18 y 47 puntos porcentuales en los resultados de matemáticas (Lichand, et.al., 2021). En Colombia los resultados del programa Plan de Alternancia, en el que algunas escuelas fueron seleccionadas para un regreso progresivo a clases presenciales a finales de 2020, mostró que aquellos niños de escuelas que no participaron obtuvieron menores resultados en pruebas de matemáticas, lectura y ciencias naturales (Melo-Becerra et al., 2021). En Chile, el Ministerio de Educación (MINEDUC, 2021) realizó un estudio comparando los resultados de la prueba DIA de 2020 con los obtenidos previos a la pandemia, mostrando una reducción de entre 40 y 53 puntos porcentuales en los resultados de comprensión de lectura y matemáticas respectivamente. Para México, Székely et al. (2022) utilizando datos de la prueba MIA de aprendizaje para los estados de Yucatán y Campeche, encuentran que los niños de entre 10 y 15 años que no habían regresado clases presenciales tuvieron una pérdida de aprendizaje de entre 0.27 y 0.33 desviaciones estándar en un periodo de seis meses, misma que afectó principalmente a los niños de más edad, información consistente con la reportada por Hevia et.al. (2022a) para población de edades similares. Finalmente, mediante simulación, Monroy-Gómez-Franco et al. (2022) estiman también para México, que una pérdida de aprendizaje actual que fuera equivalente a la tercera parte de un año académico puede tener un impacto de entre 1 y hasta 2.1 años de pérdida en aprendizajes en el largo plazo, afectando principalmente niños de bajos recursos. En El Salvador también se han documentado efectos de la pandemia en los niños de edad escolar. En cuanto a los procesos de aprendizaje, un estudio de la Fundación Pro-Educación 4 de El Salvador (FUNPRES) en 2021 para el Ministerio de Educación nacional en el que se realizaron preguntas a un grupo representativo de la población escolar, encontró que 58.5 por ciento consideró que fue difícil recibir clases en línea, 30.1 por ciento calificó de desfavorable su acceso a internet y el 19.8 por ciento afirmó contar con dispositivos móviles poco adecuados. Este mismo estudio reveló que se registraron mayores niveles de depresión y ansiedad que previo a la pandemia, afectando en mayor proporción a mujeres y a niños de mayor edad. Parte de estos problemas se esperaba que disminuyera con el regreso a clases, si bien el proceso de reapertura de las escuelas en El Salvador comenzó en de abril del 2021, a mediados de ese año solo el 44.5 por ciento reportaba asistir a clases presenciales tres o más días a la semana, mientras que 26.7 por ciento no asistía ni un solo día. En este contexto, el presente estudio reporta los resultados de una intervención de tutorías remotas de baja tecnología para acelerar el aprendizaje en El Salvador. A nuestro saber es la primera intervención con evaluación experimental en su tipo en América Latina durante la pandemia la cual fue dirigida a niños de 9 a 14 años cursando de cuarto a noveno grados de educación básica, en los departamentos de Chalatenango, Cabañas y Morazán. La intervención consistió en la impartición de tutorías adecuadas al nivel de matemáticas de cada niño. La evaluación cuenta con un diseño experimental. El primer paso consistió en la aplicación de un cuestionario diagnóstico (línea base) aplicado de manera presencial a todos los participantes, para garantizar que la información captada en las mediciones de aprendizajes, son fidedignas. Con base en los resultados se definió una estrategia de intervención personalizada y a la medida de las necesidades de cada participante. La intervención consistió en el envío de mensajes de texto personalizados y llamadas telefónicas de 20 minutos para la impartición de tutorías individuales durante 8 semanas. Los resultados finales fueron medidos mediante un cuestionario aplicado en persona cara-a-cara al finalizar la intervención. Se aplicaron dos tipos de pruebas para asegurar la robustez de los resultados. Encontramos que las tutorías remotas tuvieron impacto de 0.23 desviaciones estándar, lo cual equivale a una aceleración de 33.2 por ciento en los aprendizajes en matemáticas, en comparación con los cambios observados en el grupo de control. Los resultados sugieren que el nivel de aprendizaje aumenta cuando el número de tutorías recibidas es mayor. El documento se estructura de la siguiente manera. En la primera sección se hace una breve reseña de la literatura relacionada con el estudio, se describe el programa y su diseño experimental. En la segunda sección se presentan los resultados del trabajo de campo y la estadística descriptiva básica, mientras que en la tercera sección se describe la estrategia empírica. Los resultados de la evaluación de impacto se presentan en la cuarta sección y finalmente se presentan las conclusiones. 5 1. Descripción del Programa y diseño experimental Revisión de la literatura Para elevar el logro educativo y paliar los efectos sobre los aprendizajes una de las intervenciones que ha resultado exitosa, principalmente en niños que muestran retraso en su aprendizaje conforme al currículum correspondiente, ha sido la de tutorías académicas. Estas intervenciones pueden variar en cuanto al tipo de tutores (docentes, semi profesionales, voluntarios, entre pares, padres de familia) presencialidad (en persona o remota), lugar (en casa, en la escuela posterior a clases, en hora de clases), personal o en pequeños grupos, etcétera. Las tutorías, de manera general, no son una intervención de diseño reciente y sus efectos positivos han sido ya documentados. En un metanálisis de 96 publicaciones posteriores a 1980, de intervenciones de tutorías de asignación aleatoria (y excluyendo aquellos en donde los tutores eran pares) Nickow et al. (2020) muestran que estas tienen en conjunto un impacto de 0.37 desviaciones estándar en variables de aprendizaje, equivalentes a pasar del percentil 50 al percentil 66 de la distribución. Tres años antes, en otra revisión sistemática y metanálisis Dietrichson et al. (2017), consideraron 101 intervenciones en Europa y países de la OECD (aleatorizadas y no aleatorizadas) en estudiantes con bajo nivel socioeconómico encontrando que las tutorías tenían un efecto combinado de 0.36 desviaciones estándar. Basado en experiencias previas, las tutorías remotas han sido utilizadas recientemente como instrumento de política específicamente para disminuir el impacto de la pandemia en la pérdida de aprendizaje. Esto se debe a que entre sus principales características se encuentran el ser de bajo costo y el utilizar la infraestructura disponible en los hogares, lo que permite atender a niñas y niños de distintos niveles socioeconómicos incluidos los más bajos. Hevia et al. (2022) presentan una revisión de literatura así como una sistematización de los programas de tutorías remotas como intervención para acelerar aprendizajes y reducir brechas existentes. Entre los ejemplos particulares de este tipo de programas se encuentra el piloto Tutoring Online Program (TOP) de tutorías individuales en línea, para niños de entre sexto y octavo grado, con estudiantes de nivel universitario como tutores voluntarios. La intervención consistió en tres horas semanales de tutoría remota (en línea) durante cinco semanas, realizándose también una versión intensiva del programa de seis horas semanales. Este programa con diseño experimental se llevó a cabo al inicio de la pandemia, entre los meses de abril y junio de 2020, en secundarias italianas. Carlana et al. (2021) encuentran que la intervención tuvo un efecto de 0.26 desviaciones estándar en el puntaje de una prueba que incluía matemáticas, italiano e inglés, con mayores efectos en niños de menores recursos y en niños migrantes, y muestran efectos significativos también en habilidades socioemocionales y aspiraciones sobre los estudios. En España el programa Menttores atendió alumnos de primero y segundo grado de educación secundaria de 12 a 15 años edad, aleatorizados a tutorías (un tutor por dos alumnos), en formato de videollamadas en sesiones de 50 minutos tres veces por semana durante ocho semanas y en donde los tutores eran en su 12 Figura 1. Porcentaje de participación en la línea de seguimiento En la práctica esto implicó que el desgaste (attrition) total fuera de 23.4 por ciento, con un diferencial de 4.1 puntos entre el grupo de control (25.4 por ciento de desgaste -437 observaciones) y el de tratamiento (21.3 por ciento – 367 observaciones). Por lo tanto, el tamaño de muestra final fue de 1,283 y 1,353 participantes, respectivamente. La combinación de 4.1 puntos de desgaste diferencial con un desgaste total de 23.4 por ciento se considera de bajo sesgo potencial de acuerdo con los estándares publicados por What Works Clearinghouse (WWC, 2022) de Instituto para las Ciencias de la Educación de Estados Unidos, quienes agrupan el porcentaje de desgaste en evaluaciones de diseños experimentales en bajo o alto, en relación al nivel de sesgo potencial. 3Estas categorías varían con relación al porcentaje total de desgaste y con el desgaste diferencial. No obstante, para establecer si los grupos de tratamiento y control diferían en sus características en la línea de seguimiento, debido al desgaste, se realizó una prueba de diferencia de medias para las niñas y niños que participaron en la línea de seguimiento. La Tabla 1 muestra las medias y los errores estándar de las características de las niñas y niños que contestaron el cuestionario de línea de seguimiento, así como las diferencias entre grupos: no se observan diferencias entre niños en el tratamiento y en el control que sean significativas al 5 por ciento, por lo que ambos grupos son similares en cuanto a características medidas en línea base como el sexo, edad, discapacidad, gusto por el estudio, asistencia presencial, nivel socioeconómico, niveles de ansiedad, el nivel de matemáticas y el departamento de procedencia. En la Tabla A4 del Anexo se presentan las diferencias entre los niños en el tratamiento y en el control, de la muestra que no participó en la línea de seguimiento, con resultados similares. 3Se define un estudio con bajo nivel de desgaste si su sesgo potencial es menor a 0.05 desviaciones estándar, de acuerdo con el algoritmo descrito en WWC (2022) y de acuerdo con los valores mostrados en la Tabla C.1 de dicho manual. 13 Tabla 1. Balance de características (de línea base) en la muestra de línea de seguimiento Una comparativa, característica por características, entre la muestra que sí participó en la línea de seguimiento y la que no participó se muestra en la Tabla A5 del Anexo, donde se observa que aquellos que sí fueron entrevistados son 0.2 años mayores, presentaban un poco Control Tratamiento Diferencia Mujer 0.525 0.514 0.012 (0.014) (0.014) (0.0195) Edad 11.799 11.718 0.081 (0.043) (0.044) (0.0619) Edad - 9 a 11 0.426 0.46 -0.033* (0.014) (0.014) (0.0194) Discapacidad 0.051 0.056 -0.005 (0.006) (0.006) (0.0088) Grados 7 a 9 0.276 0.285 -0.009 (0.012) (0.012) (0.0175) Presencial 0.878 0.858 0.020 (0.009) (0.009) (0.0132) Disfruta mucho estudiar 0.844 0.846 -0.002 (0.010) (0.010) (0.0141) Muchas ganas de aprender 0.923 0.913 0.010 (0.007) (0.008) (0.0107) Extraedad grave 0.052 0.044 0.008 (0.006) (0.006) (0.0083) Padres sin Bachillerato 0.684 0.678 0.006 (0.013) (0.013) (0.0182) Puntaje NSE 112.772 112.641 0.131 (1.248) (1.204) (1.7337) NSE Alto 0.129 0.121 0.007 (0.009) (0.009) (0.0129) NSE Medio 0.295 0.310 -0.016 (0.013) (0.013) (0.0179) NSE Bajo 0.577 0.568 0.008 (0.014) (0.013) (0.0193) Ansiedad Generalizada 0.323 0.325 -0.002 (0.013) (0.013) (0.0182) Obsesión Compulsión 0.355 0.363 -0.008 (0.013) (0.013) (0.0187) Fobia Social 0.276 0.276 0.000 (0.012) (0.012) (0.0174) Ansiedad de Separación 0.575 0.582 -0.006 (0.014) (0.013) (0.0192) Pánico Agorafobia 0.405 0.397 0.008 (0.014) (0.013) (0.0191) Miedo a Lesiones 0.309 0.295 0.015 (0.013) (0.012) (0.0179) Chalatenango 0.280 0.274 0.006 (0.013) (0.012) (0.0174) Cabañas 0.451 0.452 -0.002 (0.014) (0.014) (0.0194) Morazán 0.270 0.273 -0.004 (0.012) (0.012) (0.0173) Aciertos (%) BID-Young 0.315 0.299 0.0158 (0.008) (0.008) (0.0119) Aciertos (%) MIA Plus 0.353 0.348 0.005 (0.006) (0.006) (0.0089) Observaciones 1,283 1,353 Notas: Errores estándar en paréntesis. Niveles de significancia: * p< 0.10, ** p < 0.05, *** p < 0.01 14 más de ansiedad, pertenecían en menor medida al departamento de Chalatenango y tenían mayor nivel de matemáticas en la línea base, lo que marca algunas diferencias en cuanto a la población inicial. Por otro lado, para explorar un posible desgaste selectivo (para saber si estas diferencias están relacionadas con haber sido asignados a control o a tratamiento) se realizó una prueba conjunta consistente en una regresión en la que variable dicotómica a explicar fue el desgaste y las variables explicativas fueron a) la asignación al tratamiento, b) variables de control y c) la interacción de la variable de asignación con cada una de estas variables de control; los resultados se presentan en el Tabla A6 del Anexo. Similar a la observado en la Tabla A5, el desgaste estuvo asociado principalmente al departamento, siendo Chalatenango donde más desgaste hubo y a los niveles de ansiedad en los niños, asociados positivamente al desgaste. No obstante, solo la interacción de asignación al tratamiento con ansiedad de separación fue significativa al 5 por ciento, además de eso no se observa una asociación entre características que afectaran selectivamente al desgaste y también a uno de los grupos de tratamiento. Esto se refleja por ejemplo en la Tabla 1, en la que no hay diferencias significativas al 5 por ciento en las características observadas entre tratamientos y controles que contestaron la línea de seguimiento. Incumplimiento De los 1,283 niños en la línea de seguimiento que fueron aleatorizados al grupo de control, como se esperaba, ninguno fue tratado (Figura 2), es decir no hubo incumplimiento (noncompliance) en la asignación en el grupo de control. En la implementación del programa no se supo de ningún niño no tratado que mostrara interés por participar o recibir tutorías. Por otro lado, de los 1,353 niños en el grupo de tratamiento encontrados para la línea de seguimiento, 700 tomaron al menos una tutoría, es decir, el 51.7 por ciento de dicho grupo. De éstos, 81.7 por ciento recibieron el total de ocho tutorías y solo un 10.1 por ciento recibió únicamente una o dos. Figura 2. Porcentaje de niños que recibieron tutorías (tratados) por asignación al tratamiento original, muestra de niños en línea de seguimiento 15 El principal motivo del incumplimiento en el grupo de tratamiento fueron problemas para establecer contacto antes del inicio del proceso de preparación para las tutorías, por llamadas no contestadas o respondidas. El segundo motivo fue una negativa a participar o una aceptación inicial que no se concretó. A pesar de esto, en la Tabla A7 en el Anexo se presentan pruebas de balance que corroboran que las características observables de aquéllos asignados al tratamiento y que fueron tratados y no tratados, respectivamente, son equivalentes. Factores asociados a la conclusión del Programa Adicionalmente, se realizó una comparación entre los niños tratados, pero distinguiendo a aquellos que tomaron el número de tutorías planeado (8 tutorías) con aquellos que sí tomaron el tratamiento pero en menor medida: a) 1 o 2 tutorías y b) 3 a 7 tutorías, comparación que se muestra en la Tabla A8. Los niños que completaron las tutorías son muy similares a los que las interrumpieron al inicio (1 o 2 tutorías) en cuanto a características observadas, siendo la única diferencia significativa al 1 por ciento el porcentaje de niños con alguna discapacidad, que fue mayor en este último grupo. Contrario a los esperado hubo más diferencias entre los niños que completaron el programa y los que tomaron entre 3 y 7 tutorías, por ejemplo en relación con la edad para el grado escolar y el gusto por el estudio, lo que sugiere que la no conclusión del programa no es un fenómeno meramente aleatorio. Esto debe tomarse en cuenta en futuras implementaciones con el fin de maximizar el número de tutorías que reciben los niños en esta intervención. En términos de lo observado en el campo, del total niños que tomó al menos una tutoría solo 18.3 por ciento no completaron las 8 tutorías y el motivo principal fue que, de ellos, tres cuartas partes dejaron de responder las llamadas y no se pudo averiguar la causa. 3. Estrategia empírica Para medir el impacto de las tutorías en el aprendizaje de las niñas y niños partimos del siguiente modelo de regresión lineal: (1) ܻ ௜=ߚ௢+ ߜܦ௜+ߙܺ௜+ ߝ௜ En donde ܻ ௜ es una variable que mide el aprendizaje en matemáticas en la línea de seguimiento para el estudiante i, mientras que ܦ௜ es una variable dicotómica que denota si el niño i fue aleatorizado al tratamiento. El vector ܺ௜ son características individuales, educativas, socioemocionales, familiares de contexto geográfico y de resultado de la prueba de matemáticas correspondiente, todas medidas en la línea base. Al contar con un diseño experimental el coeficiente ߜ es el impacto estimado de la asignación al tratamiento, o efecto ITT (Intention-to-Treat). El ITT es el efecto promedio que tiene la asignación al tratamiento 16 sobre el aprendizaje, independientemente de si los niños asignados al tratamiento finalmente lo tomaron o no. El determinar este efecto es de utilidad, en cuanto permite conocer el impacto que tendría el replicar este programa, ofreciéndolo de manera voluntaria, en una población similar y con la misma tasa de cumplimiento. Adicionalmente, estimamos el efecto TOT (Treatment on the Treated), que cuantifica el impacto del programa sobre las niñas y niños que efectivamente tomaron las tutorías. Este efecto es, por tanto, mayor ya que no está “diluido” por los resultados de aquellas niñas y niños asignados al tratamiento pero que finalmente no lo tomaron. El TOT es entonces el impacto sobre los tratados, que como se mostró en la Tabla A7, en este caso es una población muy similar a los asignados al tratamiento pero que no tomaron las tutorías. Para esto en una primera etapa (ecuación 2) estimamos el valor de variable ܶ௜ (que indica si los estudiantes tomaron al menos una tutoría) como función de las variables de control y de la variable de asignación tratamiento ܦ௜ que funciona como instrumento (modelo de probabilidad lineal). En una segunda etapa estimamos también mediante MCO el aprendizaje ܻ ௜ como función de las variables de control y del estimado ܶ݅ ෡ cuyo coeficiente ߩ es el TOT. (2) ܶ௜=ߨ௢+ߛ ܦ௜ + Ɏܺ௜+ ݒ௜ (3) ܻ ௜=ߙ௢+ ߩܶ ప ෡ ߙܺ௜+߱௜ Finalmente, para cada efecto y para cada prueba, las estimaciones consideraron dos especificaciones distintas. En la primera no se incluyeron variables de control, lo que implica resultados equivalentes a una comparación de medias (en el caso del ITT) mientras que en el segundo caso sí se incluyeron. Esta segunda especificación controla por características observadas que podrían influir en el resultado, y por lo tanto incrementa la precisión de los efectos estimados. Variables de aprendizaje Las estimaciones se realizaron para las variables de aprendizaje utilizando los dos instrumentos incluidos en el cuestionario: la prueba BID-Young 1ove y el instrumento MIA Plus en la línea de seguimiento. En primera instancia, para el aprendizaje en matemáticas se definieron variables continuas de porcentaje de aciertos en cada prueba. Para BID-Young 1ove se utilizaron los primeros siete reactivos, dejando fuera aquellos a partir de que se les pregunta a las niñas y niños si quieren continuar con la prueba (reactivo ocho). Para el instrumento MIA Plus se incluyeron la totalidad de las preguntas. En segunda instancia a estas variables se les restó la media de porcentaje de aciertos en línea de seguimiento y se dividieron entre la desviación estándar observada de los controles, quedando finalmente las variables ܻ ௜ en unidades desviación estándar de estos últimos. 17 Variables de control Las variables de control incluidas en los modelos fueron seleccionadas para representar los distintos factores que pudieran influir en el aprendizaje de las niñas y niños. Si bien el cuestionario permitió recolectar una buena cantidad de información, se decidió utilizar las variables más representativas que captaran los efectos de los distintos factores. Así, en relación con las variables individuales se incluyeron variables dicotómicas de sexo, y discapacidad, así como una variable continua de edad. En cuanto a variables escolares se incluyeron dicotómicas de ciclo escolar4, de asistencia presencial5 y una variable de motivación que indica si el niño respondió que disfrutaba mucho estudiar. En cuanto al nivel socioeconómico se incluyó un índice (variable continua) construido tomando en cuenta la educación de los padres, el número de baños completos y el número de habitaciones en la vivienda, el número de automóviles, acceso a servicios de internet en el hogar y el número de personas mayores a 14 años que trabajaron en el último mes6. En relación con las variables socioemocionales de la escala SCAS, se incluyó aquella que es más prevalente entre la población de niños, que es la ansiedad de separación, incluida como una variable dicotómica de nivel elevado o muy alto de ansiedad. Las diferencias en el contexto local se captaron mediante la inclusión de dos variables dicotómicas del departamento en donde vivían las niñas y niños, en este caso Chalatenango, así como Cabañas y dejando como referencia el departamento de Morazán. Finalmente, las variables de control más importantes que se incluyeron en el modelo son variables de porcentaje de aciertos en las pruebas respectivas de matemáticas en la línea de base (puntaje de la prueba BID - Young 1ove o de la prueba MIA Plus, respectivamente). 4. Resultados Los resultados principales se presentan en la Tabla 2 y muestran efectos positivos y significativos de las tutorías sobre el aprendizaje. El impacto de la asignación al tratamiento (ITT) sobre el aprendizaje de las niñas y niños es de 0.11 desviaciones estándar para la prueba BID-Young 1ove. Este resultado es de una magnitud importante, considerando que el 51.7 por ciento de los asignados al tratamiento efectivamente tomaron al menos una tutoría. El efecto en los tratados (TOT) es alrededor del doble con 0.22 desviaciones estándar, también significativo al 1 por ciento. La diferencia en magnitud entre estos dos 4 Se incluyó una variable indicadora de los grados séptimo a noveno, que son los previos al inicio del bachillerato. Los estudiantes que participaron podían estar estudiando también de cuarto a sexto grados. 5 La asistencia presencial se definió como indicadora de la primera opción de respuesta a la pregunta del cuestionario “¿Cómo recibes tus clases?”: a) asisto a la escuela, b) tomo clases en línea o c) ambos . 6 Este índice desarrollado originalmente para México se generó de acuerdo con AMAI (2020), y se utiliza aprovechando la disponibilidad de la información en el cuestionario de línea de base. 18 efectos se debe precisamente a que un porcentaje importante de los asignados no fueron tratados. Tabla 2. Impactos ITT y TOT (desviaciones estándar) En la segunda especificación, con variables de control incluidas, los errores estándar de los impactos son menores y las magnitudes más grandes. Así el ITT estimado es de 0.12 y el TOT de 0.23 desviaciones estándar, también para el aprendizaje medido usando la prueba BID-Young 1ove. Los impactos se corroboraron al utilizar la prueba MIA Plus, que tiene como característica importante que una vez que un niño se equivoca en una pregunta se detiene la prueba y no se le presentan los reactivos restantes. En este caso el impacto es positivo y significativo con magnitud de 0.08 desviaciones estándar para la intención al tratamiento, y es también significativo al 5 por ciento con magnitud de 0.16 desviaciones estándar para aquellos que efectivamente tomaron las tutorías. En la Figura A1 del Anexo se presentan los resultados completos, incluyendo los coeficientes de las variables de control, de las estimaciones ITT para ambas pruebas. Más allá de las estimaciones de impacto, al observar los coeficientes las características consideradas, se observa que tener más años de edad y estudiar en los grados más altos (séptimo a noveno), están asociados a mayores aprendizajes en matemáticas. Por otro lado, pertenecer a Chalatenango se asocia a menores niveles en las pruebas, al igual que contar con algún tipo de discapacidad. Finalmente, el aprendizaje anterior en matemáticas, medido en línea base, es la variable más importante entre las variables de control. Número de tutorías Debido a que se esperaría que el número de tutorías influya también en la magnitud en la que mejoran los aprendizajes se incluyen estimaciones diferenciando por el número de sesiones que efectivamente se realizaron. Se consideraron dos alternativas; en la primera la variable (1) (2) ITT TOT OLS 2SLS BID-Young 1ove Sin controles (N=2,636) 0.112 *** 0.216 *** (0.0386) (0.0743) Con controles (N=2,636) 0.121 *** 0.234 *** (0.0360) (0.0694) MIA Plus Sin controles (N=2,636) 0.078 ** 0.151 ** (0.0385) (0.0744) Con controles (N=2,636) .080 ** 0.156 ** (0.0357) (0.0691) Notas: Errores estándar en paréntesis. Niveles de significancia: *p< 0.10, **p < 0.05, ***p < 0.01. 19 de tratamiento se dividió en tres grupos: 0 tutorías, 1 a 7 tutorías, u 8 tutorías, que fueron los grupos en los que naturalmente se agruparon los niños con base en la estadística descriptiva7; en la segunda se consideró el número de tutorías como variable continua. Un primer acercamiento consistió en modelo de regresión lineal explicando el aprendizaje en matemáticas con las variables de control así como la variable de tutorías. En un segundo nivel se utilizó el método de variables instrumentales en dos etapas: en la primera se estimó la variable continua de tutorías, mediante las variables de control y la asignación al tratamiento como instrumento. En la segunda etapa se corrió la regresión de la variable de aprendizaje con las variables de control y el número de tutorías estimado en la etapa anterior. Este segundo método sería una aproximación al impacto TOT del número de tutorías, aunque hay que tener en cuenta que el número de tutorías no fue aleatorizado en la etapa de diseño de la intervención. La Tabla 3 muestra que existe una diferencia importante entre el recibir el total de las tutorías y el recibir 7 o menos, siendo la única asociación estadísticamente significativa cuando la tutoría es completa, patrón que se repite para ambas pruebas utilizadas. En particular, la magnitud del coeficiente de 8 tutorías para la prueba de BID-Young 1ove es de 0.29 desviaciones estándar. En cuanto a la variable continua los resultados mediante MCO y MCO en dos etapas no difieren mucho, siendo estadísticamente significativos al 1 por ciento para la prueba mencionada. La magnitud del coeficiente es de 0.033 desviaciones estándar por tutoría, que concuerda con la estimación mencionada para la variable de 8 tutorías. Los resultados sugieren que hay una relación dosis-efecto entre las tutorías recibidas y el aprendizaje en matemáticas aunque se debe considerar que la dosis no fue aleatorizada.8 7 Los porcentajes de niños que en línea de seguimiento recibieron 0 tutorías, 1 a 7, u 8 tutorías, fueron 73, 5 y 22 por ciento, respectivamente. En este caso la categoría 0 tutorías incluye tanto a los asignados al grupo de control, como a los asignados al tratamiento que no recibieron tutoría alguna. 8 De manera similar a este ejercicio con número de tutorías, se realizó una regresión de MCO en donde la variable de tratamiento se dividió en tres grupos de acuerdo con el perfil del tutor: estudiantes, docentes y otros. No se encontró diferencia estadísticamente significativa entre los coeficientes de cada uno de estos perfiles. 20 Tabla 3. Aprendizaje en Matemáticas por número de tutorías (desviaciones estándar) Subgrupos Para explorar si las tutorías generan un mayor beneficio por género, edad y en algunos grupos de niños más que en otros, principalmente en aquellos con condiciones más desfavorables se replicó la estrategia empírica para la estimación del ITT, pero modificándola al incluir una interacción de la misma con alguno de los subgrupos de interés. El primer grupo considerado fueron los niños de menores ingresos, para lo cual se construyó la variable dicotómica de nivel socioeconómico bajo, en donde se encontraba el 56.9 por ciento de la muestra de línea base y el 57.2 por ciento de la muestra en la línea de seguimiento. Este punto de corte elegido fue un puntaje menor a 115 puntos del índice socioeconómico AMAI, que es el punto de corte para un nivel socioeconómico cercano al porcentaje de niños que vivían en hogares en situación de pobreza en los tres departamentos considerados en este estudio (DYGESTIC, 2022). El segundo grupo se generó tomando en cuenta el nivel de matemáticas en la línea base, utilizado para asignar a las niñas y niños a las tutorías de acuerdo con su nivel: suma, resta, multiplicación, o fracciones. El nivel bajo de matemáticas se definió como aquellos en la primera categoría. Finalmente se consideraron tres grupos (1) (2) OLS 2SLS BID-Young (N=2,636) En variables dicotómicas 1 a 7 tutorías 0.022 (0.0793) 8 tutorías 0.290*** (0.0429) Variable continua .036 *** .033 *** (0.0053) (0.0098) MIA PLUS (N=2,636) En variables dicotómicas 1 a 7 tutorías -0.051 (0.0738) 8 tutorías 0.170*** (0.0431) Variable continua .021 *** .022 *** (0.0053) (0.0097) Notas: Errores estándar en paréntesis. Niveles de significancia: *p< 0.10, **p < 0.05, ***p < 0.01. La columna (1) muestra los resultados de cuatro regresiones, dos para cada prueba: una con dos variables dicotómicas de número de tutorías tomadas y otra con una variable continua. 21 adicionales relativos a características individuales: el género, la edad y el tener algún tipo de discapacidad. Tabla 4. Aprendizaje en Matemáticas por subgrupo de población (desviaciones estándar) En la Tabla 4 cada columna representa una regresión distinta para las variables de aprendizaje de cada prueba, en desviaciones estándar, y se presentan únicamente los coeficientes de las dos variables de tratamiento incluidas, la de asignación y la interactuada con la variable de interés. Para la prueba BID-Young 1ove solo se observa que la interacción del tratamiento con la variable de nivel socioeconómico bajo es positiva y significativa al 5 por ciento y con magnitud de 0.14 desviaciones estándar, lo que sugiere que las niñas y niños de menos nivel socioeconómico aprovechan en mayor medida las tutorías en cuanto a su nivel de aprendizaje en matemáticas, no obstante en la prueba MIA Plus este resultado no se corrobora. En esta última prueba el resultado es similar pues no existen efectos del programa para algún grupo específico, con excepción del nivel inicial de matemáticas, significativo al 5 por cierto también, con signo negativo y magnitud de 0.17 desviaciones estándar. Esto sugeriría que las tutorías tienen un mayor impacto en los estudiantes que cuentan ya con mejor nivel de matemáticas desde un inicio. Nuevamente al observarse esta relación en una sola de las dos pruebas, los resultados no son conclusivos9. 9 Si bien el número de tutorías no fue aleatorizado en el diseño de la intervención, se replicó el análisis por subgrupos sustituyendo la variable de asignación al tratamiento por la variable continua de número de tutorías. No se encontraron resultados consistentes sobre diferencias por subgrupos. (1) (2) (3) (4) (5) Nivel SocioE. (NSE) Bajo Mujeres Nivel bajo en pruebas (LB) Edad 9 a 11 Discapacidad BID-Young 1ove (N=2,636) AsigTrat 0.039 0.097*0.162*** 0.087*0.129*** (0.052) (0.052) (0.058) (0.047) (0.037) AsigTrat*Var 0.143** 0.047 -0.071 0.071 -0.154 (0.072) (0.072) (0.074) (0.073) (0.166) MIA PLUS (N=2,636) AsigTrat 0.036 0.061 0.189*** 0.052 0.091*** (0.055) (0.050) (0.057) (0.048) (0.037) AsigTrat*Var 0.078 0.036 -0.170** 0.061 -0.194 (0.072) (0.071) (0.073) (0.072) (0.157) Notas: Errores estándar en paréntesis. Niveles de significancia: *p< 0.10, **p < 0.05, ***p < 0.01. Nivel bajo identifica a los niños con bajo desempeño en alguna de las pruebas de matemáticas en Línea Base, categoría que fue utilizada al asignar el nivel en el que empezarían los tutorías de niña y niño en el tratamiento. Cada columa (para cada instrumento) es resultado de una regresión distinta, en la que se incluyen variables de control, la asignación al tratamiento y adicionalmente una interacción de la variable de tratamiento con la variable de interés, siendo los coeficientes de estas dos variables las q ue se muestran en la tabla. 28 Referencias Acevedo, I., Flores, I., Székely, M., Zoido, P. (2022). ¿Qué ha sucedido con la educación en América Latina durante la Pandemia? Nota técnica del Banco Interamericano de Desarrollo #2447. http://dx.doi.org/10.18235/0004175 Alegre-Ansuategui, F. J., Moliner, L., Lorenzo, G., & Maroto, A. (2018). Peer Tutoring and Academic Achievement in Mathematics: A Meta-Analysis. Eurasia Journal of Mathematics, Science and Technology Education, 14(1), 337-354. https://doi.org/10.12973/ejmste/79805 AMAI (2018). Nivel Socio Económico AMAI 2018. Nota Metodológica. Asociación Mexicana de Agencias de Inteligencia de Mercado y Opinión. https://www.amai.org/descargas/Nota- Metodolo%CC%81gico-NSE-2018-v3.pdf Angrist, N., Bergman, P. & Matsheng, M. (2022). Experimental evidence on learning using low-tech when school is out. Nature Human Behaviour 6, 941–950. https://doi.org/10.1038/s41562- 022-01381-z Angrist, N., D. K. Evans, D. Filmer, R. Glennerster, F. H. Rogers, & S. Sabarwal. (2020). How to Improve Education Outcomes Most Efficiently? A Comparison of 150 Interventions Using the New Learning-Adjusted Years of Schooling Metric. Policy Research Working Papers. The World Bank. https://doi.org/10.1596/1813-9450-9450. Banerjee, A., R. Banerji, J. Berry, E. Duflo, H. Kannan, S. Mukherji, M. Shotland, & M. Walton. (2016). “Mainstreaming an Effective Intervention: Evidence from Randomized Evaluations of ‘Teaching at the Right Level’ in India”. Working Paper 22746. Washington: National Bureau of Economic Research. https://doi.org/10.3386/w22746. Carlana, M., y La Ferrara, E. (2021). Apart but Connected: Online Tutoring and Student Outcomes during the COVID-19 Pandemic. IZA Discussion Paper No. 14094, Available at SSRN: http://dx.doi.org/10.2139/ssrn.3785058 DYGESTIC (2022). Indicadores. Indicadores de pobreza y educación. Dirección General de Estadística y Censos. Ministerio de Economía. http://www.digestyc.gob.sv/index.php/servicios/descarga-de-documentos/section/10- indicadores.html Dietrichson, J., Bøg, M., Filges, T., & Klint Jørgensen, A.-M. (2017). Academic Interventions for Elementary and Middle School Students With Low Socioeconomic Status: A Systematic Review and Meta-Analysis. Review of Educational Research, 87(2), 243–282. https://doi.org/10.3102/0034654316687036 Fundación Pro Educación de El Salvador (2021). Informe De Investigación: Efectos Socioemocionales de la Pandemia por Covid-19 en Estudiantes de Cuarto Grado a Primer Año de Bachillerato del Sistema Educativo Salvadoreño. Ministerio de Educación Ciencia y Tecnología, El Salvador. Gobierno del Estado de Sao Paulo (2021). O impacto da pandemia na Educação Avaliação amostral da aprendizagem dos estudantes. https://www.educacao.sp.gov.br/wpcontent/uploads/2021/04/Apresenta%C3%A7%C3%A3o-Estudo-Amostral.pdf Gortazar, L., Hupkau, C. y Roldán, A. (2022). Online tutoring works: Experimental evidence from a 29 program with vulnerable children. ESADE Center for Economic Policy, Working paper No 2. https://www.esade.edu/ecpol/wpcontent/uploads/2022/03/Working_paper_Menttores.pdf Hassan, H., Islam, A., Siddique, A. y Wang, L. C. (2021). Telementoring and homeschooling during school closures: A randomized experiment in rural Bangladesh. Munich Papers in Political Economy. Working Paper No. 04/2021. https://ideas.repec.org/p/aiw/wpaper/13.html Hernández-Guzmán, L., Bermúdez-Ornelas, G., Spence, S. H., Montesinos, M. J. G., Martínez- Guerrero, J. I., Villalobos, J. A., & Guajardo, J. G. (2010). Versión en español de la Escala de Ansiedad para Niños de Spence (SCAS). Revista latinoamericana de Psicología, 42(1), 13-24 Hevia, F. y Vergara-Lope J.(2016), Evaluaciones educativas realizadas por ciudadanos en México: Validación de la Medición Independiente de Aprendizajes. Innovación Educativa, 16 (70), pp. 85-110. Hevia, F. J., S. Vergara-Lope, A. Velásquez-Durán, & D. Calderón. (2022a). “Estimation of the Fundamental Learning Loss and Learning Poverty Related to COVID-19 Pandemic in Mexico”. International Journal of Educational Development 88 (enero): 102515. https://doi.org/10.1016/j.ijedudev.2021.102515 Hevia, F., Székely, M., Vinacour, T. y Zoido P. (2022). Tutorías remotas: revisión de la literatura. Documento para difusión no. IDB-DP-00944. Sector Social División de Educación, Banco Interamericano de Desarrollo . http://dx.doi.org/10.18235/0004304 Karthik, M., A. Singh, & A. Gainimian. (2017). “Disrupting Education? Experimental Evidence on Technology-Aided Instruction in India”. 500. BREAD Working Paper. BREAD. https://www.ibread.org/working-paper/bread-working-paper-no-500-january-2017/. Lee D. S. (2009). Training, wages, and sample selection: Estimating sharp bounds on treatment effects. Review of Economic Studies 76: 1071–1102. León, J., Hevia, F. J., Vergara-Lope, S., Vinacur, T., Zoido, P. (2022). Validación de instrumentos de medición utilizados en el proyecto “tutorías telefónicas” para recuperar y acelerar los aprendizajes. Nota técnica. BID. Leung, Kim Chau. (2019). “An Updated Meta-Analysis on the Effect of Peer Tutoring on Tutors’ Achievement.” School Psychology International 40 (2): 200–214. https://doi.org/10.1177/0143034318808832. Lichand, G., Dória, C. A., Neto, O. L., & Cossi, J. (2021). The Impacts of Remote Learning in Secondary Education: Evidence from Brazil during the Pandemic. MEP. (2021). Melo-Becerra, L., Ramos-Forero, J., Rodríguez J., Zárate-Solano, H. (2021). Efecto de la pandemia sobre el sistema educativo: El caso de Colombia. Borradores de Economía, Núm. 1179. https://repositorio.banrep.gov.co/bitstream/handle/20.500.12134/10225/be_1179.pdf Moeyaert, M., Klingbeil, D., Rodabaugh, E., and Turan, M. (2021). Three-Level Meta-Analysis of Single-Case Data Regarding the Effects of Peer Tutoring on Academic and Social-Behavioral Outcomes for At-Risk Students and Students With Disabilities. Remedial and Special Education 42 (2): 94–106. https://doi.org/10.1177/0741932519855079. 30 Monroy-Gómez-Franco, L., Vélez-Grajales, R., López-Calva, L. (2022). The potential effects of the COVID-19 pandemic on learnings. International Journal of Educational Development. Volume 91. https://doi.org/10.1016/j.ijedudev.2022.102581 Nickow, A.J., Oreopoulos, P., & Quan, V. (2020). The Impressive Effects of Tutoring on PreK-12 Learning: A Systematic Review and Meta-Analysis of the Experimental Evidence. Working Paper 27476. Working Paper Series. National Bureau of Economic Research. https://doi.org/10.3386/w27476. Radhakrishnan, K., Sabarwal, S., Sharma, U., Cullen, C., Crossley, C,. Letsomo, T., Angrist, N. (2021). Remote learning: Evidence from Nepal during COVID-19. The World Bank: Policy Brief. https://documents1.worldbank.org/curated/en/906101626938488506/pdf/Policy- Brief.pdf. Singh, A., Romero M., Muralidharan K. (2022). Covid-19 Learning Loss and Recovery: Panel Data Evidence from India. NBER Working Paper No. 30552. https://www.nber.org/papers/w30552 Székely, M., Flores, I., Hevia, F., and Calderón, D. (2022). Measuring Learning Losses from Delayed Return to School: Evidence from Mexico. Mexicanos Primero-Centro de Estudios Educativos y Sociales (CEES), México, April, 2022. UNICEF (2021a). 114 millones de estudiantes ausentes de las aulas de América Latina y el Caribe. Comunicado de Prensa, 14 de marzo de 2021. https://www.unicef.org/elsalvador/comunicados-prensa/114-millones-de-estudiantes- ausentes-de-las-aulas-de-america-latina-y-caribe UNICEF (2021b). Casi 2 de cada 3 niños, niñas y adolescentes siguen fuera de las aulas en América Latina y el Caribe. Comunicado de Prensa, 14 de marzo de 2021. https://www.unicef.org/lac/comunicados-prensa/casi-2-de-cada-3-ninos-ninas-y- adolescentes-siguen-fuera-de-las-aulas-en-america-latina-y-el-caribe What Works Clearinghouse. (2022). What Works Clearinghouse procedures and standards handbook, version 5.0. U.S. Department of Education, Institute of Education Sciences, National Center for Education Evaluation and Regional Assistance (NCEE). https://ies.ed.gov/ncee/wwc/Docs/referenceresources/Final_WWC-HandbookVer5.0-0- 508.pdf 31 Anexo Tabla A1. Relación entre el contenido de interés de matemáticas y la ubicación en el currículo nacional de El Salvador Contenido de interés Ubicación en el currículo Indicador de logro Valor posicional Grado Fase Semana 1° 1 Semana 5 1.5 Reconoce el significado del cero como ausencia de elementos. 1° 1 Semana 7 3.1 Lee y escribe los números del 0 al 10 de forma ascendente. 1° 3 Semana 1 2.3 Ubica los números del 0 al 20, o parte de ellos, en la recta numérica. 1° 3 Semana 7 1.5 Lee, escribe y representa con material manipulable los números desde 21 hasta 29. 1.6 Lee, escribe y representa los números del 31 al 39 con material manipulable. 1.7 Lee, escribe y representa los números del 41 al 99 con material manipulable 1° 3 Semana 8 2.1 Forma los números hasta 99. 2.2 Descompone los números hasta 99. 2.3 Escribe las decenas y unidades de un número de 2 cifras en la tabla de valores posicionales a partir de su representación con material manipulable.14 1° 3 Semana 9 2.4 Compone o descompone un número de 2 cifras en decenas y unidades. 15 2.7 Compone y descompone el número 100 en decenas. 2.8 Cuenta, lee y escribe los números del 0 hasta el 100. Suma de 2 dígitos más 2 dígitos con transformación. 2° 1 Semana 7 2.1 Suma DU + DU, en forma vertical llevando a las decenas. 2.3 Suma DU + DU en forma vertical llevando a las centenas. 2.4 Suma DU + DU, en forma vertical llevando a las decenas y centenas. 2.6 Resuelve problemas sobre sumas de números hasta de dos cifras llevando. Resta de 2 dígitos menos 2 dígitos con transformación. 2° 2 Semana 5 2.1 Resta DU – DU = DU en forma vertical prestando de las decenas. 2° 3 Semana 1 2.2 Resta DU – DU = U, en forma vertical prestando de las decenas. Multiplicación de 2 dígitos por 1 dígito. 3° 2 Semana 4 3.1 Multiplica en forma vertical DU × U sin llevar. 3° 2 Semana 5 3.2 Multiplica en forma vertical DU × U llevando a las decenas. 3.3 Multiplica en forma vertical DU × U llevando a las centenas. División de 2 dígitos entre 1 dígito con residuo. 3° 3 Semana 7 2.5 Divide en forma vertical DU ÷ U = U con o sin residuo. 4° 3 Semana 1 1.1 Efectúa en forma vertical y horizontal divisiones DU ÷ U = U utilizando directamente la tabla de multiplicar del divisor. 14 Indicador explícito relacionado con el valor posicional. 15 Indicador explícito relacionado con el valor posicional. 32 Tabla A2. Indicadores de pobreza y educación en El Salvador 2013, por departamento Analfabetismo Hogares en Pobreza (%) Población en Pobreza (%) Años de escolaridad, pob. 10 años o más Años de escolaridad, pob. 10-17 años Años de escolaridad, pob. 15-24 años Tasa de analfabetismo, pob. 10 a 17 años Ahuachapán 41.4 46.8 5.8 5.5 8.3 3.0 Santa Ana 32.2 38.3 6.4 5.6 8.4 2.3 Sonsonate 32.3 38.6 6.5 5.6 8.7 2.2 Chalatenango 36.8 41.0 6.2 5.9 8.7 2.3 La Libertad 27.0 31.7 7.4 5.7 9.0 2.5 San Salvador 19.9 23.3 8.7 6.1 10.1 1.1 Cuscatlán 32.7 37.0 6.6 5.9 9.0 1.0 La Paz 33.2 37.8 6.5 6.0 8.7 2.4 Cabañas 44.2 51.8 5.4 5.4 7.7 2.5 San Vicente 35.6 41.2 6.6 6.1 9.0 1.9 Usulután 38.2 42.2 6.3 5.9 8.6 2.6 San Miguel 31.3 36.7 6.5 5.9 8.8 1.6 Morazán 42.6 51.0 5.4 5.7 8.2 2.2 La Unión 31.7 38.1 5.1 5.3 7.7 3.8 Nacional 29.6 34.8 7.1 5.8 9.0 2.0 Pobreza Años de Escolaridad Notas: Elaboración propia con datos oficiales (DYGESTIC, 2022), para el año más reciente (2013) con información pública disponible. 33 Tabla A3. Balance de características entre niños en el tratamiento y en el control, en la línea base Control Tratamiento Diferencia Mujer 0.524 0.512 0.013 (0.012) (0.012) (0.0170) Edad 11.843 11.782 0.061 (0.038) (0.039) (0.0546) Edad - 9 a 11 0.419 0.440 -0.020 [0.012] [0.012] (0.0169) Discapacidad 0.056 0.056 0.000 (0.006) (0.006) (0.0079) Grados 7 a 9 0.291 0.294 -0.003 (0.011) (0.011) (0.0155) Presencial 0.874 0.857 0.017 (0.008) (0.008) (0.0116) Disfruta mucho estudiar 0.845 0.837 0.009 (0.009) (0.009) (0.0125) Muchas ganas de aprender 0.920 0.916 0.003 (0.007) (0.007) (0.0094) Extraedad grave 0.052 0.045 0.007 (0.005) (0.005) (0.0073) Padres sin Bachillerato 0.693 0.683 0.010 (0.011) (0.011) (0.0158) Puntaje NSE 113.465 112.730 0.734 (1.077) (1.065) (1.5145) NSE Alto 0.133 0.124 0.008 (0.008) (0.008) (0.0114) NSE Medio 0.298 0.308 -0.010 (0.011) (0.011) (0.0157) NSE Bajo 0.570 0.568 0.002 (0.012) (0.012) (0.0169) Ansiedad Generalizada 0.328 0.333 -0.005 (0.011) (0.011) (0.0160) Obsesión Compulsión 0.370 0.369 0.001 (0.012) (0.012) (0.0165) Fobia Social 0.283 0.284 -0.001 (0.011) (0.011) (0.0154) Ansiedad de Separación 0.593 0.584 0.009 (0.012) (0.012) (0.0168) Pánico Agorafobia 0.430 0.411 0.019 (0.012) (0.012) (0.0168) Miedo a Lesiones 0.317 0.302 0.015 (0.011) (0.011) (0.0158) Chalatenango 0.351 0.349 0.001 (0.012) (0.011) (0.0163) Cabañas 0.401 0.405 -0.005 (0.012) (0.012) (0.0167) Morazán 0.248 0.245 0.003 (0.010) (0.010) (0.0147) Aciertos (%) BID-Young 0.308 0.294 0.0139 (0.007) (0.007) (0.0103) Aciertos (%) MIA Plus 0.349 0.345 0.003 (0.005) (0.005) (0.0077) Observaciones 1720 1720 Notas: Errores estándar en paréntesis. Niveles de significancia: * p< 0.10, ** p < 0.05, *** p < 0.01 34 Tabla A4. Balance de características (de línea base) para la muestra que no participó en la línea de seguimiento Control Tratamiento Diferencia Mujer 0.522 0.504 0.018 (0.024) (0.026) (0.035) Edad 11.973 12.016 -0.044 (0.079) (0.085) (0.116) Edad - 9 a 11 0.398 0.365 0.033 (0.023) (0.025) (0.034) Discapacidad 0.071 0.057 0.014 (0.012) (0.012) (0.017) Grados 7 a 9 0.334 0.330 0.004 (0.023) (0.025) (0.033) Presencial 0.863 0.853 0.010 (0.016) (0.019) (0.025) Disfruta mucho estudiar 0.849 0.801 0.048* (0.017) (0.021) (0.027) Muchas ganas de aprender 0.911 0.929 -0.018 (0.014) (0.013) (0.019) Extraedad grave 0.050 0.046 0.004 (0.010) (0.011) (0.015) Padres sin Bachillerato 0.719 0.698 0.021 (0.022) (0.024) (0.032) Puntaje NSE 115.499 113.060 2.439 (2.129) (2.286) (3.129) NSE Alto 0.144 0.136 0.008 (0.017) (0.018) (0.025) NSE Medio 0.307 0.297 0.010 (0.022) (0.024) (0.033) NSE Bajo 0.549 0.567 -0.018 (0.024) (0.026) (0.035) Ansiedad Generalizada 0.341 0.360 -0.019 (0.023) (0.025) (0.034) Obsesión Compulsión 0.414 0.390 0.025 (0.024) (0.025) (0.035) Fobia Social 0.304 0.316 -0.012 (0.022) (0.024) (0.033) Ansiedad de Separación 0.645 0.591 0.054 (0.023) (0.026) (0.034) Pánico Agorafobia 0.506 0.463 0.043 (0.024) (0.026) (0.035) Miedo a Lesiones 0.339 0.327 0.012 (0.023) (0.025) (0.033) Chalatenango 0.558 0.627 -0.068** (0.024) (0.025) (0.035) Cabañas 0.254 0.232 0.022 (0.021) (0.022) (0.030) Morazán 0.185 0.139 0.046* (0.019) (0.018) (0.026) Aciertos (%) Bid-Young 0.287 0.275 0.012 (0.014) (0.015) (0.020) Aciertos (%) MIA Plus 0.336 0.334 0.002 (0.011) (0.011) (0.015) Observaciones 437 367 Notas: Errores estándar en paréntesis. Niveles de significancia: * p< 0.10, ** p < 0.05, *** p < 0.01 35 Tabla A5. Balance de características entre los niños que no y los que sí contestaron la línea de seguimiento Pérdida de muestra En Línea de Se g uimiento Diferencia Mujer 0.514 0.519 -0.006 (0.018) (0.010) (0.020) Edad 11.993 11.758 0.235*** (0.058) (0.031) (0.064) Edad - 9 a 11 0.383 0.443 -0.060*** (0.017) (0.010) (0.020) Discapacidad 0.065 0.054 0.011 (0.009) (0.004) (0.009) Grados 7 a 9 0.332 0.280 0.052*** (0.017) (0.009) (0.018) Presencial 0.858 0.868 -0.010 (0.012) (0.007) (0.014) Disfruta mucho estudiar 0.827 0.845 -0.018 (0.013) (0.007) (0.015) Muchas ganas de aprender 0.919 0.918 0.001 (0.010) (0.005) (0.011) Extraedad grave 0.049 0.048 0.000 (0.008) (0.004) (0.009) Padres sin Bachillerato 0.709 0.681 0.028 (0.016) (0.009) (0.019) Puntaje NSE 114.386 112.704 1.681 (1.558) (0.866) (1.789) NSE Alto 0.141 0.125 0.016 (0.012) (0.006) (0.013) NSE Medio 0.302 0.303 -0.000 (0.016) (0.009) (0.019) NSE Bajo 0.557 0.572 -0.015 (0.018) (0.010) (0.020) Ansiedad Generalizada 0.350 0.324 0.025 (0.017) (0.009) (0.019) Obsesión Compulsión 0.403 0.359 0.044** (0.017) (0.009) (0.019) Fobia Social 0.310 0.276 0.034* (0.016) (0.009) (0.018) Ansiedad de Separación 0.621 0.579 0.042** (0.017) (0.010) (0.020) Pánico Agorafobia 0.486 0.401 0.086*** (0.018) (0.010) (0.020) Miedo a Lesiones 0.333 0.302 0.031* (0.017) (0.009) (0.019) Chalatenango 0.590 0.277 0.313*** (0.017) (0.009) (0.018) Cabañas 0.244 0.451 -0.208*** (0.015) (0.010) (0.019) Morazán 0.164 0.272 -0.107*** (0.013) (0.009) (0.017) Aciertos (%) Bid-Young 0.282 0.307 -0.025** (0.010) (0.006) (0.012) Aciertos (%) MIA Plus 0.335 0.350 -0.015* (0.008) (0.004) (0.009) Observaciones 804 2,636 Notas: Errores estándar en paréntesis. Niveles de significancia: * p< 0.10, ** p < 0.05, *** p < 0.01 36 Tabla A6. Regresión de la variable de desgaste, con la asignación al tratamiento, controles y sus interacciones (1) (2) Coeficiente Error. Std. Asigtrat -0.124 (0.157) Asigtrat * Mujer -0.00881 (0.0280) Asigtrat * Edad 0.0143 (0.0126) Asigtrat * Discapacidad -0.0809 (0.0607) Asigtrat * Grados 7 a 9 -0.0422 (0.0439) Asigtrat * Presencial 0.0334 (0.0416) Asigtrat * Disfruta mucho estudiar -0.0620 (0.0384) Asigtrat * Puntaje NSE -0.000404 (0.000325) Asigtrat * Ansiedad de Separación -0.0643** (0.0287) Asigtrat *Aciertos (%) BID-Young 0.0201 (0.0479) Asigtrat * Chaltenango 0.0623 (0.0386) Asigtrat * Cabañas 0.0376 (0.0368) Mujer -0.00545 (0.0199) Edad 0.00807 (0.00881) Discapacidad 0.0212 (0.0429) Grados 7 a 9 0.0112 (0.0306) Presencial 0.00852 (0.0302) Disfruta mucho estudiar 0.0392 (0.0275) Puntaje NSE 1.68e-05 (0.000227) Ansiedad de Separación 0.0476** (0.0203) Aciertos (%) BID-Young -0.0422 (0.0339) Chalatenango 0.210*** (0.0274) Cabañas -0.0313 (0.0261) Constante 0.0381 (0.112) Observaciones 3,440 R-cuadrada 0.088 Notas: Errores estándar en paréntesis. Niveles de significancia: *p< 0.10, **p < 0.05, ***p < 0.01. Esta tabla muestra los resultados de una regresión en la que la variable dependiente indica si el niño dejó la muestra y por tanto no contestó el cuestionario de línea de seguimiento, con variables dependientes de asignación a tratamiento, controles e interacción entre la asignación y los controles. 37 Tabla A7. Balance de características (de línea base) para la muestra asignada al grupo de tratamiento, de acuerdo con su participación en el Programa Diferencia (4) - (2) (1) (2) (3) (4) (5) NMedia NMedia Dif Mujer 653 0.508 700 0.519 -0.01 Edad - 9 a 11 653 0.433 700 0.484 -0.051* Discapacidad 653 0.057 700 0.056 0.001 Segundo Ciclo 653 0.297 700 0.273 0.024 Presencial 653 0.867 700 0.85 0.017 Disfruta Estudiar Mucho 653 0.832 700 0.86 -0.028 Muchas ganas de aprender 653 0.904 700 0.921 -0.018 Extraedad Grave 653 0.049 700 0.04 0.009 Padres sin Bachillerato 653 0.698 700 0.66 0.038 Puntaje NSE 653 114.452 700 110.951 3.5 NSE Alto 653 0.135 700 0.109 0.026 NSE Medio 653 0.297 700 0.323 -0.026 NSE Bajo 653 0.568 700 0.569 0 Ansiedad Generalizada 653 0.322 700 0.329 -0.007 Obsesión Compulsión 653 0.364 700 0.361 0.003 Fobia Social 653 0.274 700 0.277 -0.003 Ansiedad de Separación 653 0.574 700 0.589 -0.014 Pánico Agorafobia 653 0.401 700 0.393 0.008 Miedo a Lesiones 653 0.302 700 0.289 0.013 Chalatenango 653 0.303 700 0.247 0.056** Cabañas 653 0.438 700 0.466 -0.028 Morazán 653 0.259 700 0.287 -0.028 Aciertos (%) Bid-Young 653 0.294 700 0.304 -0.01 Aciertos (%) MIA PLUS 653 0.344 700 0.353 -0.009 No Tratados Tratados Niveles de significancia: *p< 0.10, **p < 0.05, ***p < 0.01.