Enova: 1,700 millones gastados y 80,983 niños peor en la prueba Enlace

Por: José Merino (@PPmerino) y Eduardo Fierro (@edufierro)

En el mes de julio, Andrés Lajous y Paris Martínez dieron a conocer el monto que ha recibido la fundación Proacceso ECO y la empresa ENOVA por parte de diversas instituciones de gobierno, como CONACYT, CONACULTA, SCT y el Gobierno del Estado de México. La fundación presume que mediante una técnica que ellos llaman “acupuntura urbana”, colocando centros tecnológicos estratégicamente en zonas de bajos recursos, acercan a los niños a recursos educativos de calidad, que mejoran su desempeño escolar. Este punto sobre la mejoría del desempeño escolar es clave, pues posterior a la publicación del reportaje el Presidente del Consejo Directivo de la Fundación Proacceso ECO, Aleph Molinari, insinuó que el objetivo de los centros RIA y el dinero gastado en ellos no era mejorar el desempeño de las niñas y niños en la prueba Enlace, al señalar: “Cabe mencionar que el artículo atribuye a la Fundación Proacceso responsabilidades en temas como la prueba Enlace y materias que competen al sector educativo público, a pesar que estos objetivos no son parte de los convenios que hemos celebrado”. En su respuesta a esta carta, Lajous y Martínez respondieron que en las páginas de internet de la fundación y de la empresa se menciona la prueba ENLACE como un instrumento para medir de su éxito. En palabras de Lajous y Martínez: “[…] resulta contradictorio que por un lado, Proacceso ECO A.C. niegue que la prueba Enlace sirva para medir sus resultados, y por el otro en la página de internet de la Red de Innovación y Aprendizaje (RIA) y de Enova se señale que emplean los resultados de la prueba Enlace como parámetro de los pretendidos beneficios del proyecto”.
El uso de los resultados de la prueba ENLACE por parte de Proacceso y Enova es producto del documento de evaluación elaborado por la consultoría C230. Es curioso que hayan contratado a una consultoría para hacer una evaluación sobre el impacto en la prueba ENLACE si ese no es el propósito de la Red de Innovación y Aprendizaje (RIA). En el reporte de C230 eligieron aleatoriamente a 1,087 niños a quienes les ofrecieron una beca para ingresar a los centros RIA, y compararon calificaciones en la prueba ENLACE 2011 con un grupo de 288 estudiantes, quienes aplicaron por una beca pero no la recibieron. La evaluación de C230, que sin duda es transparente y clara en sus resultados, encuentra que existe un efecto positivo en los puntajes totales de los estudiantes que atendieron un centro RIA respecto a estudiantes que no, pero únicamente para los alumnos de 4º de primaria cuando se utiliza el promedio total de la prueba (significativo al 12%). Son claros al mencionar que no se encontraron efectos para alumnos de 3º, 5º ni 6º. Cabe mencionar que C230 optó por comparar puntajes totales de los estudiantes en su medición, pues comparan resultados individuales de una misma prueba. Sin embargo vale la pena recordar que comparar resultados de ENLACE en el tiempo no es posible. Como explica la SEP, los resultados de diferentes materias o años no son comparables entre sí. Por ello, en este texto no se utiliza esta medición. Entonces, ¿cuál es el sustento para entregarles tanto dinero? En este texto mostramos los resultados de una prueba del efecto de los centros RIA en la educación, utilizando los resultados de la misma prueba ENLACE por cada escuela durante los años 2009 y 2013. En este caso, como ya mencionamos, no utilizaremos puntajes totales o promedio, sino el porcentaje de estudiantes con niveles de excelencia e insuficiencia en las pruebas de español y matemáticas desde 3º hasta 6º grado. La razón para hacerlo de este modo es que se trata de una comparación espacial (escuelas dentro del radio geográfico de influencia de la RIA declarado por Proacceso), pero también de una comparación temporal, entre los años 2009 y 2013. También, vale la pena aclarar que nuestro análisis está basado en información pública. En el Estado de México, la prueba ENLACE se aplicó en el 2013 a más de 1 millón 200 mil alumnos en 7,775 escuelas primarias. Entre ellas, poco más de mil 200 escuelas se encuentran a menos de 1 kilómetro de distancia de uno de los centros RIA, 2 mil 351 a menos de 2 kilómetros y 3 mil 927 a menos de 5 kilómetros. De acuerdo a ENOVA, los centros, con cinco mil usuarios al año, benefician a las escuelas dentro de un radio de 2 kilómetros. En el mapa se muestran en azul todas la escuelas en el Estado de México y en rojo los centros RIA. Alrededor de cada centro RIA hay círculos mostrando radios de uno, dos y cinco kilómetros. mapa1 Un comparativo sencillo Para nuestro análisis omitimos 669 escuelas de 2013 en donde más del 10% de los alumnos obtuvieron un resultado “poco confiable” . Además, se omitieron 88 escuelas que no se encuentran geo-referenciadas correctamente. Haciendo un comparativo sencillo, en la mayoría de las escuelas el porcentaje de alumnos con nivel insuficiente disminuyó para todos los años escolares entre 2009 y 2013. Sí, pero la disminución es en promedio menor en las escuelas cercanas a un centro RIA. graf1 Tomemos el caso de 3ero de primaria: en promedio, 15.13% de los alumnos del Estado de México tuvieron un desempeño “insuficiente” en la prueba ENLACE de matemáticas de 2009, porcentaje que se redujo a 9.6% para 2013. Sin embargo, cuando comparamos este mismo porcentaje entre las escuelas dentro del “Radio RIA” (es decir, a 2 kilómetros o menos de uno de los centros), las diferencias son sorprendentes. Si bien en ambos casos se reduce la cantidad de alumnos con nivel insuficiente, la reducción es de apenas 3.5 puntos porcentuales para las “escuelas de influencia RIA”, y de 7 puntos porcentuales para el resto. La mayor diferencia ocurre en el porcentaje de niños con nivel insuficiente de cuarto de primaria. Mientras que en las escuelas a menos de 2 kilómetros se redujo el porcentaje de niños con nivel insuficiente en apenas 6.6%, en el resto de las escuelas del Estado de México se redujo en 10.6%. En la gráfica 1 se pueden ver en la columna izquierda los resultados en escuelas dentro de los radios de distancia en los que los centros RIA pretende tener impacto. En la columna derecha los resultados en escuelas que quedarían fuera de cada uno de estos radios de distancia. Las cifras en negro muestran los resultados para el año 2009 y las cifras en amarillo los resultados para el año 2013. Algo similar, aunque en mucho menor medida, ocurre cuando analizamos el porcentaje de alumnos con nivel excelente. Entre todas las escuelas del Estado de México, el porcentaje de alumnos con nivel excelente de tercero de primaria incrementó de 7.8% a 25.3% en matemáticas y de 6.3% a 6.8% en español entre 2009 y 2013. Ojo, este incremento puede deberse a diversos factores: la prueba fue más sencilla, los niños tuvieron más material para estudiar, entre otros. Cierto, pero también es cierto que el incremento fue menor en las escuelas cercanas a un centro RIA. graf2 La diferencia entre las escuelas que están cerca de un centro RIA y las escuelas que no lo están, no parece ser aleatoria. De hecho, como se puede ver en la gráfica 2 en todos los niveles escolares, salvo para tercero de primaria, el incremento en el porcentaje de alumnos con nivel excelente, tanto en español como matemáticas, es mayor entre aquellas escuelas alejadas de un centro RIA que entre aquellas a menos de 2 kilómetros de éstos. Complicando la comparación Para hacer este análisis más robusto, decidimos comparar la diferencia entre los años 2013 y 2009 entre aquellas escuelas cerca de un centro RIA y aquellas escuelas que no lo están mediante un método de regresión lineal de diferencias en diferencias: estimar la diferencia en el porcentaje promedio de estudiantes en niveles de insuficiencia o excelencia antes y después de la presencia de un centro RIA, respecto al porcentaje promedio de estudiantes en niveles de insuficiencia o excelencia para el mismo periodo de tiempo en donde no hubo un centro RIA. Esto nos permite identificar los efectos diferenciados de 2009 a 2013 entre las escuelas cercanas a un centro RIA y aquellas que no lo están, incluyendo en el análisis otros factores que -se sabe- afectan el desempeño de los estudiantes. En específico, en nuestro modelo estadístico incluimos: el porcentaje de viviendas con acceso a internet en la zona en la que se encuentra la escuela, el porcentaje de personas de 3 años y más que habla alguna lengua indígena y el porcentaje de personas afiliadas al IMSS. También se incluyeron atributos de la escuela como si la escuela es particular, general o si es de turno matutino. Por supuesto, los resultados del análisis dependen de la especificación del modelo y las variables incluidas. Se trata de resultados robustos y que se mantienen ante varias especificaciones (en distancias, grados escolares y variables de control). Sí, pero creemos en la transparencia y la replicación: al final del texto hay un vínculo a los datos y los detalles del modelo para que quien lo crea pertinente pueda replicar nuestros resultados y, en su caso, mejorarlos. El modelo respalda los resultados descriptivos: para todas las escuelas, el porcentaje de alumnos con nivel de insuficiencia en español y matemáticas disminuye menos en aquellas escuelas cerca de un centro RIA que en el resto de las escuelas del Estado de México, y el resultado se mantiene cuando usamos distintas distancias: 1, 2 y 5 kilómetros. Esto se puede ver en las gráficas 3 y 4 donde se muestra en amarillo la diferencia en resultados entre 2009 y 2013 para escuelas dentro de los radios de impacto de la RIA y en negro la diferencia en resultados para las escuelas fuera de estos radios de impacto. graf3 Por ejemplo, en aquellas escuelas que se encuentran dentro de un radio de 2 kilómetros de cualquier centro RIA, el porcentaje de alumnos con nivel de insuficiencia creció 6.1% para los alumnos de 3º de primaria respecto a aquellas escuelas que se encuentran afuera de este radio entre 2009 y 2013. Además, el crecimiento permanece entre niveles escolares: 7% para 4º, 4.8% para 5º y 4.4% para los alumnos de 6º de primaria. graf4 Los resultados son similares, aunque en menor proporción, en los resultados de la prueba ENLACE de español. Por ejemplo, entre las escuelas que se encuentran a menos de 2 kilómetros de distancia, la reducción en el porcentaje de alumnos con nivel insuficiente es 5.2 puntos porcentuales menor respecto al decrecimiento del resto del Estado de México. Tanto en español como matemáticas y para todos los grados escolares, los resultados son significativos (al 1%). Esto significaría que de no haber estado los centros RIA en estas zonas, 49,413 estudiantes hubiesen logrado superar el nivel de insuficiencia en matemáticas y 31,570 el nivel de insuficiencia en español. Un total de casi 81 mil de pruebas con insuficiencia a nivel primaria que no hubiesen ocurrido si las escuelas cercanas a centros RIA hubiesen abatido insuficiencia al mismo nivel que las escuelas fuera de los efectos de la llamada “acupuntura urbana”. Los resultados para el porcentaje de alumnos con nivel excelente son menos robustos. Salvo para tercero de primaria, en la prueba de matemáticas no hay un efecto significativo entre las escuelas cerca de un centro RIA para ninguna de las distancias consideradas. graf5 graf6 Sin embargo, como se puede ver en las gráficas 5 y 6 respectivamente las escuelas lejos de un centro RIA si tuvieron un crecimiento significativo en el porcentaje de niños con nivel excelente, sobre todo para los alumnos de 3º de primaria en la prueba ENLACE de matemáticas. Esto significa que entre 2009 y 2013 las escuelas alejadas de un centro RIA elevaron el porcentaje de estudiantes con nivel de excelencia, respecto a sus contrapartes cercanas a un centro RIA en donde esto no ocurrió, aunque tampoco están comparativamente peor. Respecto a las variables que estamos manteniendo constantes, todas tienen un comportamiento normal: entre más viviendas con internet haya en la zona como porcentaje de las viviendas totales, mayor el número de alumnos con nivel excelente y menor el porcentaje de alumnos con nivel insuficiente. Una relación similar existe con el porcentaje de personas afiliadas al IMSS, el porcentaje de hogares con automóvil y con los indicadores de escuelas matutinas y escuelas particulares (ver nota metodológica al final). ¿Qué pasa en estos centros RIA? Nuestros resultados son sorpresivos. Nuestra hipótesis de trabajo era que los centros RIA no tendrían ningún efecto en las escuelas cercanas. Es decir, que el desempeño de los estudiantes en esas escuelas no sería significativamente distinto al del resto de escuelas de Estado de México. Eso nos hubiese parecido un resultado de por sí escandaloso para un proyecto privado financiado con cientos de millones de dinero público. Sin embargo los resultados son aún más graves, de manera sistemática encontramos que los estudiantes en escuelas expuestas a la “acupuntura urbana” de los centros RIA superaron los resultados en insuficiencia en menor proporción que resto de escuelas y también en menor proporción llegaron al nivel de excelencia. ¿Cómo explicarlo? ¿Exactamente qué ocurre en estos centros RIA? ¿Cuáles son las características pedagógicas de las actividades? ¿El tiempo dedicado a esas actividades funcionan más como un distractor educativo que un generador de capacidades? Hasta ahora no es posible contar una historia detallada y plausible sobre por qué esas niñas y esos niños están comparativamente peor sin conocer una historia igualmente detallada sobre el funcionamiento de estos centros. Una historia que no existe porque no ha habido un ejercicio consistente de transparencia, monitoreo y evaluación sobre el gasto de los recursos públicos destinados al proyectos. Por ellos creemos fundamente un ejercicio de rendición de cuentas y honestidad de cara a los resultados de este análisis… se lo deben a 81 mil niñas y niños. Nota Metodológica Para hacer estas estimaciones, se procesaron los resultados de la prueba ENLACE por escuela de 2009 y 2013. Posteriormente, las escuelas fueron geo referenciadas utilizando su clave de centro de trabajo. Para agregar los datos sociodemográficos, se consideraron las “Estadísticas Censales a Escalas Geo-electorales” publicadas por el INEGI. Las regresiones por mínimos cuadrados ordinarios siguen la forma de Diferencias en Diferencias, controlando además por el porcentaje de viviendas con automóvil, porcentaje de viviendas con internet, porcentaje de la población de 3 años y más que habla lengua indígena, porcentaje de la población afiliada al IMSS, y variables dummy para indicar si la escuela es particular o general, o si las escuela es de turno matutino. Además, se utilizó la especificación de errores estándar robustos en todas las regresiones. Para descargar la base de datos y el código de las estimaciones, puedes dar click en esta liga.