Crítica a la Evaluación de Impacto de las #EscuelasDelMilenio por parte del Ministerio de Educación y a su mal uso comunicacional

La evaluación de impacto de programas de política pública es una herramienta que busca identificar si una política pública ha tenido el efecto deseado para el cual la intervención fue diseñada. Si bien una evaluación de impacto se sustenta en parámetros técnicos y el uso de herramientas científicas tales como el análisis estadístico y los planteamientos de experimentos o cuasi experimentos, la discrecionalidad y compromiso ético del investigador es un factor que puede determinar los resultados. 

Para evitar los malos usos de los datos y motivar conclusiones erróneas sobre ciertas observaciones, es vital tomar considerar todos los elementos que intervienen en un fenómeno y contrastarlos con los que han sido considerados para el estudio, sobre todo los que se omiten para realizarla. Por eso, es necesario que en la academia existan muchos estudios relacionados a la misma temática.

El pasado mes de agosto, el Ministerio de Educación del Ecuador (MinEduc) publicitó mediante evento público la denominada "Evaluación de Impacto del programa de las Escuelas del Milenio", a cargo del economista Juan Ponce de la Flacso. Estudio que habría sido contratado por el MinEduc con un crédito no reembolsable del Banco Interamericano de Desarrollo (BID), del cual también se tendría asistencia técnica proveniente de expertos del mismo BID.

El estudio pretende evaluar matricula y rendimiento académico en dos de las cuatro áreas fundamentales de los estándares educativos: Lenguaje y Matemáticas. Los resultados del estudio concluyen que no se encuentra ningún impacto en la matrícula, mientras que en el rendimiento académico sí se encuentra un efecto de 0.5 desviaciones estándar en Matemáticas y ninguno en Lenguaje. Sin embargo, las declaraciones se centraron en un discurso que logró unificar los titulares en una idea simple y falsa: "Las Escuelas del Milenio no cumplieron su objetivo".

En cuanto a lo comunicacional, sorprende que el MinEduc jamás haya pedido una rectificación sobre titulares que no son exactos y que se contradicen con lo anunciado por el Ministro Fander Falconi en días previos. Tan solo unas semanas antes de lanzar el mencionado estudio, el Ministro aseveró: "yo ya tengo una evaluación preliminar de la Unidades del Milenio, la voy a anunciar en 2 o 3 semanas, relacionado con dos aspectos: cobertura y mejora del rendimiento, y en los dos aspectos sale una evaluación bastante positiva, entonces estamos hablando de modelos exitosos".

Y es que, el ministro Fander Falconi tiene razón, 0.5 desviaciones estándar es un extraordinario resultado cuando se lo sabe interpretar. Me explico, si Ecuador hubiese, hipotéticamente hablando, obtenido 0.5 desviaciones estándar adicionales en la evaluación internacional de TERCE, realizada en el año 2013 coordinada por la UNESCO, hubiese obtenido un puntaje de 752 en lugar del puntaje de 702. Lo que implica que, Ecuador hubiese superado al resultado de: Colombia, Brasil, Perú Argentina y Costa Rica; situándose en la casilla 4 en lugar de la casilla 9 dentro de 15 países de la región que fueron evaluados

Sorprende entonces que el MinEduc se haya sentido cómodo con el manejo comunicacional que los medios le dieron al asunto y que más bien haya existido un rechazo a mis declaraciones emitidas vía twitter y a las declaraciones del actual asambleísta y ex Ministro de Educación, Augusto Espinosa.

El 21 de junio de 2017, es decir más de mes y medio antes de que MinEduc lanzara su estudio, publiqué un documento de trabajo en el portal Foro Economía Ecuador cuya temática fue la misma, el título es: "Evaluación de Impactos del Programa Escuelas del Milenio de Ecuador". Los resultados de mi estudio evalúan el desempeño de las Escuelas del Milenio (UEM) en cuanto a logros educativos, frente al resto de instituciones fiscales. Miden impactos en: Matemática, Lenguaje, Ciencias Naturales, Ciencias Sociales, el promedio en conjunto de las 4 asignaturas en mención (Promedio Global), la probabilidad de obtener un logro elemental (al menos 700 puntos en la prueba) en las 4 asignaturas en mención de manera conjunta y la probabilidad de obtener un logro satisfactorio (al menos 800 puntos en la prueba) en las 4 asignaturas en mención de manera conjunta.

Los resultados del estudio de impacto que es totalmente replicable, dictaminan los siguientes impactos:

Lo que en desviaciones estándar -el diseño de las pruebas de Ineval determina que 100 puntos son una desviación estándar- serían de 0.33 en el puntaje global, 0.31 en matemáticas, 0.15 en lenguaje, 0.46 en Ciencias Naturales, 0.40 en Ciencias Sociales. Es decir, para Matemática, el estudio del Mineduc incluso encuentra un impacto mayor al mío cuando se utiliza una muestra de 684 instituciones, de las cuales 17 son UEM; mientras que por otra parte, el MinEduc no encuentra impactos cuando se toman muestras restringidas de apenas 47 datos.

Es importante también dar a conocer que la Espol, el miércoles 6 de septiembre, realizó un evento relacionado al tema educativo, siendo que el tema de las UEM debía ser el tema central del mismo acorde a la invitación del mismo. De mi parte agradezco por la invitación realizada y espero que eventos como el mencionado sean cada vez más frecuentes. No obstante, es sumamente cuestionable la poca difusión que tuvo el mismo, no existió alusión alguna en medios de comunicación o cobertura, siendo que el MinEduc habría realizado el pedido de que el evento no tenga streaming y que sea catalogado como un “evento privado", sin acceso a medios de comunicación y acceso restringido para cierto grupo de personas.

Se nota que en Ecuador aún no existe una cultura académica en la cual se valoren revisiones de pares, por ello, el moderador hace la siguiente afirmación en público: "le pido disculpas Dr. Ponce por dejar que el economista Jaramillo se refiera a su trabajo”, sin entender que la crítica y la comparabilidad entre investigaciones es el proceso de validación normal por el cual progresa el conocimiento. Puntualmente mi intervención contuvo la siguiente lámina de carácter comparativo

La lámina determina lo siguiente:

1) La evaluación del MinEduc se realiza con datos que son parcialmente públicos, pues la evaluación Ser 2008, no cuenta con bases de datos que se pueden descargar desde su página web como lo son las de Ineval para las evaluaciones Ser Bachiller. Por ende, la evaluación de MinEduc no se puede replicar, elemento clave de toda investigación que pretende tener carácter científico.

2) Para el caso del documento del MinEduc la unidad de observación son las escuelas, esto genera sesgo en los resultados puesto que la literatura económica ampliamente determina que el 70% de la varianza del rendimiento educativo obedece a características de los individuos y no al de las escuelas. Omitir variables relevantes como el Factor Socioeconómico genera endogeneidad y por ende sesga el resultado. Dado a que el programa de las UEM se prioriza en zonas deprimidas, es claro que el sesgo de omitir dicha variable va en el sentido de que el impacto de las UEM podría estar subestimado al omitirlo.

3) Puesto que la unidad de análisis en el estudio MinEduc es la Escuela, sus estimaciones contienen en algunos casos menos de 35 escuelas de control y solo 17 Escuelas Educativas del Milenio. El contraste con mi estimación es evidente, mi unidad analítica es el estudiante dentro de la escuela y por ende mis estimaciones se hacen con más de 10,000 casos, de los cuales alrededor de 3,800 estudiantes asistieron a Escuelas del Milenio. Además, se logró identificar a 41 UEM para el mismo periodo de análisis que es el año 2016, por ende es claro que el MinEduc sesga la selección de su tratamiento al seleccionar solo una parte de las UEM (17 entre 41 que tenían datos de Ser Bachiller).

4) La metodología del MinEduc es un emparejamiento con línea de base que simula el método de diferencias en diferencias, controla por variables no observables que no cambian en el tiempo, pero no controla por variables observables y no observables que cambian en el tiempo, como lo es la composición socioeconómica de las escuelas. Mi método de estimación, por el contrario, es un emparejamiento sin línea de base que busca controlar por variables observables con el fin de tener un adecuado contrafactual, el emparejamiento o pareo en mi caso redujo el sesgo por observables de 14 puntos a 0.8 puntos porcentuales.

5) Las variables que el MinEduc utiliza para hacer el emparejamiento tienen potencialmente colinealiadad con la variable de tratamiento. A modo simple, una UEM se caracteriza por tener mayor tamaño con respecto a las instituciones que fueron fusionadas previo a su existencia, se caracteriza por tener planta docente completa y mejor infraestructura. Por ende usar variables como número de alumnos, número de profesores o número de computadores hace que el grupo de control y el grupo de tratamiento sean homogéneos y por ende se anule el posible efecto de las UEM. El estudio de MinEduc estaría evaluando escuelas bien dotadas de infraestructura y docentes cuya marca es UEM contra otras bien dotadas de infraestructura y docentes cuya marca no es UEM. En términos simples compara la medicina marca A vs la marca B, cuando lo relevante es comparar la medicina marca A vs no tomar ninguna medicina. Es decir, lo relevante es medir el impacto de la mejor infraestructura y planta docente completa, el nombre publicitario del programa “Escuelas del Milenio” es secundario. 

6) El estudio del MinEduc se limita a evaluar el impacto en Matemáticas y Lenguaje. Deja de lado Estudios Sociales, Ciencias Naturales, el Promedio Global y los niveles de desempeño que Ineval publica. Por ende, es claro que es un estudio incompleto que no permite la adecuada toma de decisiones.

7) Como he mencionado, mi primera aproximación al impacto de las UEM determina que estás han sido positivas. No obstante, dicha evaluación es aún insuficiente y se debe de ampliar en el tiempo, partiendo en 2014 y midiendo en 2020 es que se podría establecer un vínculo causal.

Dejo por manifiesto que tanto el Dr. Ponce, sus coautores, como el Dr. Falconi tienen abierto este mismo espacio de difusión por si quieren responder a lo expuesto en el mismo. El documento que escriban será publicado íntegramente. Espero lo tomen como una crítica constructiva, es decir, como si fuese el primer peer review (revisión de pares) al que el documento del MinEduc debería de someterse para ser un documento de corte académico y no un instrumento para manipular mediáticamente a la población acorde a la coyuntura política.

Al Ministro Fander Falconi le deseo los mejores resultados en su gestión al frente del MinEduc, su éxito no solo repercute en el, sino en el de todo el país. Mi crítica a su actual gestión se debe principalmente a que consideró hay una arrogación de las competencias del ministro, dado que la Constitución de la República del Ecuador manifiesta en su Artículo 346 que “Existirá una institución pública con autonomía de evaluación integral interna y externa, que promueva la calidad de la educación.”

Por el mencionado artículo y en cumplimiento de la LOEI se creó Ineval, una institución que nació bajo el liderazgo de Harvey Sanchez en el año 2012, electo Director ejecutivo mediante concurso de méritos internacional y a quien, entre otras cosas, los ecuatorianos y la academia le debemos la existencia de bases de datos de acceso público para poder evaluar de forma totalmente autónoma al Ministerio de Educación y a sus políticas públicas.

En este sentido, es vital señalar que, mediante Decreto ejecutivo número 97 del Presidente Lenín Moreno, la autonomía de Ineval quedó vulnerada al delegar al ministro Falconí en su representación ante la Junta Directiva de este órgano. Hecho que posiblemente motivó la renuncia de su fundador, la cual se daría de manera prematura al periodo para el cual fue electo y que culminaba en julio de 2020. Una gran pérdida para el país, ya que hace apenas tres semanas fue electo Consejero Técnico de Alto Nivel para la región, de manera unánime por los 19 países que conforman la Asamblea del LLECE de la Unesco.

Por supuesto, siempre serán bienvenidas las evaluaciones y toma de decisiones basada en evidencias. No obstante, es necesario que se realicen con la garantía de que se cumplen los estándares técnicos mínimos, los datos empleados se encuentren disponibles para todo el que tenga interés en replicar los resultados y sus conclusiones sean sometidas a los más elementales controles de confiabilidad y validez. De lo contrario, es fácil concluir que se trata de un panfleto con fines comunicacionales sujetos a la coyuntura política. 

En este sentido, dado que el estudio del Dr. Ponce emplea datos de la evaluación Ser 2008, realizada por Mineduc y de la que no existe publicación oficial, es necesario que estos datos se hagan públicos de manera inmediata. En particular porque Harvey Sánchez, extitular de Ineval ha denunciado que “los datos de 2008 carecen de validez de constructo y de medición. Cualquier conclusión a partir de ella son mentira”.

Las evaluaciones deben ser tomadas en serio, la rigurosidad en cada ejercicio debe ser el punto de partida para poder confiar en ellas, algo que no se observa en los recientes estudios realizados y publicados por Mineduc.

Anexos

1. Link a la presentación realizada en el evento de la Espol

2. Link a documento de Juan Pablo Jaramillo

3. Link a documento de MinEduc (Juan Ponce)