sábado, 30 de septiembre de 2017

Respuesta al artículo titulado “Crítica a la Evaluación de Impacto de las #EscuelasDelMilenio por parte del Ministerio de Educación y a su mal uso comunicacional”


A continuación, en virtud del derecho a la replica, publico la respuesta que me hace llegar el MinEduc mediante Ruthy Intriago sobre la Crítica a la Evaluación de Impacto de las #EscuelasDelMilenio por parte del Ministerio de Educación y a su mal uso comunicacional. Felicito el hecho de que exista una respuesta al mismo, no obstante aún no se da respuesta a lo esencial por lo siguiente: 

1) ¿Por qué el MinEduc no libera las bases de datos de Ser2008? -ejercicio que habría costado 5 millones de dólares. No se sabe cuánto costó la evaluación de impacto financiada por el BID a cargo de Juan Ponce, Marcelo Drouet y Ruthy Intriago.-

2) ¿Cuál es el listado de escuelas -Código Amie y nombre- que se utilizan para el grupo de tratamiento (17) y cuál es el listado utilizado para el grupo de control? Una muestra insuficiente que contiene sesgo de selección, porque las Escuelas del Milenio sustituyen a varias escuelas pequeñas por lo cual no es posible tener una línea de base con Ser2008, siendo que al no saber cómo se construye la línea de base para una institución que absorbe a varias instituciones de menor tamaño el estudio de MinEduc pierde toda validez, mi estudio identifico 41 UEM lo cual es mas del doble de las 17 que utiliza el MinEduc para el mismo periodo en mención. 

3) ¿Por qué se insiste en manifestar que el factor socioeconómico no es relevante, cuando la literatura empírica, por más de 60 años y a lo largo de miles de estudios en diferentes países, determina que es el principal factor asociado al rendimiento académico, siendo que su omisión es lo que causa endogeneidad? Con referente a mi estudio, el citar un estudio clásico como el de Coleman 1966, con más de 15,300 referencias académicas al mismo, no puede ser catalogado como desactualizado, sino más bien como algo relevante dentro de la revisión literaria puesto que se entiende que este no es un campo de investigación nuevo y que no se trata de inventar el agua tibia.

Debo así mismo manifestar sobre mi estudio las siguientes aclaraciones, que son importantes para comprender la respuesta del MinEduc en el entorno de un debate académico en el que se da una replica y contra replica: 

domingo, 17 de septiembre de 2017

Crítica a la Evaluación de Impacto de las #EscuelasDelMilenio por parte del Ministerio de Educación y a su mal uso comunicacional


La evaluación de impacto de programas de política pública es una herramienta que busca identificar si una política pública ha tenido el efecto deseado para el cual la intervención fue diseñada. Si bien una evaluación de impacto se sustenta en parámetros técnicos y el uso de herramientas científicas tales como el análisis estadístico y los planteamientos de experimentos o cuasi experimentos, la discrecionalidad y compromiso ético del investigador es un factor que puede determinar los resultados. 

Para evitar los malos usos de los datos y motivar conclusiones erróneas sobre ciertas observaciones, es vital tomar considerar todos los elementos que intervienen en un fenómeno y contrastarlos con los que han sido considerados para el estudio, sobre todo los que se omiten para realizarla. Por eso, es necesario que en la academia existan muchos estudios relacionados a la misma temática.

El pasado mes de agosto, el Ministerio de Educación del Ecuador (MinEduc) publicitó mediante evento público la denominada "Evaluación de Impacto del programa de las Escuelas del Milenio", a cargo del economista Juan Ponce de la Flacso. Estudio que habría sido contratado por el MinEduc con un crédito no reembolsable del Banco Interamericano de Desarrollo (BID), del cual también se tendría asistencia técnica proveniente de expertos del mismo BID.

El estudio pretende evaluar matricula y rendimiento académico en dos de las cuatro áreas fundamentales de los estándares educativos: Lenguaje y Matemáticas. Los resultados del estudio concluyen que no se encuentra ningún impacto en la matrícula, mientras que en el rendimiento académico sí se encuentra un efecto de 0.5 desviaciones estándar en Matemáticas y ninguno en Lenguaje. Sin embargo, las declaraciones se centraron en un discurso que logró unificar los titulares en una idea simple y falsa: "Las Escuelas del Milenio no cumplieron su objetivo".

En cuanto a lo comunicacional, sorprende que el MinEduc jamás haya pedido una rectificación sobre titulares que no son exactos y que se contradicen con lo anunciado por el Ministro Fander Falconi en días previos. Tan solo unas semanas antes de lanzar el mencionado estudio, el Ministro aseveró: "yo ya tengo una evaluación preliminar de la Unidades del Milenio, la voy a anunciar en 2 o 3 semanas, relacionado con dos aspectos: cobertura y mejora del rendimiento, y en los dos aspectos sale una evaluación bastante positiva, entonces estamos hablando de modelos exitosos".


Y es que, el ministro Fander Falconi tiene razón, 0.5 desviaciones estándar es un extraordinario resultado cuando se lo sabe interpretar. Me explico, si Ecuador hubiese, hipotéticamente hablando, obtenido 0.5 desviaciones estándar adicionales en la evaluación internacional de TERCE, realizada en el año 2013 coordinada por la UNESCO, hubiese obtenido un puntaje de 752 en lugar del puntaje de 702. Lo que implica que, Ecuador hubiese superado al resultado de: Colombia, Brasil, Perú Argentina y Costa Rica; situándose en la casilla 4 en lugar de la casilla 9 dentro de 15 países de la región que fueron evaluados



El 21 de junio de 2017, es decir más de mes y medio antes de que MinEduc lanzara su estudio, publiqué un documento de trabajo en el portal Foro Economía Ecuador cuya temática fue la misma, el título es: "Evaluación de Impactos del Programa Escuelas del Milenio de Ecuador". Los resultados de mi estudio evalúan el desempeño de las Escuelas del Milenio (UEM) en cuanto a logros educativos, frente al resto de instituciones fiscales. Miden impactos en: Matemática, Lenguaje, Ciencias Naturales, Ciencias Sociales, el promedio en conjunto de las 4 asignaturas en mención (Promedio Global), la probabilidad de obtener un logro elemental (al menos 700 puntos en la prueba) en las 4 asignaturas en mención de manera conjunta y la probabilidad de obtener un logro satisfactorio (al menos 800 puntos en la prueba) en las 4 asignaturas en mención de manera conjunta.

Los resultados del estudio de impacto que es totalmente replicable, dictaminan los siguientes impactos:


Lo que en desviaciones estándar -el diseño de las pruebas de Ineval determina que 100 puntos son una desviación estándar- serían de 0.33 en el puntaje global, 0.31 en matemáticas, 0.15 en lenguaje, 0.46 en Ciencias Naturales, 0.40 en Ciencias Sociales. Es decir, para Matemática, el estudio del Mineduc incluso encuentra un impacto mayor al mío cuando se utiliza una muestra de 684 instituciones, de las cuales 17 son UEM; mientras que por otra parte, el MinEduc no encuentra impactos cuando se toman muestras restringidas de apenas 47 datos.

Es importante también dar a conocer que la Espol, el miércoles 6 de septiembre, realizó un evento relacionado al tema educativo, siendo que el tema de las UEM debía ser el tema central del mismo acorde a la invitación del mismo. De mi parte agradezco por la invitación realizada y espero que eventos como el mencionado sean cada vez más frecuentes. No obstante, es sumamente cuestionable la poca difusión que tuvo el mismo, no existió alusión alguna en medios de comunicación o cobertura, siendo que el MinEduc habría realizado el pedido de que el evento no tenga streaming y que sea catalogado como un “evento privado", sin acceso a medios de comunicación y acceso restringido para cierto grupo de personas.

Se nota que en Ecuador aún no existe una cultura académica en la cual se valoren revisiones de pares, por ello, el moderador hace la siguiente afirmación en público: "le pido disculpas Dr. Ponce por dejar que el economista Jaramillo se refiera a su trabajo”, sin entender que la crítica y la comparabilidad entre investigaciones es el proceso de validación normal por el cual progresa el conocimiento. Puntualmente mi intervención contuvo la siguiente lámina de carácter comparativo


La lámina determina lo siguiente:

1) La evaluación del MinEduc se realiza con datos que son parcialmente públicos, pues la evaluación Ser 2008, no cuenta con bases de datos que se pueden descargar desde su página web como lo son las de Ineval para las evaluaciones Ser Bachiller. Por ende, la evaluación de MinEduc no se puede replicar, elemento clave de toda investigación que pretende tener carácter científico.

2) Para el caso del documento del MinEduc la unidad de observación son las escuelas, esto genera sesgo en los resultados puesto que la literatura económica ampliamente determina que el 70% de la varianza del rendimiento educativo obedece a características de los individuos y no al de las escuelas. Omitir variables relevantes como el Factor Socioeconómico genera endogeneidad y por ende sesga el resultado. Dado a que el programa de las UEM se prioriza en zonas deprimidas, es claro que el sesgo de omitir dicha variable va en el sentido de que el impacto de las UEM podría estar subestimado al omitirlo.

3) Puesto que la unidad de análisis en el estudio MinEduc es la Escuela, sus estimaciones contienen en algunos casos menos de 35 escuelas de control y solo 17 Escuelas Educativas del Milenio. El contraste con mi estimación es evidente, mi unidad analítica es el estudiante dentro de la escuela y por ende mis estimaciones se hacen con más de 10,000 casos, de los cuales alrededor de 3,800 estudiantes asistieron a Escuelas del Milenio. Además, se logró identificar a 41 UEM para el mismo periodo de análisis que es el año 2016, por ende es claro que el MinEduc sesga la selección de su tratamiento al seleccionar solo una parte de las UEM (17 entre 41 que tenían datos de Ser Bachiller).

4) La metodología del MinEduc es un emparejamiento con línea de base que simula el método de diferencias en diferencias, controla por variables no observables que no cambian en el tiempo, pero no controla por variables observables y no observables que cambian en el tiempo, como lo es la composición socioeconómica de las escuelas. Mi método de estimación, por el contrario, es un emparejamiento sin línea de base que busca controlar por variables observables con el fin de tener un adecuado contrafactual, el emparejamiento o pareo en mi caso redujo el sesgo por observables de 14 puntos a 0.8 puntos porcentuales.

5) Las variables que el MinEduc utiliza para hacer el emparejamiento tienen potencialmente colinealiadad con la variable de tratamiento. A modo simple, una UEM se caracteriza por tener mayor tamaño con respecto a las instituciones que fueron fusionadas previo a su existencia, se caracteriza por tener planta docente completa y mejor infraestructura. Por ende usar variables como número de alumnos, número de profesores o número de computadores hace que el grupo de control y el grupo de tratamiento sean homogéneos y por ende se anule el posible efecto de las UEM. El estudio de MinEduc estaría evaluando escuelas bien dotadas de infraestructura y docentes cuya marca es UEM contra otras bien dotadas de infraestructura y docentes cuya marca no es UEM. En términos simples compara la medicina marca A vs la marca B, cuando lo relevante es comparar la medicina marca A vs no tomar ninguna medicina. Es decir, lo relevante es medir el impacto de la mejor infraestructura y planta docente completa, el nombre publicitario del programa “Escuelas del Milenio” es secundario. 

6) El estudio del MinEduc se limita a evaluar el impacto en Matemáticas y Lenguaje. Deja de lado Estudios Sociales, Ciencias Naturales, el Promedio Global y los niveles de desempeño que Ineval publica. Por ende, es claro que es un estudio incompleto que no permite la adecuada toma de decisiones.


Dejo por manifiesto que tanto el Dr. Ponce, sus coautores, como el Dr. Falconi tienen abierto este mismo espacio de difusión por si quieren responder a lo expuesto en el mismo. El documento que escriban será publicado íntegramente. Espero lo tomen como una crítica constructiva, es decir, como si fuese el primer peer review (revisión de pares) al que el documento del MinEduc debería de someterse para ser un documento de corte académico y no un instrumento para manipular mediáticamente a la población acorde a la coyuntura política.

Al Ministro Fander Falconi le deseo los mejores resultados en su gestión al frente del MinEduc, su éxito no solo repercute en el, sino en el de todo el país. Mi crítica a su actual gestión se debe principalmente a que consideró hay una arrogación de las competencias del ministro, dado que la Constitución de la República del Ecuador manifiesta en su Artículo 346 que “Existirá una institución pública con autonomía de evaluación integral interna y externa, que promueva la calidad de la educación.”

Por el mencionado artículo y en cumplimiento de la LOEI se creó Ineval, una institución que nació bajo el liderazgo de Harvey Sanchez en el año 2012, electo Director ejecutivo mediante concurso de méritos internacional y a quien, entre otras cosas, los ecuatorianos y la academia le debemos la existencia de bases de datos de acceso público para poder evaluar de forma totalmente autónoma al Ministerio de Educación y a sus políticas públicas.

En este sentido, es vital señalar que, mediante Decreto ejecutivo número 97 del Presidente Lenín Moreno, la autonomía de Ineval quedó vulnerada al delegar al ministro Falconí en su representación ante la Junta Directiva de este órgano. Hecho que posiblemente motivó la renuncia de su fundador, la cual se daría de manera prematura al periodo para el cual fue electo y que culminaba en julio de 2020. Una gran pérdida para el país, ya que hace apenas tres semanas fue electo Consejero Técnico de Alto Nivel para la región, de manera unánime por los 19 países que conforman la Asamblea del LLECE de la Unesco.

Por supuesto, siempre serán bienvenidas las evaluaciones y toma de decisiones basada en evidencias. No obstante, es necesario que se realicen con la garantía de que se cumplen los estándares técnicos mínimos, los datos empleados se encuentren disponibles para todo el que tenga interés en replicar los resultados y sus conclusiones sean sometidas a los más elementales controles de confiabilidad y validez. De lo contrario, es fácil concluir que se trata de un panfleto con fines comunicacionales sujetos a la coyuntura política. 

En este sentido, dado que el estudio del Dr. Ponce emplea datos de la evaluación Ser 2008, realizada por Mineduc y de la que no existe publicación oficial, es necesario que estos datos se hagan públicos de manera inmediata. En particular porque Harvey Sánchez, extitular de Ineval ha denunciado que “los datos de 2008 carecen de validez de constructo y de medición. Cualquier conclusión a partir de ella son mentira”.


Las evaluaciones deben ser tomadas en serio, la rigurosidad en cada ejercicio debe ser el punto de partida para poder confiar en ellas, algo que no se observa en los recientes estudios realizados y publicados por Mineduc.


Anexos

1. Link a la presentación realizada en el evento de la Espol



martes, 21 de marzo de 2017

Análisis sobre las propuestas económicas y políticas de cara a un nuevo gobierno 2017-2021


En este post comparto las entrevistas que, de cara a elegir al nuevo gobierno que asumirá funciones en los próximos meses, me han hecho el último mes con el fin de conocer perspectivas en cuanto al tema económico y político.  Agradezco a los entrevistadores, por darme el espacio.

Entrevista con Carlos Rabascall en Ecuador Tv programa Pensamiento Critico




Entrevista con Ricardo Bravo en Televisión Legislativa programa Tercer Debate, comparto panel con Marco Navas
Link: https://youtu.be/CSu0YHw4hds?list=FLzGezjOH3cBoThyo4ApmpzQ


jueves, 9 de febrero de 2017

El balance económico de los 10 años de Revolución Ciudadana

El presente post realiza el Balance Económico de los 10 años de la Revolución Ciudadana - @MashiRafael - . El análisis busca basarse en datos duros y analizarlos en su contexto. Se dividirá en distintas secciones y se irá actualizando con el paso del tiempo. Estas secciones, no buscan tener una gran extensión y detalle de cada tópico, sino recalcar la información más relevante de cada tema. De momento se tiene 5 secciones: 1) Competitividad, 2) Mercado Laboral, 3) Combate a la Pobreza y Pobreza Extrema, 4) Acceso a la Educación y su Democratización y 5) Influencia del Recurso Petrolero. Esta pendiente de publicación la sexta sección, titulada: "Panorama Fiscal" para la cual aun no hay datos completos de 2016.

1) Competitividad

Para dar un dictamen de cómo le fue a Ecuador en competitividad se utiliza la información del WEF (World Economic Forum), relativizando los puntajes de Ecuador para Sudamérica, con el fin de tener una comparación contextualizada a la zona geográfica. Esto implica que el promedio de Sudamérica en los 12 pilares siempre será 1 en cada año de medición y el puntaje que obtenga Ecuador será mayor o menor a 1. Indicando que se encuentra por encima de la media, o por debajo de la misma. La gráfica 1 también señala el año del puntaje máximo y el puntaje mínimo obtenido entre el periodo 2007 y 2017.

Gráfica 1 (Dar clic para expandir)



lunes, 23 de enero de 2017

Libre ingreso a la Universidad

La propuesta del libre acceso a la universidad mediante la eliminación de la Senescyt y/o la correspondiente prueba de ingreso a la universidad, ENES, caen en el populismo.  Los candidatos no dan detalles y no responden ¿Cómo sería el sistema de selección para el ingreso a la universidad en su gobierno?

Lo primero que cabe mencionar es que los cupos en el sistema universitario público y más en ciertas carreras en específico son limitados. Por ejemplo: para medicina en la Universidad Central solo se ofertan 100 cupos. Esto, quiere decir que independientemente del método de selección que se utilice, si un mayor número de bachilleres, casi 3,000, aspira a estudiar dicha carrera en aquella facultad, habría estudiantes que no lo puedan hacer. Por ende, cabe siempre tener un método de selección para definir quienes sí entran, y quienes buscan otra opción – otra universidad, otra carrera, o definitivamente no estudiar-.

Cuando se piensa en los métodos de selección para el ingreso a una carrera universitaria, se tiene que una opción es por orden de llegada. Es decir, que se haga una fila y que sean las primeras 100 personas que llegan a la Facultad de Medicina en la Universidad Central quienes obtengan el cupo. Otra opción, es escoger al azar por medio de una lotería, es decir poner los nombres de todos los aspirantes en una bolsa y que se escoja uno por uno hasta agotar los cupos disponibles.

Por último, se tiene las pruebas de ingreso a la universidad, que, si bien no son perfectas, son el método más civilizado y justo que se ha diseñado para determinar que aspirantes deben ingresar y cuáles no. Se toma el mismo examen a todos los aspirantes y se ordenan sus resultados del mejor al peor. Esto es lo que ocurrió en medicina para la Universidad Central en 2014, en donde el menor puntaje para ingresar fue de 950. Hubo otras carreras donde se requirió de menores puntajes para obtener un cupo, por ejemplo para Ciencias del Leguaje y Literatura en la misma Universidad Central se ingreso con 756 puntos.