Saturday, July 29, 2017

The heterodox economics quackery of Ha-Joon Chang and his 50+ comrades about Ecuador

Ir al final para la versión en español (scroll down for the version in Spanish).

This post is a call of attention to Ha-Joon Chang and James K. Galbraith, who are crusading to praise the economic policies undertaken by Rafael Correa during his presidency, and to more than fifty other economists who signed a letter warning against neoliberalism's return in Ecuador in March 2017 and a refutation of neoliberalism's defenders in Ecuador in July 2017:  Please, stop discrediting economics as a science.  Not only are you giving the impression that economics is just quackery based on simple before-and-after arithmetic and descriptive narratives, which is not how we should inspire future economists, but also that Ecuador's economic performance under the Correa administration was good.

None of the articles I have seen from the signatories of these letters have ever offered a single proper evaluation of the economic policies carried out by the Correa administration.  And by proper I mean an analysis that, for example, considers a counterfactual against which to draw logical conclusions. Neither the original letter nor the refutation above nor Jayati's 2012 article nor Bill's 2013 nor Mark's 2017–all of which have been commented in this blog–includes a single economic policy evaluation.

In this post, I present the results of a recent economic study to evaluate the outcomes, at the macroeconomic level, of the economic policies implemented by Rafael Correa during his presidency.  Although it is still work in progress, my objective with this call of attention is to raise the level of the debate about the assessment of the Correa administration, and of any other administration you are considering to praise in the future, for the sake of sensible economics.

First, let me explain my readers how public policies are evaluated in economics with a simple example:  In medicine, when one wants to test the efficacy of a medicine to cure a disease (say, low red blood cell count), a group of sick people is selected (say, people with a low blood cell count).  In turn, this group of people is divided randomly in two subgroups.  One of these two groups will be administered the medicine, and will be called the treatment group, while the other will be given a placebo, and will be called the control group.  After some time, one analyses if the sickness was cured in the treatment group compared with the control group and calls success or failure.  For example, one can take blood samples from all the persons in the two groups and analyse the red blood cell count.  If the persons in the treatment group have, on average, a higher blood cell count than the persons in the control group, the medicine has been efficacious.  Importantly, both the design of this experiment and the statistical method used to compare the average blood cell count between groups have to be correct in order to draw the right conclusions about the medicine.

Unfortunately, in economics we rarely have experimental data as those described in the medicine example before, although experimental economics is becoming increasing popular and fundamental to the understanding of economics.  In the case of evaluating the effect of the economic policies of Rafael Correa on Ecuador's economic performance, we do have the "treatment group," which is Ecuador under Correa's policies, but we do not have a parallel Ecuador which did not elect Rafael Correa in 2007, the so-called counterfactual or "control group" in the medicine example.  Only by having this counterfactual Ecuador one can correctly infer what the results of the policy intervention–in this case the Correa administration's policies–have been.

Fortunately, however, economists have worked really hard over the years to provide scientific methods aimed to solve the lack of experimental data (the counterfactual) in economics.  Regression discontinuity analysis, randomized control trials, model-based and impulse-response analysis, and synthetic control methods, among others, are at hand of economists to be used in order to offer proper policy evaluations.

The economic evaluation of the Correa administration I will present here is done with the synthetic control method.  This method is intended to solve the lack of the counterfactual or "control group."  It involves the construction of a weighted combination of units used as controls, to which the treatment unit is compared.  This comparison is used to estimate what would have happened to the treatment unit if it had not received the treatment.  The synthetic control method has been applied to evaluate the effect of the German reunification on the per capita GDP of West Germany, the effect of dollarization in Ecuador, and even to evaluate the economic consequences of Hugo Chavez in Venezuela.

In the current context, we can use information from other countries similar to Ecuador and combine it to obtain a counterfactual Ecuador (called the synthetic control) against which to compare the observed Ecuador under Correa's policies.  In this way, by using the Mill's induction method of difference, one can obtain the effect of the policies carried out by the Correa administration and conclude if they were appropriate or not.

I briefly discuss how I implement the synthetic control method.  The pool of countries among which the method chooses the combination to construct the synthetic control or counterfactual involves countries with similar oil rents as share of GDP as well as countries from Latin America, excluding Venezuela, Bolivia, and Nicaragua (because we need to use countries which did not experience similar treatments to that of Ecuador).  The method finds that the most relevant countries to explain Ecuador's real per-capita GDP adjusted by purchasing power, inflation rate, years of schooling, trade openness, industry share of GDP, and terms of trade are: Colombia, Paraguay, Peru, Uzbekistan, Algeria, Cameroon, and the United Emirate States.

The graph below shows the evolution of the per capita GDP of Ecuador (black line) between 1995 and 2015 and that of the synthetic Ecuador (thick grey dashed line).  We assume that the treatment starts in 2008 when the policies of Rafael Correa were fully in place after his election in 2007 (vertical black line).  [Click on the figure for best resolution.]

If the policies of Rafael Correa had been beneficial for Ecuador, one would have expected to see that the black line, which is the Ecuador under Correa, deviates from the thick grey dashed line, which is the Ecuador without Correa.  In particular, one would have expected the black line to be significantly above the thick gray dashed line, meaning that Ecuador performs significantly better with Correa than without his policies, as the signatories of the letters claim.  However, that is not the case.  In fact, at the end of the sample, in 2015, the Ecuador without Correa is above the Ecuador with him.

One needs to go further and check that the difference between the GDP per capita of Ecuador and that of its synthetic control is or is not statistically significant.  One way to do it is to re-construct the synthetic control leaving out one of the listed countries above.  The thin grey dashed lines show that exercise.  Since the black line is inside the bounds of the thin grey dashed lines, one can conclude that there is not statistically significant difference between Ecuador and its synthetic counterpart.  Again, that means the economic policies of Rafael Correa did not cause any significant deviation of what Ecuador's per capita GDP would have been without those policies.

Currently, two coauthors and I are working with a more robust selection of countries.  In particular, another variable that we will include to be matched is the oil rents as a share of GDP.  We will also use poverty and inequality measures as outcomes to evaluate.  Those new results will be available in a working paper version online soon.

Once again, I encourage you to stop using the type of arguments you have been using and start using what economists have worked so hard to develop.  Future economists will thank you, as well as Ecuadorians, who are realizing little by little that the myth of the Correa's successful model is just that, a myth, as the new president has unveiled on July 28, 2017, calling the economic situation "critical."

You can find about me here:

En español
La charlatanería de la economía heterodoxa de Ha-Joon Chan y sus 50+ camaradas acerca de Ecuador
Este post es un llamado de atención a Ha-Joon Chang y James K. Galbraith, quienes están en una cruzada para alabar las políticas económicas llevadas a cabo por Rafael Correa durante su presidencia, y a más de otros cincuenta economistas que firmaron una carta advirtiendo sobre el regreso del neoliberalismo en Ecuador en marzo de 2017 y una respuesta a los defensores del neoliberalismo en Ecuador en julio de 2017: Por favor, paren de desacreditar la economía como ciencia. No solamente están dando la impresión que economía es solamente charlatanería basada en simple aritmética antes-después y narraciones descriptivas, lo cual no es como deberíamos inspirar a futuros economistas, sino también que el desempeño económico de Ecuador bajo la administración Correa fue bueno.

Ninguno de los artículos que he visto de quienes firman estas cartas ha ofrecido siquiera una evaluación apropiada de las políticas económicas llevadas a cabo por la administración Correa. Y por apropiadas quiero decir un análisis que, por ejemplo, considere un contrafactual versus el cual obtener conclusiones lógicas. Ni la carta original ni la respuesta ni el artículo de Jayati del 2012 ni el de Bill del 2013 ni el de Mark del 2017–cada una de las cuales ha sido comentada en este blog–incluye una sola evaluación de política económica.

En este post, presento los resultados de un reciente estudio económico para evaluar los resultados, a nivel macroeconómico, de las políticas económicas implementadas por Rafael Correa durante su presidencia. Aunque es aún trabajo en progreso, mi objetivo con este llamado de atención es elevar el nivel del debate acerca de la evaluación de la administración Correa, y de cualquier otra administración que estén considerando alabar en el futuro, por el bien de una economía responsable.

Primero, déjenme explicar a mis lectores cómo las políticas económicas se evalúan en economía con un ejemplo sencillo: En medicina, cuando se quiere evaluar la eficacia de una medicina para curar una enfermedad (por ejemplo, un conteo bajo de glóbulos rojos), se selecciona un grupo de personas enfermas (por ejemplo, personas con un conteo bajo de glóbulos rojos). Luego, este grupo de personas se divide aleatoriamente en dos subgrupos. Uno de estos dos subgrupos tomará la medicina, y será llamado el grupo de tratamiento, mientras que el otro tomará un placebo, y será llamado el grupo de control. Después de algún tiempo, se analiza si la enfermedad fue curada en el grupo de tratamiento comparado con el grupo de control y determina éxito o fracaso. Por ejemplo, se puede tomar muestras de sangre de todas las personas en los dos grupos y analizar el conteo de glóbulos rojos. Si las personas en el grupo de tratamiento tienen, en promedio, un conteo de glóbulos rojos más alto que las personas en el grupo de control, la medicina ha sido eficaz. De manera importante, tanto el diseño de este experimento como el método estadístico usado para comparar el conteo promedio de glóbulos rojos entre los grupos tienen que ser apropiados para poder obtener conclusiones correctas sobre la medicina.

Desafortunadamente, en economía raramente tenemos datos experimentales como los descritos anteriormente en el ejemplo de la medicina, aunque la economía experimental se está volviendo cada vez más popular y fundamental para entender economía. En el caso de evaluar el efecto de las políticas económicas de Rafael Correa sobre el desempeño económico de Ecuador, sí tenemos el "grupo de tratamiento", el cual es Ecuador bajo las políticas de Correa, pero no tenemos un Ecuador paralelo que no elegió a Correa en el 2007, el llamado contrafactual o "grupo de control" en el ejemplo de la medicina. Sólo teniendo este Ecuador contrafactual uno puede correctamente inferir cuáles han sido los resultados de la intervención de política, en este caso las políticas de la administración Correa.

Afortunadamante, sin embargo, los economistas han trabajado realmente duro a lo largo de los años para proveer métodos científicos que resuelvan la falta de datos experimentales (el contrafactual) en economía. Análisis de regresión discontinua, ensayos de control aleatorizados, análisis basados en modelos e impulso-respuesta, y métodos de control sintético, entre otros, están disponibles para que los economistas los usen para ofrecer evaluaciones de política apropiadas.

La evaluación económica de la administración Correa que presentaré aquí está hecha con el método de control sintético. Este método tiene como objetivo resolver la falta del contrafactual o "grupo de control". Tiene que ver con la construcción de una combinación ponderada de unidades utilizadas como controles, contra la cual la unidad de tratamiento se compara. Esta comparación se usa para estimar qué habría ocurrido con la unidad de tratamiento si no recibía el tratamiento. El método de control sintético ha sido aplicado para evaluar el efecto de la reunificación alemana sobre el PIB per cápita de Alemania del Oeste, el efecto de la dolarización en Ecuador, e incluso para evaluar las consecuencias económicas de Hugo Chávez en Venezuela.

En el presente contexto, podemos usar información de otros países similares a Ecuador y combinarla para obtener un Ecuador contrafactual (llamado control sintético) contra el cual comparar el Ecuador observado bajo las políticas de Correa. De esta manera, al usar el método de inducción de diferencias de Mill, uno puede obtener el efecto de las políticas llevadas a cabo por la administración Correa y concluir si fueron apropiadas o no.

Discuto brevemente cómo implemento el método de control sintético. El conjunto de países entre los cuales el método escoge la combinación para construir el control sintético o contrafactual incluye países con rentas petroleras como porcentaje del PIB similares y países de Latinoamérica, excluyendo Venezuela, Bolivia, y Nicaragua (porque necesitamos usar países que no experimentaron tratamientos similares a los de Ecuador). El método encuentra que los países más relevantes para explicar el PIB per cápita real ajustado por poder de compra de Ecuador, la tasa de inflación, los años de educación, la apertura al comercio, la porción de industria sobre el PIB, y los términos de intercambio son: Colombia, Paraguay, Perú, Uzbekistán, Argelia, Camerún, y los Emiratos Arabes Unidos.

El gráfico a continuación muestra la evolución del PIB per cápita de Ecuador (línea negra) entre 1995 y 2015 y la del Ecuador sintético (línea gris gruesa punteada). Asumimos que el tratamiento empieza en 2008 cuando las políticas de Rafael Correa estuvieron completamente implementadas después de su elección en 2007 (línea negra vertical). [Dar click en la figura para ampliar.]

Si las políticas de Rafael Correa hubieran sido beneficiosas para Ecuador, se habría esperado ver que la línea negra, la cual es el Ecuador bajo Correa, se desvíe de la línea gris gruesa punteada, la cual es Ecuador sin Correa. En particular, uno habría esperado que la línea negra esté significativamente por encima de la línea gris gruesa punteada, queriendo decir que Ecuador se desempeña significativamente mejor con Correa que sin sus políticas, como quienes firman la carta aseveran. Sin embargo, ese no es el caso. De hecho, al final de la muestra, en 2015, el Ecuador sin Correa está por encima del Ecuador con él.

Se necesita ir más allá y verificar que la diferencia entre el PIB per capita de Ecuador y la de su control sintético es o no estadísticamente significativa. Una forma de hacerlo es reconstruir el control sintético dejando fuera uno de los países arriba listados. Las líneas grises finas punteadas muestran ese ejercicio. Dado que la línea negra está dentro de los límites de las líneas grises finas punteadas, uno puede concluir que no hay diferencia estadísticamente significativa entre Ecuador y su contraparte sintética. Otra vez, eso significa que las políticas económicas de Rafael Correa no causaron desviación significativa alguna de lo que el PIB per cápita de Ecuador hubiera sido sin esas políticas.

Al momento, dos co-autores y yo estamos trabajando con una selección más robusta de países. En particular, otra variable objetivo que incluiremos es las rentas petroleras como porcentaje del PIB. También usaremos medidas de pobreza y desigualdad como resultados a ser evaluados. Esos nuevos resultados estarán disponibles en un documento de trabajo online pronto.

Una vez más, los aliento a que dejen de usar el tipo de argmentos que han estado usando y empiecen a usar lo que los economistas han trabajado tan duro por desarrollar. Los futuros economistas se los agradecerán, así como los ecuatorianos, quienes se empiezan a dar cuenta poco a poco que el mito del modelo exitoso de Correa es sólo eso, un mito, como el nuevo presidente reveló el 28 de Julio de 2017, llamando la situación económica "crítica".

Pueden encontrar mi información aquí:


  1. Sebastián PadillaJuly 29, 2017 at 6:05 PM

    Estimado Manuel, muy buen artículo, como sugerencia revisa los términos de grupo de tratamiento y control en la redacción, al menos en la de español, están cruzadas un par de veces.

  2. Utilizando el mismo ejemplo de los subgrupos, en realidad se hubiese estado conciente de los problemas que había que resolver en el país?. En el ejemplo es claro la baja de globulos rojos. En el caso del Ecuador sintético creo que asumir que se parte de los mismos objetivos de desarrollo es donde podría existir una gran diferencia. Igual crecimiento del PIB pero en distintas proporciones y concentración.

  3. Interesante artículo sin embargo saltan ciertos cuestionamientos.
    El análisis se centra en PIB asumiendo que es el único parámetro de amerita comparación para emitir un juicio sobre el caso de la economia de Ec.
    Para comenzar sería pertinente una aclaración sobre en la generacion de series sinteticas se utizaron los valores de PIB de otros paises en moneda dura o no (conveniente para comparar el efecto de la dolarizacion).
    Se me ocurren otros parámetros que deben verse en paralelo para analizar la gestión del gobierno de Correa. Por ejemplo: Cumplimiento de metas del milenio, evolución de la inequidad social, endeudamiento e inversión, etc.
    No estaría por demás aclarar qué países han sido usados para crear las series sintéticas.
    Ojalá se de un comentario aclaratorio sobre lo aqui expresado.
    Saludos cordiales
    Fabián Tapia