tÉcnicas microeconomÉtricas para la ......de estas relaciones causales a partir del análisis de...

TÉCNICASMICROECONOMÉTRICAS PARA LA EVALUACIÓN DE

POLÍTICAS PÚBLICAS

ANTONIO MORENO-TORRES GÁLVEZ (*)

Ingeniero Industrial del Estado

La mejora de la efectividad de las políticas públicas requiere el conocimiento de las relaciones de causalidad en-tre intervenciones y resultados imputables a las mismas. En este artículo se presentan desde un punto de vista intui-tivo, aunque sin pérdida de rigor formal, las diferentes técnicas que constituyen el estado del arte actual de laMicroeconomía Cuantitativa o Microeconometría, que es la rama de la economía empírica que, completando las

aplicaciones econométricas tradicionales de tipodescriptivo o predictivo, tiene por objeto el estudiode estas relaciones causales a partir del análisis dedatos microeconómicos o microdatos.

La importancia de la comprensión de las relacionesde causalidad se ha de entender en el contexto deuna filosofía de políticas basadas en evidencias que,haciendo uso intensivo de herramientas objetivas ta-les como el «Análisis Coste-Beneficio» o la «Evaluaciónde Programas», busca entre otras cosas mejorar laspolíticas públicas mediante la identificación de lasintervenciones –políticas o programas- que con elmenor coste generen un mayor impacto en los ob-jetivos/resultados perseguidos, lo que resulta de la ma-yor importancia en un contexto como el actual deescasez de recursos y sospecha generalizada hacialo público (Moreno-Torres, 2012).

No siendo nuevo el interés por esta cuestión, los en-foques que se han seguido para su estudio han evo-lucionado en el tiempo, pudiendo distinguirse bási-camente dos: uno de carácter estructural y otro decarácter experimentalista.

ENFOQUES ESTRUCTURAL Y EXPERIMENTALISTA EN ELESTUDIO DE LA CAUSALIDAD

Las técnicas de modelado estructural fueron desarro-lladas en los años 40 del siglo XX por el Premio NobelTrygve Haavelmo en el marco de sus trabajos en laUniversidad de Chicago para la comisión Cowles deinvestigación económica. Partiendo de la teoría eco-nómica sobre la toma de decisiones por los agenteseconómicos –consumidores y empresas-, asumien-do la homogeneidad de su comportamiento –lo quese traduce en la existencia de un agente tipo o re-presentativo-, y a partir de datos agregados, se esti-man los parámetros estructurales de un modelo deequilibrio general de ecuaciones simultáneas. Se tra-ta pues de un enfoque «Macro-Estructural» –o de«Macro-Econometría»- que es robusto desde el pun-to de vista de su representatividad –o «validez exter-na»–, al permitir simular ex-ante y durante su fase dediseño los efectos de una política o programa cuan-do esta se implementa en contextos diferentes.

Un enfoque alternativo de carácter «Micro-Estruc tural»–o de «Micro-Econometría»- es el propuesto por el tam-

33390 >Ei

«Si buscas resultados distintos, no hagas siempre lo mismo»

Albert Einstein

A. MORENO-TORRES GÁLVEZ

bién Premio Nobel de la Universidad de ChicagoJames Heckman que, reconociendo lo forzado del pa-radigma marshalliano del agente representativo, cap-tura fenómenos reales –como la heterogeneidad delos agentes económicos o las desviaciones de suscomportamientos con respecto a los referenciados porla teoría (1)– mediante el análisis de datos obtenidos anivel microeconómico –microdatos– (Heckman, 2000).

La disponibilidad de tales datos en cantidad y calidad,ya sea procedentes de encuestas diseñadas ad-hoco de registros administrativos, es un fenómeno relativa-mente reciente que ha sido propiciado por dos he-chos: por un lado, y desde la Segunda Guerra Mundial,la voluntad política de los poderes públicos para la im-plementación de la misión estadística de las Adminis -traciones Públicas mediante la dotación de los recur-sos institucionales, humanos y técnicos adecuados; ypor otro lado, y más en nuestros días, el desarrollo tec-nológico que ha proporcionado las capacidadescomputacionales necesarias para la recogida, el al-macenamiento y el tratamiento masivo de datos.

Es también en la explotación de microdatos en la quese basa el enfoque experimentalista o de resultadospotenciales originariamente propuesto por Neymanen 1923 y formalizado por Rubin a partir de los años70 del siglo XX (Holland y Rubin, 1988). En este caso,la identificación de relaciones causales se realiza através de la emulación del ideal que constituye el ex-perimento controlado aleatorio (Randomi zed Con -trol Trial-RCT) del tipo del ensayo clínico comúnmen-te utilizado en medicina o psicología y en el que, alasignar un tratamiento administrativa y aleatoriamen-te dentro de una población que queda pues dividi-da en dos grupos de agentes estadísticamente simi-lares –uno, grupo de tratamiento, que engloba a losagentes a tratar; y otro, grupo de control o de com-paración, que lo hace con los que no–, se facilita lamedición del impacto de aquel en forma sintética oreducida con un parámetro de tratamiento que secalcula como simple diferencia entre los resultadosobservados para ambos grupos.

En este artículo se describirán someramente los méto-dos observacionales inspirados en el enfoque experi-mentalista (2) que conforman el estado del arte actualde la denominada «Evaluación de Programas», si biensu investigación de frontera (3) se refiere a los modelosmicro-estructurales que son necesariamente máscomplejos en tanto en cuanto la estimación de pará-metros estructurales exige aprender mucho más –so-bre comportamientos, funciones de utilidad, efectossustitución y renta,…– a partir de unos mismos datosque son los que también se utilizan para la estimaciónde parámetros de tratamiento en los métodos obser-vacionales.

Estos últimos presentan la ventaja de concentrarseen los datos en una aproximación de tipo c̋aja ne-gra̋ que no exige en exceso de Teoría Económica -en palabras de Holland, se trataría de entender losefectos de las causas, más que las causas de los

efectos–, pero que en contrapartida requiere solven-tar tres problemas fundamentales que se discuten enel siguiente epígrafe: uno que por ser de tipo con-ceptual es fácilmente salvable y dos para los cualesel ingenio estadístico-econométrico aporta solucio-nes bajo supuestos más o menos fuertes.

ERRORES Y DIFICULTADES EN LA EVALUACIÓN DEPOLÍTICAS. SOLUCIONES

Correlación no es lo mismo que causalidad.Resultado no es lo mismo que impacto

Así, si con la notación X->Y se expresa una relaciónde causalidad por la que la variable X tiene un efec-to en la variable Y, un primer problema es la «confu-sión entre correlación y causalidad», ya que la pri-mera no implica necesariamente la segunda, sinoque puede deberse a otros fenómenos tales como«causalidad inversa» (es la variable Y la que realmen-te afecta a la variable X y no al contrario: Y->X segúnel convenio notacional fijado), «simultaneidad» (X->Yy a la vez Y->X), la existencia de «variables ocultas»(hay una tercera variable Z que causal y simultáne-amente afecta a X e Y, de manera que Z->X y Z->Y),«errores de medición» (se observa X en lugar de laverdadera variable causal X*: X*->Y) o «truncamien-to de datos» (sólo se observan los valores de Y co-rrespondientes a ciertos valores de X).

Más en particular, si en un contexto de políticas pú-blicas X es una intervención e Y la variable sobre laque se pretende actuar, una fuerte correlación posi-tiva entre X e Y, que se manifestaría en términos ba-yesianos en valores elevados de la probabilidad con-dicionada P(X|Y), no garantiza de por sí la existenciade una relación de causalidad X->Y como trata deilustrar el siguiente ejemplo.

Sea P(Y) la probabilidad de que una empresa dadasea innovadora, lo que vendría dado en gran parte pormúltiples factores de tipo macro, de contexto o exó-genos. Sea P(X) la probabilidad de que una empresatenga suscrito un convenio de colaboración y transfe-rencia de tecnología con una universidad, que en es-te caso tendría carácter micro en el sentido de quepuede actuarse sobre ella mediante políticas de fo-mento. En efecto, de la observación de valores altosde P(X|Y), que sería la probabilidad de que una em-presa innovadora tenga un acuerdo de este tipo, nose puede inferir de por sí su bondad –tampoco se pre-tende concluir lo contrario, tan sólo advertir de los ries-gos de un excesivo optimismo- puesto que ello puededeberse simplemente a un alto valor de P(X) o a quelas empresas suscriptoras sean aquellas con una me-jor dirección, lo que a su vez explicaría que fueran másinnovadoras.

Desde el punto de vista de la toma de decisión so-bre una política pública que fomentara estos conve-nios de colaboración, lo relevante es la probabilidad

34 390 >Ei

TÉCNICAS MICROECONOMÉTRICAS PARA LA EVALUACIÓN DE POLÍTICAS PÚBLICAS

P(Y|X) de ser una empresa innovadora habiendo sus-crito uno y, más aún, el efecto adicional que en la inno-vación tuviera el formalizar un convenio con respectoa no hacerlo. Si con ¬X se representa el evento com-plementario de X, este efecto incremental sería P(Y|X)-P(Y|¬X), diferencia que fijados P(Y) y P(X|Y) dependede la probabilidad a priori o tasa base P(X) que es ha-bitualmente ignorada en los análisis (recuadro 1).

Por tanto, este problema conceptual previo requierepara su evitación distinguir la parte de los resultados Yque realmente sea atribuible a la intervención X, estoes, se ha de analizar esta en términos de su adiciona-lidad o efecto incremental sobre aquellos. Intro du cien-do ya el lenguaje y la notación que se utilizará en es-te artículo, denominando genéricamente agente –in-dividuo o empresa, como en el ejemplo– a la unidadobservacional a la que se le administrará o no un tra-tamiento –intervención– y si

Y1i es variable de resultados para el agente i-ésimoen el caso de recibir tratamiento

Y0i es variable de resultados para el agente i-ésimoen el caso de ausencia de tratamiento

entonces el impacto individual del tratamiento en elagente i-ésimo será la diferencia Y1i- Y0i entre los resul-tados obtenidos para el agente en sus estados tratadoy no tratado como se muestra en la figura 1.

Lamentablemente, este análisis incremental no se sue-le hacer a la vista de la muy común indistinción –in-tencional en muchas ocasiones– entre resultados e

impactos en que se manifiesta la confusión correla-ción-causalidad.

Además, otros dos problemas complican la estima-ción de efectos causales mediante métodos obser-vacionales: uno, el desconocimiento del denomina-do «contrafactual»– y otro, el fenómeno de selec-ción.

Problema fundamental de la inferencia causal.Soluciones científica y estadística

El primero de ellos, conocido como «problema fun-damental de la evaluación» –o «problema funda-mental de la inferencia causal»–, supone que no sepuede calcular un efecto individualizado del trata-miento puesto que, a no ser que se disponga de unartefacto fantástico del tipo de una máquina deltiempo, no es posible observar a un agente someti-

390 >Ei 35

RECUADRO 1CONFUSIÓN ENTRE CORRELACIÓN Y CAUSALIDAD.

RESULTADOS E IMPACTOS

Todas las circunstancias que dan lugar a la confusión entre correlación y causalidad se traducen econométricamente enun único hecho formal, que es la correlación de Xi con el término de error εi cuando se expresa el vínculo entre X e Y conun modelo lineal del tipo Yi=β0+β1·Xi+εi.

Equivalentemente, esto supone violar la «hipótesis de media condicional nula»: si con la notación habitual E representael operador esperanza matemática, no se cumple que E(εi|Xi)=0 para todo Xi, que es una de las condiciones que esta-blece el «Teorema de Gauss-Markov» para que la estimación con un modelo convencional de regresión lineal de ajustemínimo cuadrático ordinario sea insesgada, esto es, que E (̂ β1)=β1. La dificultad estriba en que dicha condición para losresiduos no es comprobable empíricamente, si bien por la propia construcción del modelo se cumple siempre mecáni-camente para los residuos estimados.

En términos bayesianos, el error surge de la confusión entre las probabilidades condicionadas P(X|Y) y P(Y|X), lo que resul-ta equivalente a ignorar el ratio de probabilidades absolutas P(Y)/P(X) ya que por el teorema de Bayes se tiene que

P(Y|X) . P(X) = P(X|Y) . P(Y)y por tanto

El impacto probabilista sobre una variable de resultados Y atribuible a la causa o intervención X es por tanto la diferencia

P(Y|X)=P(Y)P(X)

P(X|Y)·

P(Y|X) - P(Y| X)=P(X|Y) P(Y)

P(X)-P( X|Y) P(Y)

P(¬ ¬

¬¬X)=

P(X|Y) P(Y)P(X)

- [1-P(X|Y)] P(Y)

1-P(X)=

P(Y)) [P(X|Y)-P(X)]P(X) [1-P(X)]

FIGURA 1

RESULTADOS E IMPACTOS

FUENTE: Elaboración propia .

FUENTE: Elaboración propia.


do a tratamiento en su estado no tratado, y vicever-sa –el agente no sometido a tratamiento no es po-sible observarlo en su estado tratado–. Esto es, si Dies una variable binaria que toma el valor 1 o 0 enfunción de que se haya administrado o no tratamien-to al agente i-ésimo, entonces las observaciones dis-ponibles son Y1i si Di=1 o Y0i si Di=0, pero no los resul-tados potenciales que resultan relevantes para laevaluación, que son los contrafactuales respectivosY0i si Di=1 e Y1i si Di=0 según se sintetiza con una ta-bla de doble entrada en el cuadro 1.

Nótese que la variable Di permite dividir la poblaciónde agentes en dos grupos, uno de agentes tratadoscaracterizado por Di=1 y otro de agentes no trata-dos caracterizado por Di=0 , derivándose la inobser-vancia del contrafactual del hecho de que un agen-te dado no pueda -salvo que tenga dotes mágicos-pertenecer simultáneamente a ambos grupos.

En el mundo de las ciencias físicas o naturales, en elque los comportamientos son predecibles de acuer-do a leyes o patrones estables, es posible una solu-ción de carácter científico en la que como contra-factual se tome el resultado potencial que se hubie-ra observado en ausencia de tratamiento y con laley de comportamiento operando invariantementecon su inercia. En el argot de la disciplina esto es loque se conoce como «estimación pre-post» o «an-tes-después», en la cual no hay un grupo de controlpropiamente dicho, sino que se hacen observacio-nes antes y después –de ahí el nombre- del trata-miento para los agentes sometidos al mismo.

La «hipótesis de invariancia temporal» postula que sintratamiento no debieran ser distintos los resultados enlos dos momentos, por lo que toda diferencia en es-tos se ha de deber a aquel. Se tiene que

Pre-post=Y1Después-Y0Antes==(Y1Después-Y0Antes )+Y0Después-Y0Después==(Y1Después-Y0Después)+(Y0Después-Y0Antes)=

=Impacto+(Y0Después-Y0Antes )

de manera que el estimador pre-post medirá el im-pacto cuando Y0Después=Y0Antes , que es la expresión for-mal de la condición de inercia.

36 390 >Ei

Desafortunadamente, en el mundo de las cienciassociales en el que se desenvuelven las políticas pú-blicas esta solución científica no es en principio via-ble, al no existir leyes de evolución predecible. Si bienfenómenos cronológicos como la maduración en unciclo de vida, la estacionalidad o el crecimiento enun ciclo macroeconómico pueden ser modeladospara así corregir en la magnitud pertinente la estima-ción que el método pre-post proporciona en lo quese conoce como «estimación mediante serie tempo-ral interrumpida» (4), los cambios de comportamien-to de los agentes en un proceso de ajuste estratégi-co típicos de estos ámbitos son difíciles de anticipary capturar en la estimación.

Por ello que, en estos casos, se adopta una soluciónde carácter estadístico que, en vez de estimar unefecto individual para cada agente, calcula en sulugar un efecto promedio –lo que equivale a impu-tar a los datos desconocidos con el valor promediode los conocidos– para el conjunto de la población,dando lugar a parámetros como los del cuadro 2.

Si el ATE es relevante en caso de programas univer-sales o de participación obligatoria, en aquellos pro-gramas focalizados o de participación voluntaria ca-bría estimar el ATET y el ATEN. Este último, aún sin te-ner una interpretación intuitiva clara –¿posible efec-to de la incorporación al tratamiento de miembrosdel grupo de los no tratados?–, sí resulta de interésdesde el punto de vista conceptual o analítico.

Problema de selección. Selección endógena,autoselección y selección muestral

En cuanto al «problema de selección» –¿por quéunos agentes reciben tratamiento y otros no, aca-

CUADRO 1PROBLEMA FUNDAMENTAL DE LA INFERENCIA

CAUSAL

FUENTE:Elaboración propia.

CUADRO 2SOLUCIÓN ESTADÍSTICA. PARÁMETROS DE TRATAMIENTO


Parámetro de tratamiento Expresión formal Significado

ATE-Average Treatment Effect ATE=E(Y1i-Y0i)=E(Y1i)-E(Y0i) Impacto medio del tratamiento en el conjunto de la población

ATET-Average Treatment Effect on Treated o TT-Treatment effect on the Treated

ATET=E[Y1i-Y0i|Di=1]=E[Y1i|Di=1]-E[Y0i|Di=1] Impacto medio del tratamiento en lostratados

ATEN-Average Treatment Effect on Nontreated oATU-Average Treatment effect on Untreated

ATEN=E[Y1i-Y0i|Di=0]=E[Y1i|Di=0]-E[Y0i|Di=0] Impacto medio del tratamiento en los no tratados

Se tiene que ATE=P(Di=1)·ATET+P(Di=0)·ATEN =P(Di=1)·ATET+(1-P(Di=1))·ATEN

Y0i Y1i

Di=1 Contrafactual no observable Observable

Di=0 Observable Contrafactual no observable


bando englobados en uno y otro grupo? o, equiva-lentemente, ¿por qué se observa lo que se observaen lugar de sus contrafactuales?–, este provoca que,una vez adoptada la solución estadística de calcu-lar efectos promedio del tratamiento, la simple dife-rencia de las medias de los resultados observadospara los respectivos grupos –tratados y no tratados–generalmente sea un cálculo erróneo que nos llevea conclusiones inocentes como las ilustradas por laparadoja de Roy (1951). En efecto, se tiene que

E[Y1i|Di=1]-E[Y0i|Di=0]=

=E[Y1i|Di=1]-E[Y0i|Di=0]+E[Y0i|Di=1]-E[Y0i|Di=1]=

={E[Y1i|Di=1]-E[Y0i|Di=1]}+{E[Y0i|Di=1]-E[Y0i|Di=0]}=

=ATET + Sesgo de Selección

es una estimación ingenua del ATET en presencia del fe-nómeno habitual de «selección endógena», que se dacuando la participación en un programa depende demanera consciente o inconsciente de factores relacio-nados con el resultado potencial (5), lo que formalmen-te supondría que E[Y0i|Di=1]≠E[Y0i|Di=0].

Esta selección puede ser o bien debida a factoresobservables (cuando por ejemplo es el propio admi-nistrador del programa quien marca la elegibilidaden base a variables demográficas o censales, lo quetécnicamente se solventa de manera sencilla con-trolando por esos observables), o bien debida a fac-tores inobservables (como son por ejemplo la moti-vación, la predisposición o la habilidad del tratado)en lo que constituye una «autoselección» de máscomplicada solución. Con selección exclusivamen-te basada en observables y en el caso de homoge-neidad del tratamiento, los efectos ATE, ATET y ATEN

resultan coincidentes, cosa que no ocurre en el ca-so de heterogeneidad en el cual los miembros delos dos grupos responden de manera diferente.

Un caso particular denominado «selección muestral»se da en situaciones con truncamiento de datos pa-ra los cuales Heckman (1976, 1979) propone un mé-todo bietápico (método Heckit) que usa una varia-ble latente para estimar así la ley de decisión de losagentes con un modelo estructural de participación,cuyos residuos se incorporan en forma de ratio inver-so de Mills como control en la estimación de efec-tos causales (corrección de Heckman), en una téc-nica denominada de «funciones de control».

EL EXPERIMENTO SOCIAL COMO PARADIGMA, SÍ,PERO…

Es precisamente la evitación del sesgo de selección,pues por construcción los resultados son indepen-dientes del mecanismo de asignación de un agen-te a un grupo dado (tratamiento o control) al seraquel de carácter aleatorio, lo que convierte al ex-perimento social controlado –el RCT ya citado- en elparadigma de estimación causal para los métodosobservacionales. Formalmente,

E[Y0i|Di=1]=E[Y0i|Di=0]=E(Y0i)E[Y1i|Di=1]=E[Y1i|Di=0]=E(Y1i )

y consecuentemente se puede obtener el ATE, que pordefinición es igual a E(Y1i)-E(Y0i), a partir de datos obser-vados mediante la diferencia E(Y1i|Di=1)-E(Y0i|Di=0)calculada directamente o a través de un modelo deregresión (recuadro 2). Es decir, se cumplen las condi-ciones para que el grupo de los no tratados –denomi-

390 >Ei 37

RECUADRO 2EL EXPERIMENTO SOCIAL EXPRESADO EN TÉRMINOS DE REGRESIÓN LINEAL

Si se ajusta un modelo de regresión del tipo Yi=β0+δ*Di+εi entonces el coeficiente en la variable binaria Di cuya estima-ción mínimo cuadrática es δ̂ =Cov(Yi,Di)/Var(Di) refiriéndonos por Cov a la covarianza y por Var a la varianza, es precisa-mente el ATE puesto que E(Yi|Di=0)= β0

^y E(Yi|Di=1)=β0^+ δ̂ de donde resulta δ̂ =E(Yi|Di=1)-E(Yi|Di=0). Dicha estimación es

insesgada en el caso del experimento controlado aleatorizado en el que se asigna el tratamiento mediante una lotería, loque constituye una guía para saber cuándo dar una interpretación causal al resultado de una regresión.

La violación de la «hipótesis de independencia de los resultados potenciales» en la selección que da lugar a estimacio-nes sesgadas del ATE se da cuando es Cov(εi,Di)≠0 y simultáneamente también Cov(εi,Yi)≠0. Equivalentemente, el térmi-no de error εi estaría enmascarando una variable no observable Z que al omitirse en el modelo provoca un sesgo en laestimación cuyo signo se puede predecir: si a es la correlación entre la variable Z omitida y la variable D de participación,y b es la correlación entre Z y la variable Y de resultados, entonces el signo del sesgo es el del producto a·b

La ventaja de la formulación del experimento en términos de regresión lineal es que se puede, por una parte, incorporaren su especificación variables de control Xi por las diferencias observables entre los grupos de tratamiento y control, y porotra, tratar la heterogeneidad en la respuesta a través de un término de interacción Xi·Di de manera que un modelo com-pleto, en el que dependen de Xi tanto las ordenadas en el origen como las pendientes, sería del tipo Yi=α+β*Di+λ∙Xi+γ∙Xi·Di+εi

Además, se puede precisar la significatividad estadística del ajuste en un contraste de una hipótesis base o nula que per-mita el establecimiento de un intervalo dentro del cual, con cierto nivel de confianza, no se podrá rechazar que esté elverdadero valor del parámetro a estimar. La potencia del contraste, que depende entre otros factores de la cantidad dedatos, mide su poder explicativo entendiendo como tal su capacidad para rechazar la hipótesis base cuando una hipó-tesis alternativa dada es cierta.



nado grupo de control en este contexto– constituya ungrupo de comparación adecuado.

Sin embargo, y aparte del hecho de que sólo permi-ten una evaluación ex-ante, los experimentos socia-les pueden presentar una serie de problemas (Heck -man y Smith, 1995):

En su implementación práctica, como en el caso deprogramas que respondan a derechos universales –enlos que la asignación de agentes al grupo de controlsuscitaría consideraciones éticas–; o los excesivos cos-tes que puede acarrear el propio experimento.

En sus aspectos de «validez interna» –¿son acerta-das las inferencias para el contexto particular del pro-grama?– como la aleatorización incorrecta o la exis-tencia de deserciones y sustituciones, efectos placebo,alteración de comportamientos al sentirse observa-do –efecto Hawthorne–, sesgo del experimentador –quese traduce en una especial dedicación hacia el agen-te tratado, lo que se puede evitar con los experimen-tos«doblemente ciegos»–, o la medición incorrectade resultados.

En sus aspectos de «validez externa» –¿son extra-polables las inferencias a otros agentes, contextosgeográficos, institucionales o históricos, o variablesde resultados?–, como es el caso de la no represen-

tatividad de las conclusiones de experimentos de pe-queña escala –no es lo mismo replicar un programaque escalarlo–, o los efectos de equilibrio general –queincluyen contagios y otro tipos de impactos que sedescartan con la «hipótesis de estabilidad del valordel tratamiento unitario» (SUTVA, acrónimo de StableUnit Treatment Value Assumption) que asume tam-bién que el tratamiento para todos los agentes escomparable–.

Con respecto a la aleatorización, por las leyes de laestadística se dan ocasiones como las que Rubin lla-ma del ˝doctor perfecto˝, que sería aquel que sólotrata a aquellos pacientes que sabe a priori que vana responder positivamente, lo que resultaría en unaestimación sesgada al alza de la efectividad de susactuaciones. Por ello es necesario comprobar quelos grupos de tratamiento y control estén balancea-dos –son estadísticamente similares– antes de sumi-nistrar el tratamiento, lo que evidentemente sólo esposible hacer para atributos observables.

Los fenómenos de deserción –un agente del grupo detratamiento no se presenta a recibirlo o abandona elmismo– y sustitución –un agente en el grupo de con-trol se busca por su cuenta un tratamiento similar al delprograma- conllevan reinterpretar la estimación condatos observados como un efecto medio de ofertarun programa o ITT (Intent to Treat) a partir del cual pue-

38 390 >Ei

RECUADRO 3DESERCIÓN Y SUSTITUCIÓN EN EXPERIMENTOS SOCIALES. ESTIMADOR DE BLOOM Y ESTIMADOR DE WALD

Definiendo las siguientes variables binarias

Ri que toma el valor 1 si el agente i-ésimo fue asignado al grupo de tratamiento y 0 si lo fue al grupo de controlTi que toma el valor 1 si el agente i-ésimo recibió tratamiento y 0 si noT*

i que toma el valor 1 para aquellos agentes del grupo de control que hubieran sido tratados de haber estado en el gru-po de tratamiento -por lo que es una variable latente no observable- y 0 si noSi que toma el valor 1 si el agente i-ésimo del grupo de control recibió tratamiento sustitutivo y 0 si no

se tiene que sin deserción es P(Ti=1,Ri=1)=1 y sin sustitución es P(Si=1,Ri=0)=0, y en el resto de circunstancias ITT=E[Y1i|Ri=1]-E[Y0i|Ri=0] sería una estimación a la baja del ATE. Bajo ciertos supuestos, este podría aproximarse según se muestra en elsiguiente cuadro en el que Y2 es el resultado observado en caso de recibir tratamiento sustitutivo

El sentido del estimador de Bloom resulta de considerar el total de los enrolados en el experimento divididos en dos gru-pos, tratados y desertores, lo que permite expresar el impacto por agente enrolado en el programa –lo que precisamen-te mide el ITT- como suma ponderada de los impactos para estos dos grupos tomando como pesos respectivos las pro-porciones de los mismos P(Ti=1,Ri=1) y P(Ti=0,Ri=1) de manera que, asumiendo que el programa no tenga impacto pa-ra los desertores –«hipótesis de semejanza de los desertores»: piénsese en el sesgo que introduce en la estimación su vio-lación, como por ejemplo en el caso de un programa de escolarización en el que sólo permanecen los buenos alumnos-, setendría que ITT=P(Ti=1,Ri=1)·ATE, de donde se deduce la expresión que estima el ATE como un escalado del ITT.

En caso de tratamiento sustitutivo, y con la misma mecánica de entender el impacto como una suma ponderada, de-biera minorarse el ITT en la contribución de aquel, que en la «hipótesis de semejanza del tratamiento sustitutivo» seríaP(Si=1,Ri=0)·ATE, de manera que ITT=P(Ti=1,Ri=1)·ATE-P(Si=1,Ri=0)·ATE, de donde se deduce la expresión del estimador deWald para el ATE, también conocido como estimador de Bloom generalizado.


Desviaciones de la asignación

Hipótesis Aproximación del ATE Nombre

Deserción, no sustitución E[Yi|Ti=0,Ri=1]=E[Yi|T*i=0,Ri=0]

(semejanza de los desertores)ITT/P[Ti=1,Ri=1) Estimador de Bloom

Deserción y sustitución E[Y1i-Y0i|Ti=1,Ri=1]=E[Y2i-Y0i|Si=1,Ri=0](semejanza del tratamiento sustitutivo)

ITT/(P(Ti=1,Ri=1)-P(Si=1,Ri=0)) Estimador de Wald(Bloom generalizado)


de aproximarse un valor del ATE bajo ciertas hipótesisque dan lugar a los estimadores de Bloom y Wald (re-cuadro 3). El ITT resulta valioso en el caso de progra-mas de participación voluntaria en los que por defini-ción los participantes se autoseleccionan.

Todos estos inconvenientes de los experimentos so-ciales esbozados motivan la búsqueda de alternati-vas, que de manera genérica se conocen como «es-trategias de identificación», y que tienen por objetivoconstruir a partir de las observaciones disponibles uncontrafactual razonable y/o considerar la autoselec-ción en variables no observables con el fin último desolventar así el «problema de identificación»: asegu-rar que la relación entre un tratamiento y un resulta-do es causal. Su clasificación puede hacerse con-forme a diferentes taxonomías como las recogidasen el cuadro 3 del cual la primera de ellas se utiliza-rá como orden para la exposición en este artículo.

Es importante resaltar que los parámetros que resultandel ajuste econométrico de un conjunto de datos noinforman de por sí de una relación causal salvo quesean leídos a la luz de un modelo de causalidad -es-trategia de identificación- cuyas condiciones de plau-sibilidad se habrán de contrastar entendiendo –ya queno se puede hacer controlando- el proceso por el quelos agentes acaban siendo tratados o no, ya sea pordecisión de quien administra el programa o propia, loque vendrá dado por un marco institucional y de com-portamiento de los agentes concreto.

Esta dimensión contextual condiciona la especifici-dad de cada evaluación y fuerza al abandono dela quimera de la existencia de un método óptimouniversal, lo que en general complica la disciplina ytiene como consecuencia práctica que la estrate-gia de evaluación de cada política haya de ser con-cebida caso por caso y en el mismo momento enel que se esté diseñando.

ESTRATEGIAS SENCILLAS DE IDENTIFICACIÓN

Comparación de cohortes o comparación con-sin (tratamiento)

La validez interna de un experimento social está enprincipio salvaguardada por la aleatorización que, alrealizarse entre agentes estadísticamente similares,asegura que los impactos no puedan verse influidospor diferencias entre aquellos, sino que se deban enexclusiva al tratamiento. Sin aleatorización, en ciertasocasiones pueden estimarse consistentemente efec-tos causales utilizando un «cuasi-grupo de control» ocohorte de agentes similares a los que reciben el tra-tamiento. Con un tamaño muestral adecuado secompensarían los efectos idiosincráticos en los agen-tes tratados, aunque aún existiría el riesgo de facto-res de selección endógena en su grupo frente a lacohorte de comparación.

Sección cruzada

En una «sección cruzada» o «corte transversal» se ex-plota una ˝fotografía˝ de datos correspondientes aun momento posterior al tratamiento, de maneraque, si se asume que este es asignado de maneraexógena –esto es, sin autoselección– entre gruposde tratamiento y control que son idénticos en térmi-nos de nivel de la variable de resultados, la diferen-cia que se observe en esta tras el tratamiento habráde ser atribuida al mismo. La interpretación del mo-delo se alinea con la del experimento social si se con-sideran las observaciones de la sección cruzada co-mo grupos de agentes sometidos a diferentes nive-les de tratamiento y sin diferencias estadísticas entreellos que puedan explicar parte de los impactos.

Es el más sencillo de los métodos paramétricos –aque-llos que exigen la formulación de una relación funcio-

390 >Ei 39

CUADRO 3ESTRATEGIAS DE IDENTIFICACIÓN


De menor a mayor sofisticación En función de si la selección está basada encaracterísticas observables o no observables

De mayor a menor información contenidaen los datos sobre el mecanismo

de asignación/proceso de selección

• Pre-post (solución científica)

• Comparación de cohortes

• Sección cruzada-corte transversal

• Diferencias en diferencias/Efectos fijos/Métodos de panel

• Emparejamiento o matching

• Variables instrumentales

• Regresión discontinua

• Funciones de control

• Experimentos sociales-RCT

• Métodos observacionales no experimentales:

� Con selección basada en característicasobservables

– Emparejamiento paramétrico: Seccióncruzada-corte transversal

– Emparejamiento no paramétrico o mat-ching

� Con selección basada en características noobservables

– Variables instrumentales

– Diferencias en diferencias/Efectosfijos/Métodos de panel

– Regresión discontinua

• Asignación aleatoria «forzada»:Experimentos sociales-RCT

• Emparejamiento o matching

• Modelización del proceso de selección:Funciones de control

• Variables instrumentales

• Asignación aleatoria «casual»: Diferenciasen diferencias/Efectos fijos/Métodos depanel

• Asignación determinística: Regresión dis-continua


nal entre las variables del modelo- de estimación y per-mite controlar de manera simple por variables obser-vables, aunque por el contrario adolece de inconve-nientes como la no contemplación de heterogeneida-des en el tratamiento –no confundir con heterogenei-dades en la respuesta– su invalidez en caso de que losgrupos de tratamiento y control presenten un nivel di-ferente en la variable de resultados, y aquellos otros de-rivados de la endogeneidad que pueda ser causadapor autoselección en base a inobservables o cualquierotro de los motivos esbozados al tratar las fuentes deconfusión entre correlación y causalidad. Lo fuerte desus asunciones deja de corolario que como regla ge-neral se ha de ser escéptico sobre la consistencia delas estimaciones de sección cruzada.

Experimentos naturales. Diferencias en diferencias

La circunstancia de que en ciertas ocasiones un he-cho socioeconómico clasifique automáticamente ados grupos preexistentes en uno de tratamiento y otrode control constituye una oportunidad inesperada -queno se puede planificar a priori- para hacer una eva-luación ex-post o retrospectiva que solvente el proble-ma de selección. Esto es lo que se conoce en la lite-ratura sobre inferencia causal como «experimento na-tural» o «cuasi-experimento» –por utilizar un cuasi-gru-po de control–, lo que da lugar a la estrategia de iden-tificación de «diferencias en diferencias» (DD) o «do-bles diferencias» que mejora a la sección cruzada alsuperar debilidades suyas como son las exigencias deun mismo nivel para la variable de resultados antes deltratamiento y, sobre todo, de exogeneidad del proce-so de asignación, que sería en principio plausible eneste caso, dado que la aleatorización es creada ac-cidentalmente por fuerzas externas.

El método, que también admite formulación en tér-minos de regresión lineal (recuadro 4), minora la di-ferencia entre resultados de los dos grupos despuésdel tratamiento en la magnitud de la diferencia an-tes, para tener así en cuenta las disimilitudes entreambos que pudieran estar afectando a los resulta-dos, que por su parte habrán de presentar una ten-dencia común previa para que las estimaciones delATET sean consistentes. En efecto, utilizando una no-tación de tres subíndices YJDt en la que J tendría elmismo significado que el subíndice principal para lavariable de resultados Y en el cuadro 1, se tiene que:

DD=E[(Y111-Y001)-(Y010-Y000)]=

=E[(Y111-Y001)-(Y010-Y000)+Y011-Y011]=

=E(Y111-Y011)+E[(Y011-Y010)-(Y001-Y000)]=

=ATET+E[(Y011-Y010)-(Y001-Y000)]

Es decir, DD=ATET si se cumple que E(Y011-Y010)=E(Y001-Y000) que es la expresión formal de la «condición detendencia común» para ambos grupos en ausenciade tratamiento y que en la figura 2 se manifiesta conel paralelismo de la línea punteada –que represen-taría la evolución contrafactual del grupo de trata-

miento en ausencia de este– con la línea continuade evolución del grupo de control.

Algunos ejemplos ya clásicos de aplicación de DD sonlos discutidos por Card y Krueger (1994) sobre el impac-to de los salarios mínimos en los niveles de empleo (6)o por Grogger (2002) sobre los efectos de la zonifica-ción urbana en la criminalidad causada por el pandi-llismo (7). En ellos se ponen de manifiesto sus dificulta-des que se refieren fundamentalmente a la factibilidaddel supuesto de tendencia común –cuya comproba-ción sólo se puede aproximar analizando series históri-cas con suficientes datos– y a la existencia de selec-ción temporal idiosincrática –que afecta a sólo uno delos grupos- debida a cambios de comportamientos delos agentes y que compromete la consistencia de laestimación (Ashenfelter, 1978) (8).

Adicionalmente, persistirían los inconvenientes de lamás sencilla de las estrategias de identificación con˝película˝ de datos –necesariamente más costosaque una simple ˝fotografía˝– correspondientes a mo-mentos antes y después del tratamiento, que es lapre-post ya descrita basada en la solución científicapara la lectura de una única serie temporal –dos se-rían las que se utilizan en el método DD- y que, apar-te de lo exigente de la hipótesis de inercia, presentacomplicaciones cuando son varias las intervencio-nes que coinciden en el tiempo –lo que dificulta eldeslinde de los efectos atribuibles a cada una–,cuando hay efectos de tipo dinámico –por los cua-les los eventuales efectos tratan en manifestarse– ocuando los impactos no son suficientemente gran-des con respecto a los errores –relación señal/ruidopobre- en la extrapolación que al fin y al cabo sub-yace detrás de estas técnicas.

Métodos de panel

Una mejora del método en términos de validez inter-na puede lograrse incorporando varios grupos de tra-

40 390 >Ei

FIGURA 2

TENDENCIA COMÚN EN EXPERIMENTOSNATURALES



tamiento y control y varias observaciones previas yposteriores a la intervención –lo que daría más cre-dibilidad a la validación que sobre la tendencia co-mún se haga–, en lo que sería una generalizacióndel DD utilizando múltiples series temporales organi-zadas de manera longitudinal en un panel de datosque recoja información de una misma unidad ob-servacional en diferentes momentos (Meyer, 1995).

La gran ventaja de los paneles de datos es que per-miten en ciertas circunstancias eliminar el sesgo deuna sección cruzada con omisión de variables. Enefecto, con una sencilla manipulación algebraicacomo es la toma de diferencias, los factores de se-lección no observables de carácter idiosincrático pa-ra cada unidad observacional o entidad desapare-cen si estos tienen carácter invariante en el tiempo.El arreglo de este método de primeras diferenciaspuede lograrse también -alternativamente y con laventaja de poder estimar los efectos de estos inob-

servables– con el modelo de efectos fijos por enti-dad, cuya extensión a la dimensión tiempo del pa-nel permite considerar también efectos fijos tempo-rales (recuadro 5).

La lógica tras el supuesto de invariancia es simple:aquello que no cambia no puede ser responsable deimpacto alguno. Es por ello que sus violaciones –dadauna entidad, variación en el tiempo para los efectos fi-jos por entidad; y dado un momento, variación entreentidades para los efectos fijos temporales- resultan enla inconsistencia de las estimaciones.

Para clarificar la idea, considérese un panel en el quelas distintas entidades fueran lo estados miembros dela UE. Los efectos fijos invariantes por entidad seríanaquellos comportamientos idiosincráticos inaltera-bles que hacen que cada uno de los países respon-da con sus peculiaridades a las diferentes políticasde una manera invariante en el tiempo. Por otra par-

390 >Ei 41

RECUADRO 4EL EXPERIMENTO NATURAL FORMULADO EN TÉRMINOS DE REGRESIÓN LINEAL

La estrategia DD de diferencias en diferencias puede formalizarse como modelo de regresión, con las ventajas añadidasde poder realizar un contraste de hipótesis sobre los estimadores del modelo o incluir otras variables de control. Si defini-mos la variable binaria Ii que toma los valores 0 y 1 para los instantes antes y después del tratamiento, respectivamente,se tiene que si formulamos el modelo YJDt=β0+β1·Ii+β2·Di+δ·Di·Ii+εi el coeficiente δ del término de interacción Di·Ii será elestimador DD. En efecto, se tiene que

Y por tanto:β̂ 0=E(Y000)

β̂ 1=E(Y001-Y000) (diferencia después-antes entre los no tratados)

β̂ 2=E(Y010-Y000) (diferencia tratamiento-control antes)

δ̂ =E[Y111-(β̂ 0+β̂ 1+β̂ 2)]=E[Y111-(Y000+(Y001-Y000)+(Y010-Y000))]=E[(Y111-Y010)-(Y001-Y000)]=E[(Y111-Y001)-(Y010-Y000)]=DD


Antes (Ii=0) Después (Ii=1)

Grupo de Tratamiento (Di=1) E(Y010)=β̂ 0+β̂ 2 E(Y111)=β̂ 0+β̂ 1+β̂ 2+δ̂

Grupo de Control (Di=0) E(Y000)=β̂ 0 E(Y001)=β̂ 0+β̂ 1

RECUADRO 5PANELES DE DATOS

La versión más simple de método basado en panel de datos es la estimación DD de diferencias en diferencias, en la quesi se reescribe DD=E[(Y111-Y001)-(Y010-Y000)] como DD=E[(Y111-Y010)-(Y001-Y000)] se comprueba cómo las componentes idiosincrá-ticas αD=1 y αD=0 que forman parte respectivamente de YJ1t e YJ0t se cancelan en las diferencias intragrupo que incluye elestimador: DD=E{[(Y´111+αD=1)-(Y´010+αD=1)]-[(Y 0́01+αD=0)-(Y´000+αD=0)}]=E[(Y´111-Y´010)-(Y 0́01-Y 0́00)]

Un modelo de efectos fijos αi por entidad, del tipo Yit=β0+Xit·β1+δ·Dit+αi+εit se puede resolver de dos maneras:

1. incluyendo variables dummy por cada una de las entidades –salvo una, para evitar una situación de multicolinearie-dad perfecta que por la mecánica del modelo ha de ser evitada- de manera que Yit=β0+Xit·β1+δ·Dit+I[I=i]·αi+εit

2. ajustando una regresión de variables minoradas por las medias temporales por entidad –lo que se nota con la tilde ~sobre las variables– siendo entonces que

~Yit=

~Xit

. β1+δ ·~D it+~εit

Un modelo que incluya también efectos fijos temporales ηt es del tipo Yit=β0+Xit·β1+δ·Dit+αi+ηt+εit



te, un efecto fijo temporal invariante entre entidadessería una intervención de política pública comunita-ria en un momento dado que afectara por igual atodos y cada uno de los países.

Las evaluaciones sobre el impacto en el largo plazoen variables como educación, salud, criminalidad ysalarios de programas de atención infantil reforzadacomo el Head Start de los EE.UU. realizadas por Garceset al. (2002) y Deming (2009), son una buena ilustra-ción de la utilidad de los efectos fijos y las amena-zas a su validez.

Así, y en este contexto, si bien el nivel educativo delos padres es una variable fácil de controlar, más de-licado sería tratar aspectos como el énfasis puestoen la educación. De hecho, las estimaciones de sec-ción cruzada que omiten estos inobservables propor-cionan conclusiones tan contraintuitivas como queestos programas son perniciosos en términos de lasvariables de resultado analizadas.

Una manera inteligente de tratar el problema consisteen explotar en un panel de familias (9) los datos deaquellas con dos hijos en los que uno se matricula enel programa –agente tratado– y el otro no –agente decontrol-, de manera que el efecto fijo vendría dadopara cada una de las familias. La invariancia tempo-ral de los inobservables –o equivalentemente, la ten-dencia común de los resultados potenciales para losgrupos de tratamiento y control– exige que, dada unafamilia, no se den fenómenos como cambios en elambiente educativo –que afecten a los resultados deuna u otra forma–, influencias –positivas de un niño queatiende al programa sobre su hermano– o favoritismo–hacia uno de los niños–.

Este último factor es la principal amenaza a la vali-dez, al atacar de pleno a la filosofía de emulaciónde un experimento social controlado que se logracuando los padres deciden inscribir a un hijo u otrode manera aleatoria, lo que justifica asimismo queno sean útiles para el análisis familias del panel conlos dos hijos inscritos o sin inscribir al ser precisamen-te la variabilidad de los datos la fuente informaciónque se utiliza para la estimación.

Dicha variabilidad puede generarse a priori en el mo-mento de diseñar una política mediante diferentes me-canismos: implantación por fases o modulación de latasa de cobertura (10) –lo que puede darse también demanera no intencionada si hay retrasos accidentales enalgunos de los agentes–, administración intermitente, omodulación de la intensidad del programa.

Para finalizar este epígrafe, y a modo de recapitulaciónantes de comenzar con los venideros de mayor sofisti-cación en los que se tratarán en detalle las problemáti-cas de los estudios observacionales –métodos de em-parejamiento para selección con observables- y la se-lección en base a inobservables –variables instrumenta-les y regresión discontinua-, en el cuadro 4 se sintetiza elcálculo de estimadores con las cuatro estrategias deidentificación sencillas descritas hasta el momento, don-de en aras a la claridad se ha prescindido del subíndi-ce utilizado en la discusión sobre resultados potencialesdando lugar a la notación para las variables de resulta-dos que se precisa.

MÉTODOS DE EMPAREJAMIENTO

Sin un proceso de asignación aleatoria que evite el pro-blema de selección y sin experimentos naturales con-

42 390 >Ei

CUADRO 4ESTIMACIÓN CON ESTRATEGIAS SENCILLAS DE IDENTIFICACIÓN

donde se ha utilizado la siguiente notación:

Estrategia Cálculo

1 Pre-post/Antes-después Y11-Y10

2 Sección Cruzada Y11-Y01

3 Comparación de Cohortes (*) Y11-Y00

4 DD/Panel (Y11- Y01)- (Y10-Y00)

Notación Antes Después

Tratado Y10 Y11

No tratado Y00 Y01

(*) La misma expresión sería a grosso modo válida para un experimento social controlado. La gran diferencia es que en la comparación de co-hortes no hay aleatorización en la asignación de los agentes a los grupos de tratamiento y control.FUENTE: Elaboración propia.


vincentes, los «métodos de emparejamiento» (o mat-ching) (11) construyen un grupo de comparación quejuega el papel del grupo de control de un experimen-to social buscando a agentes similares a los del grupode tratamiento entre los no tratados. Para ello, los resul-tados de estos se ajustan mediante unas ponderacio-nes para hacerlos así comparables a los de los agen-tes tratados, tal y como hace el método de seccióncruzada –que de hecho es el más elemental de losmétodos de emparejamiento– cuando incorpora va-riables de control por las características observables,pero con la desventaja de estar sometido este a erro-res de especificación al tratarse de una técnica para-métrica que exige precisar una forma funcional.

En el caso de observable categóricos o discretos, losdatos pueden organizarse en forma matricial de ma-

nera que el criterio de comparabilidad es inmedia-to: los observables han de ser idénticos, o lo que eslo mismo, para comparar los resultados de un agen-te tratado con los de uno no tratado ambos han deestar en una misma celda de la matriz cuyas dimen-siones son las variables observables y los valores delos subíndices que identifican sus elementos los ran-gos o categorías pertinentes.

Este emparejamiento exacto facilita el cálculo sen-cillo (12) de un «estimador de celda» en el que pri-mero se calculan efectos de tratamiento individualcomo diferencias de resultados entre agentes trata-dos y no tratados de una misma celda, y después seponderan estos impactos individuales con las propor-ciones de agentes en cada una de ellas de mane-ra que según los pesos que se escojan –proporción

390 >Ei 43

RECUADRO 6EMPAREJAMIENTO MÚLTIPLE POR GRADO DE PROPENSIÓN

En la estrategia de emparejamiento o matching se realiza un ajuste de los datos que persigue que no haya diferenciassistemáticas entre los grupos de tratamiento y control condicionadas a valores de las variables observables, de maneraque E{[Y0i,Di=1]-[Y0i,Di=0]|Xi}=0, lo que se conoce como «hipótesis de independencia condicional» y que se suele expre-sar como (Y0i ,Y1i)⫫ Di|Xi. Tras aplicar las ponderaciones de ajuste, los grupos de tratamiento y comparación se hallarán ba-lanceados en términos de observables, esto es, las distribuciones de los observables serán las mismas en ambos grupos:F(Xi|Di=0)= F(Xi|Di=1).

El «Teorema de Rosenbaum y Rubin» (1983), que establece que si (Y0i, Y1i) ⫫ Di|Xi entonces (Y0i,Y1i) ⫫ Di|p(x) siendop(x)=P(Di=1|Xi=x) el grado de propensión, es un importante resultado que legitima la utilidad de este en casos de selec-ción con observables siempre y cuando su estimación –para lo cual en la práctica se usan modelos de elección discre-ta como el lineal de probabilidad, el logit o el probit- sea correcta. El hecho de que el grado de propensión sea una va-riable latente supone una complicación puesto que sus valores no son observables en la realidad y por tanto se descono-ce la bondad de su ajuste p̂.

La expresión general de un estimador por emparejamiento múltiple es

en donde los pesos wij miden la comparabilidad de la observación i-ésima del grupo de tratamiento T con la j-ésima delos no tratados C y se calculan mediante diferentes algoritmos que para cada agente tratado i construyen un compara-ble “compuesto” considerando los j candidatos que se encuentren dentro de una ventana de valores del grado de pro-pensión de manera que, de acuerdo a la métrica de distancia que se defina, se sobreponderen los más próximos y se in-fraponderen los más lejanos. Los algoritmos de emparejamiento «k-vecinos más cercanos» Kernel/Epanechnikov,Kernel/Gaussiano o Kernel/triangular, por citar algunos), que pueden ser con o sin reemplazamiento –según se pueda o noutilizar varias veces un mismo agente no tratado para construir un contrafactual–, son asintóticamente equivalentes puesen el límite proporcionan emparejamientos exactos.

Es importante matizar que esta estimación se ha de restringir a agentes con observables en el dominio en el que exista«soporte común», que gráficamente es la zona de solape entre los histogramas o funciones de densidad del grado depropensión para los grupos de tratados y no tratados.


ˆ=1

NY w =1 para todo

i ijT

i j c ij ji T

w Y con( ) i y wij i j

w p X p X= ( ˆ( ), ˆ( ))


total, proporción de tratados o proporción de no tra-tados- se obtendrá el parámetro de tratamiento de-seado –ATE, ATET o ATEN, respectivamente–.

En el caso de observables continuos y/o numerosos,el enfoque de celda no es viable puesto que en mu-chos casos únicamente se dispondrá de agentes otratados o sin tratar, pero no ambos, resultando va-cía la celda, y la solución pasará por hacer un em-parejamiento inexacto, en el que se minimice unadistancia euclídea entre observables. La alternativapasa por reducir la dimensionalidad del problema auna variable única o estadístico de síntesis, denomi-nado «grado de propensión» (propensity score), queaglutine la información contenida en los observablesy que mida en función de estos la probabilidad deque un agente sea tratado por medio de un mode-lo de participación.

Un primer método de emparejamiento uno a uno ba-sado en el grado de propensión es el del «vecino máscercano» que toma como contrafactual de un agen-te tratado aquel agente no tratado con grado de pro-pensión más próximo. Una variante de este método esla que fija un radio de influencia para evitar empare-jamientos con contrafactuales muy diferentes.

Por su parte, el «emparejamiento por intervalos/estra-tos/bloques» es un método sencillo de emparejamien-to inexacto en el que se crean varios rangos de va-lores de grados de propensión, y se pondera por iguala todos los agentes dentro de cada uno de estosrangos, a diferencia de otros métodos más sofistica-dos que construyen un contrafactual de compara-ción a partir de varios agentes (emparejamiento múl-tiple) no tratados similares en términos del grado depropensión y a los que se les da un diferente ponde-ración en función de su semejanza (recuadro 6, enpágina anterior).

De lo expuesto se deduce que, en muchos de los mé-todos de emparejamiento, hay elementos de subjetivi-dad en el criterio de similitud/cercanía/vecindad –¿quémétrica se escoge?; ¿cuántos intervalos/estratos se de-

finen?; ¿cuántos vecinos se toman?; ¿qué tamaño seda a la ventana de emparejamiento? – que se mate-rializan en un diferente «ancho de banda» o «calibre»o «tolerancia», que marca la cantidad de datos utiliza-da en la estimación, y que ponen de manifiesto unavez más el compromiso entre sesgo –será menor cuan-to más parecido sea el contrafactual, lo que se logratomando menos datos- y precisión –será mayor cuan-tos más datos se tomen- ubicuo en la inferencia eco-nométrica que se muestra en la figura 3 con un símil delanzamiento de dardos a una diana.

Esta circunstancia puede salvarse con la ponderacióninversa de probabilidades (Inverse Probability Weigh -ting) que calcula el efecto del tratamiento medianteuna regresión ponderada en la que los pesos a apli-car –dependientes del parámetro de tratamiento de-seado- a los datos de los agentes tratados o no sonfunción del grado de propensión en un método quees también válido para el caso discreto y que propor-ciona los mismos resultados que con el cálculo del es-timador de celda descrito.

Dos son las hipótesis sobre las que se asienta la vali-dez de la identificación por emparejamiento. La pri-mera es la «hipótesis de independencia condicio-nal»– que al exigir que no haya diferencias sistemá-ticas entre los agentes tratados y no tratados una vezse condicionan los valores de los observables, garan-tiza que los contrafactuales escogidos sean adecua-dos por diferir los agentes emparejados únicamenteen el hecho de recibir tratamiento o no. La razón esque controlando a los agentes según característicasobservables en cada subgrupo de valores de estasel tratamiento será independiente de los resultados,lo que equivaldría a una asignación aleatoria.

La segunda es la «hipótesis de soporte común» y exi-ge que, dado un valor de las variables observables,se encuentren agentes tratados y no tratados parasu comparación, es decir, haya cierta probabilidadde recibir tratamiento (13). Esto hace inválida la es-trategia cuando la selección se hace con criteriosdeterminísticos sobre la base de un valor umbral pa-

44 390 >Ei

FIGURA 3

COMPROMISO SESGO-PRECISIÓN


Mayor ancho de banda→más datos utilizados en la estimación →→mayor poder explicativo/potencia del contraste→

→menor dispersión/varianza/error estándar, mayor precisión/eficiencia→→mayor sesgo, menor exactitud/consistencia

Menor ancho de banda→menos datos utilizados en la estimación→→menor poder explicativo/potencia del contraste→

→mayor dispersión/varianza/error estándar, menor precisión/eficiencia→→menor sesgo, mayor exactitud/consistencia


ra cierta variable observable. Para estos casos, resul-ta de utilidad la estrategia de regresión discontinuaque se describe más adelante en este artículo y quepermite además solventar el problema de selecciónen base a inobservables bajo ciertos supuestos.

Si la segunda de las hipótesis es comprobable –pueses una mera condición mecánica que se impone alos datos disponibles–, lamentablemente la primera nolo es, por lo que la selección en base a inobservablesque no se acertará a incluir en el modelado del gra-do de propensión continuará siendo un problema.

Entre las ventajas de los métodos de emparejamientopueden resaltarse el hecho de que aúnan sofisticación–pues capturan heterogeneidades– y simplificación–pues al ser de tipo no paramétrico no exigen especi-ficación funcional–. Además sólo utilizan una parte delos datos –donde hay soporte común–, por lo que nohay extrapolación alguna de la estimación a regionesdonde no hay datos disponibles, lo que es un elemen-to de refuerzo de la validez interna que evidentemen-te va en detrimento de la validez externa.

Las desventajas se refieren a las violaciones del su-puesto de independencia condicional en casos deselección por inobservables, a las exigencias de dis-ponibilidad de datos –en cuanto a número de agen-tes y conjunto amplio de observables pre-tratamien-to– y a la problemática de la estimación del mode-lo de participación para el grado de propensión. Atal efecto, los regresores a incluir en este serán aque-llos que sugiera la Teoría Económica y que afectena la participación y a los resultados, lo que excluye

en todo caso a variables post-tratamiento o aquellaspre-tratamiento no inmutables –atributos–que se ve-an afectadas por el mismo.

Black y Smith (2004) ilustran algunas de las ventajasde los métodos de emparejamiento al analizar losefectos en los salarios de acudir a una universidadde calidad, medida por un índice que aglutina indi-cadores parciales de gastos por estudiante, salariode los profesores, nota media de ingreso o tasa deabandonos en el primer año (14). Los problemas quela regresión lineal –que es la técnica de estimacióntradicionalmente utilizada en este caso– presentason la falta de soporte común –pues los buenos alum-nos van a las buenas universidades y los menos bue-nos van a las menos buenas– que dificulta la identi-ficación de contrafactuales, y las complicaciones enla especificación funcional que acaban por violar lahipótesis de linealidad en el condicionamiento a ob-servables en que se basa para la superación de laselección en base a estos. Ello se solventa con unemparejamiento por grado de propensión estimadoen base a los observables que marcan la selecciónde la calidad de la universidad: edad (y su cuadra-do), raza, región de nacimiento, medidas de habili-dad del estudiante (nota de ingreso y su cuadrado)y características del instituto, los padres, y el entornofamiliar.

Estudios observacionales

Rubin (2008) propone un proceso más o menos se-cuencial y estructurado (ver figura 4) para llevar a ca-

390 >Ei 45

FIGURA 4

HOJA DE RUTA PARA ESTUDIOS OBSERVACIONALES

FUENTE: Elaboración propia a partir de Rubin (2008).

• ¿Qué experimento hipotético habría generado los datos observados? Identificarlo en términos de tratamientos y variablesde resultados.

• ¿Es adecuado el tamaño muestral? Cálculos de potencia estadística.

• Ocultar los datos sobre resultados, en aras de preservar la objetividad del estudio y al igual que en los experimentos, en losque a priori se desconocen sus resultados.

• ¿Quiénes decidieron la asignación del tratamiento y qué datos tenían disponibles para hacer tal asignación? El grado depropensión modela la asignación desde el punto de vista del diseñador del experimento. Observables clave: aquellos pre-tratamiento que determinan la asignación del tratamiento.

• ¿Se dispone de datos de calidad de los observables clave?

• ¿Se puede conseguir balance en los observables clave? El grado de propensión ayuda a buscar subgrupos de agentesemparejados en los que los agentes tratados y los de comparación se encuentren balanceados en términos de los obser-vables clave, lo que equivaldría a que el tratamiento se asigna aleatoriamente dentro de ese subgrupo, emulándose asíun experimento social por bloques.

• Calcular el efecto del tratamiento. Recuperar la variable de resultados y hacer la estimación por separado para cadasubgrupo en el que se haya conseguido balancear los observables clave.

1

2

3

4

5

6

7


bo estudios observacionales emulando experimentossociales mediante el artificio de la reconstrucción–con la ayuda del emparejamiento por grado depropensión– del mecanismo de asignación del ex-perimento hipotético que hubiera dado lugar a losdatos. En dicho proceso, las etapas que obligarían aabortarlo sin contemplaciones son la segunda -ta-maño muestral inadecuado/escaso poder o poten-cia-, la quinta –falta de datos de calidad sobre losobservables clave que determinan si se recibe trata-miento o no– y la sexta -desbalance en observablespre-tratamiento por una incorrecta estimación delgrado de propensión–.

Para ilustrar la problemática del desbalance y cómoeste es corregido con el emparejamiento por gradode propensión, Rubin utiliza el siguiente ejemplo sen-cillo. Considérese el caso en el que se quiere eva-luar el impacto que las visitas a un doctor por partede un visitador médico –tratamiento– tienen en el nú-mero de prescripciones de un medicamento para lapérdida de peso –variable de resultados–.

En este ̋ experimento˝, del cual se dispondría de da-tos suficientes sobre las características de los docto-res, las visitas y el número de prescripciones, son losvisitadores médicos quienes deciden qué doctor vi-sitar. Al depender sus ingresos de las ventas, lógica-mente preferirán a aquellos que tengan consultas demayor capacidad, un historial de mayor número deprescripciones y que ejerzan las especialidades quemás prescriban el tipo de medicamento en cuestión.

Esta preferencia se manifiesta en forma de desba-lance o diferencia estadística entre los grupos dedoctores visitados o no, lo que amenazaría la con-sistencia de la estimación. En efecto, si se considerael caso hipotético en que lo que determinase la asig-nación al grupo de tratamiento –esto es, la probabi-lidad de visita– fuera únicamente la especialidad deldoctor, al tender los visitadores a evitar a los ginecó-

logos -pues estos no recetan a mujeres embaraza-das medicamentos de adelgazamiento-, en el lími-te esta especialidad no mostraría visita alguna en eljuego de datos y, por consiguiente, no se podría es-timar el efecto del tratamiento al ser asignado estecon una regla determinista –no tratar si el doctor esginecólogo– en lo que sería una violación de la hi-pótesis de soporte común.

Sin embargo, para una especialidad como medici-na general, al disponer de datos tanto de doctoresvisitados como no, la asignación del tratamiento re-plicaría la de un experimento social por lo que se po-drían realizar una estimación consistente del impac-to de aquel. Esto es precisamente lo que hace el em-parejamiento al eliminar el desbalance en observa-bles clave mediante la comparación de doctores vi-sitados y no visitados dentro de una misma bandade valores del grado de propensión estimado en fun-ción de los mismos.

ESTRATEGIAS AVANZADAS CON SELECCIÓN EN BASE ANO OBSERVABLES

En este epígrafe se van a describir dos estrategias deidentificación que afrontan el problema de selecciónen base a no observables, para lo cual, de los méto-dos expuestos hasta el momento, sólo el DD/panel esválido bajo ciertas hipótesis y con la contrapartida desu exigencia en términos de necesidades de datos.

Variables instrumentales

La primera de ellas es la de las denominadas «varia-bles instrumentales» o «instrumentos». Dichas varia-bles son aquellas de carácter exógeno –no están di-rectamente relacionadas con el resultado potencial–que son relevantes a la hora de determinar el esta-do de participación -están relacionadas directamen-

46 390 >Ei

FIGURA 5

VARIABLES INSTRUMENTALES

FUENTE: The Magenta Book.

Factores que afectan tanto a la probabilidad de exposición a la política/programa como a los resultados: su omisión supone sesgo de selección

Factores que afectanúnicamente a la probabilidad

de exposición a lapolítica/programa: no causansesgo de selección. Posibles

Variables Instrumentales

Factores que afectan a losresultados por mecanismos

ajenos a los de lapolítica/programa: no causan

sesgo de selección. Su inclusiónmejora la potencia de la

estimación


te con la probabilidad de ser tratado-, lo que se pue-de representar con un diagrama de Venn como elde la figura 5.

El uso de instrumentos ataca directamente el proble-ma de la endogeneidad: si en una estimación deefectos causales en la que la omisión de variablesno observables diera lugar a estimaciones inconsis-tentes se pudiera descomponer la variable de parti-cipación en dos partes –una exógena y otra endó-gena–, la estimación resultante de un modelo en elque como regresor de participación se utilizara úni-camente su componente exógena resultaría enton-ces consistente. La intuición es que se estaría ante uncuasi-experimento donde la variable instrumental,que determina sólo parcialmente el tratamiento, eslo que induce a los agentes a cambiar su estado departicipación en aquel. La dificultad estriba en que,por definición, la parte endógena no es observabley, por ende, tampoco la exógena, por lo que en sulugar a lo más que se puede aspirar es a encontrarun proxi que es precisamente la variable instrumen-tal o instrumento y que ha de cumplir las dos condi-ciones de exogeneidad (o exclusión) y relevancia yacitadas.

A título ilustrativo, un primer ejemplo en el que se usa eltrimestre de nacimiento para instrumentar los años deescolarización en el estudio del impacto de leyes deescolarización obligatoria en los salarios (Angrist yKrueger, 2001). Los nacidos en los primeros trimestresalcanzan antes la edad de 16 años de escolarizaciónobligatoria en EE.UU., lo que puede resultar en hasta unaño menos de educación. Por tanto, al determinar par-cialmente los años de escolarización (relevancia), sintener nada que ver –excepto vía escolarización– conlos salarios (exogeneidad), el trimestre de nacimientoconstituye un instrumento adecuado.

Un segundo ejemplo es el uso del sexo de los dos pri-meros hijos como instrumento válido para medicióndel impacto en la oferta laboral de las mujeres en lossalarios que perciben (Angrist y Evans, 1998): si esigual -dos niños o dos niñas- se tiene tendencia a bus-car un tercer bebé, lo que disminuye la oferta labo-ral (relevancia) sin que este hecho tenga nada quever con los salarios (exogeneidad).

Se ha de puntualizar que el uso de instrumentos no esnovedoso, pues su origen se remonta a la década delos 20 del siglo pasado cuando Philip y Sewal Wright es-tudiaron la problemática de la determinación de fun-ciones de oferta y demanda a partir de la observaciónde equilibrios precio-cantidad en los mercados. Parasolventar el hecho de que tales equilibrios resultan deuna interacción simultánea entre ambas funciones,propusieron el ingenioso enfoque de instrumentar elprecio con factores que influyeran en la oferta pero noen la demanda para estimar así esta.

Incidiendo en el carácter cuasi-experimental de la es-timación por instrumentos, en condiciones de homo-geneidad, y sin problemas de deserción y sustitución,

el parámetro de tratamiento que se obtendría sería elATE. En el caso más común de heterogeneidad, se ob-tendría una aproximación siempre que se dieran doscondiciones adicionales a las de exogeneidad y rele-vancia como son la de «estabilidad del valor unitariodel tratamiento» –condición SUTVA– y la de «monoto-nicidad» que excluye la existencia de agentes que res-pondan al instrumento de manera «desafiante» o con-traria, adictiva o que lo ignoren por completo, en loque sí que constituye una reinterpretación novedosade los instrumentos (recuadro 7, en página siguiente).

Por tanto, este aspecto de validez externa pobre esuna de las principales desventajas, al tener la estima-ción un carácter local (LATE-Local Average TreatmentEffect) no generalizable para toda la población, y vá-lida únicamente para los agentes que marginalmen-te respondan al instrumento escogido (compliers–aquellas familias que optaran por tener un tercer be-bé cuando los dos primeros tienen el mismo sexo enel ejemplo de la estimación de la oferta laboral delas mujeres–) que al no ser necesariamente únicoconlleva que diferentes instrumentos den lugar a di-ferentes estimaciones. Las otras complicaciones delmétodo se refieren a la dificultad de encontrar instru-mentos interesantes desde el punto de vista del aná-lisis –que sean reflejo fiel de un cambio de política–y que cumplan las condiciones adecuadas, máscuando algunas –exogeneidad/exclusión y monoto-nicidad– no son comprobables.

Finalmente, y de nuevo, aparece el ya citado com-promiso entre exactitud/consistencia y precisión/efi-ciencia que se describió en el caso de los métodosde emparejamiento: con la estimación medianteinstrumentos se está sacrificando la precisión/eficien-cia en favor de la exactitud/consistencia (menor ses-go), dado que el error estándar del estimador creceal explotarse únicamente la parte de la variabilidadde la variable de interés que está correlacionadacon el instrumento.

Regresión discontinua

La segunda de las estrategias para tratar la selección enbase a no observables es la «regresión discontinua» (15),que utiliza una regla administrativa de un programa comoes su criterio de elegibilidad para crear así un grupo decomparación en lo que sería un caso de experimento na-tural con estimación local. Aunque el tratamiento se asig-ne de manera determinista –«regresión discontinua agu-da»– o probabilista –«regresión discontinua borrosa o difu-sa»– y no aleatoria –como en el RCT– sobre la base deuna variable continua («variable de asignación») cuandoesta supera un valor umbral (o de corte, o de cualificacióno de elegibilidad), si el criterio de elegibilidad está fijado ar-bitrariamente y no hay posibilidad de comportamientosestratégicos por incentivos en torno al punto de corte («con-dición de inmanipulabilidad»), entonces los individuos jus-to por encima y por debajo del mismo serán similares ypor tanto las discontinuidades que se observen en los re-sultados («condición de salto») podrán atribuirse al progra-

390 >Ei 47


ma en ausencia de otros tratamientos cuyos efectos, deactuar en el mismo umbral, no podrían distinguirse del quese está analizando («condición de suavidad»). Tres son,pues, las condiciones o requisitos de identificación de laestrategia de regresión discontinua: salto, inmanipulabili-dad y suavidad.

Ludwig y Miller (2007) utilizan la regresión discontinua pa-ra la evaluación del ya citado programa Head Start apartir de su elegibilidad en función de la tasa de pobre-za, en cuyo valor de corte las diversas variables de re-sultados del programa (tasa de mortalidad, tasa de fi-nalización de estudios medios, años de escolariza-ción,…) muestran un salto o discontinuidad. La condi-ción de suavidad también se cumple al no haber otrosprogramas sociales que utilicen la misma regla de cua-lificación, lo que impediría la distinción de los efectos delos distintos programas concurrentes en el umbral.

Finalmente, dado que en el programa no había com-petencia en el acceso a los fondos por exceder estosa la demanda, la inmanipulabilidad está también ga-

rantizada, al igual que la arbitrariedad del corte reve-lada por la historia del tratamiento recibido, que con-sistió en capacitar a los 300 condados más pobres –loque supone un valor umbral del 59,2% para la tasa depobreza– para cumplimentar las solicitudes al progra-ma. El parámetro que por tanto estima Ludwig es unITT que mide los efectos de hacer el programa dispo-nible, lo que se traduce en mayores fondos y partici-pación que son los mecanismos a través de los cua-les se alteran los resultados.

La evaluación del impacto en la mortalidad prematu-ra de tratamientos postnatales administrados a bebésque al nacer no alcanzan un peso mínimo (Almond etal., 2008) es otro ejemplo del uso adecuado de la re-gresión discontinua al cumplirse sus requisitos de iden-tificación. En primer lugar, la mortalidad es una funcióndecreciente del peso de nacimiento con un salto enel umbral de los 1.500 gramos. Por otra parte, la inma-nipulabilidad en el punto de corte está garantizadaen tanto en cuanto no tienen sentido comportamien-tos estratégicos que fuercen el peso de nacimiento

48 390 >Ei

RECUADRO 7ESTIMACIÓN POR VARIABLES INSTRUMENTALES

Los requerimientos formales para un instrumento Z son respectivamente Cov(Zi,εi)=0 (exogeneidad o exclusión) y Cov(Zi,Di)≠0(relevancia) donde Zi es la variable instrumental y Di la de participación para el ajuste de un modelo Yi=β0+δ·Di+εi resul-tando entonces que el estimador del factor causal en este caso simple es δ̂ =Cov(Zi,Yi)/Cov(Zi,Di) que se deduce deCov(Zi,Yi)=Cov(Zi,β0+δ·Di+εi)= δ·Cov(Zi,Di)+Cov(Zi,εi) al tener en cuenta que el segundo sumando es cero por la condiciónde exogeneidad.

En la práctica, para la estimación mediante instrumentos se utiliza un método bietápico. En una primera etapa se estimaun modelo de participación en función de los instrumentos Zi (tantos como variables con problemas de endogeneidad) yel resto de observables Xi exógenos, de manera que Di=α0+Zi·α1+Xi·α2+ui. En una segunda etapa, se estima un segundomodelo de regresión mínimo cuadrático Yi=β0+δ· D̂i+Xi·β+εi que utiliza como regresor de participación las estimacionesD̂i resultantes de la primera etapa y como resto de regresores los observables exógenos Xi. Una prueba ácida o de «pul-gares arriba» –rule of thumb– para validar la relevancia del instrumento es que en la primera etapa el estadístico de Fisher-Snedecor proporcione un valor superior a 10, esto es F>10. Complementariamente, F<10 sería una indicación de la de-bilidad (o escasa relevancia) del instrumento, que un problema incluso con tamaños muestrales grandes porque peque-ñas desviaciones de la asunción de exogeneidad se exacerbarán por esta debilidad. Para la exogeneidad/exclusión de-pendiendo del caso podría hacerse alguna comprobación aproximada

En condiciones de heterogeneidad, y cumpliéndose las condiciones de monotonicidad y de estabilidad del valor del tra-tamiento unitario, además de las de exogeneidad y relevancia, se tiene que la estimación instrumental es una aproximación

del tipo de Wald definido en el recuadro 3. En efecto, partiendo del caso simple se tiene que

de donde el estimador por variables instrumentales resulta ser, expresión en la cual la condición de re-levancia garantiza que su denominador sea distinto de cero.

La monotonicidad, que tampoco puede comprobarse, se puede expresar formalmente como PA+PN+PC=1 o PD=0 don-de el sentido de los subíndices A, N, C y D se detalla en la siguiente tabla:


ˆ )= =⁄

Cov Z ,Y /Cov Z ,DCov Z ,Y Var Z

Coi i i ii i( ) (

( ) ( )i

vv Z ,D Var Zi i i

( ) ( )⁄

=Y Z = - Y|Z =

P D = ,Z = – P D = ,i i i

i i i

ˆ E Ei

( 1) ( 0)

( 1 1) 1

�

( Z =i

0)

Zi=0

Di(Zi=0)=0 Di(Zi=0)=1

Zi=1

Di(Zi=0)=0 N-Nunca tomadores:deciden no participar en cualquiera

de las contingencias

D-Desafiantes:hacen siempre lo contrario

Di(Zi=1)=1 C-Cumplidores:hacen lo que dice el programa

A-Adictos (siempre tomadores):participan en el programa salgan o no sorteados


al valor de cualificación. Finalmente, el que otras va-riables potencialmente influyentes (edad de la ma-dre, nivel socioeconómico, cuidados prenatales,…)muestren suavidad (ausencia de saltos) en torno alvalor de corte dan credibilidad a que el salto en lavariable de resultados se deba al tratamiento.

La estimación por regresión discontinua puede ha-cerse con dos enfoques, uno no paramétrico y otroparamétrico, cuya formalización para los dos dise-ños posibles –agudo y borroso o difuso- se muestraen el cuadro 5. En el primero, los resultados a amboslados del umbral se promedian dentro de un calibreo ancho de banda de manera que cuanto mayorsea este, mayor número de datos se usan en la es-timación que será menos dispersa pero menos exac-ta en una nueva manifestación del compromiso con-sistencia-eficiencia. En el segundo, se realiza el ajus-te de todos los datos de resultados disponibles conuna forma funcional dada, lo que siendo a prioriatractivo, puede dar lugar a que el ajuste en torno alumbral -que es donde se está haciendo la estima-ción localmente- sea inexacto.

Las principales ventajas de la regresión discontinuaes que esta proporciona una estimación consistentede tipo LATE en la discontinuidad cuando se aplica co-rrectamente y que, en su calidad de cuasi-experimen-

to que no requiere por tanto de aleatorización previa,está exenta de la preocupación sobre aspectos éticos.

En cuanto a las desventajas, además de su escasavalidez externa, se refieren a la exogeneidad de lavariable de asignación (incluso cuando el umbral decorte parece arbitrario, todavía puede darse selec-ción en base a no observables); la plausibilidad delas condiciones de suavidad (que es parcialmentecomprobable analizando en torno al punto de cor-te los covariantes previos al programa) e inmanipu-labilidad (comprobable analizando la función dedensidad de la variable de asignación alrededor delcorte); el compromiso implícito en los métodos noparamétricos; y la problemática de la especificaciónfuncional en los paramétricos.

REFLEXIONES FINALES: ¿OTRA BOUTADE DE LA TORREDE MARFIL?

Una vez descritas las diferentes técnicas microeco-nométricas utilizadas en la evaluación de políticas pú-blicas conviene hacer algunas consideraciones fina-les sobre las mismas:

La Evaluación de Programas es una disciplina emi-nentemente cuantitativa, hasta el punto que hace

390 >Ei 49

CUADRO 5REGRESIÓN DISCONTINUA

Tipo de discontinuidad Aguda (Sharp) Borrosa o Difusa (Fuzzy)

Regla de participación(c es el valor de corte para la variable de asignación)

Determinista: la probabilidad de recibir tratamiento salta del 0 a 1 en el corte

P(Di=1|Xi≥c)-P(Di=1|Xi<c)=1

Probabilista: la probabilidad de recibirtratamiento salta un valor 0<k<1 en el corte,debido a otros factores generalmente noobservados que influyen en la participaciónaparte de la variable de asignación, comopueden ser errores administrativos

P(Di=1|Xi≥c)-P(Di=1|Xi<c)=k

Impacto

Estimación no paramétrica(Estimador de Wald dentro de la ventana de datos [c-χ0,c+χ1])

Estimación paramétrica Yi=β0+ β1·(Xi-c)+δ·Di+β2·(Xi-c)·Di+εi Método bietápicoEtapa 1: Di=α0+α1·I[X≥c]+ui

Etapa 2: Yi=β0+β1·(Xi-c)+δ · D̂i+εi

FUENTE: Elaboración propia, gráficos: García Núnez (2011), Imbens y Lemieux (2008)

( ) ( ) ( )c =lim E Y X =x - lim E Y X =xX c 1i i X c 0i i

i i

|( )

lim ( | ) – lim ( | )

limc

E Y x E Y X xx c i x c i i

x

i i

i

== =

1 1 0

= =c i i x c i iE D X x E D X x

i

( | ) – lim ( | )

ˆ ( | ) ( | – )= < + <E Y X c E Y X ci I i I1 1 0 0 ˆ ( | ) – ( | – )

( | ) –=

< + << +

E Y X c E Y X c

E D X c Ei i i i i

i i

1 0 0

1(( | – )D X c

i i<

0


suyo el dicho «lo que no se puede medir, no se pue-de evaluar»(16).

Un punto de partida es la selección de variables de re-sultados relevantes a distintos niveles, para lo cual sonde utilidad los modelos lógicos de secuenciación dela Kellogg Foundation (ver figura 6) en función de cu-ya complejidad se diagnostica a qué nivel es posiblela evaluación cuantitativa del impacto.

Del carácter cuantitativo se deriva la necesidad deinvertir en datos sobre las variables que se quieranmedir para que estos estén disponibles en tiempo yforma.

Las fuentes de datos pueden ser encuestas diseña-das ad-hoc o registros administrativos ya existentes.Suele ser habitual combinar/triangular fuentes múlti-ples, lo que si técnicamente es en principio sencillo,afronta barreras más complejas de tipo organizativo-que se manifiestan en las reticencias a compartir da-tos de quien se siente propietario de ellos (17)– o éti-co –consideraciones sobre protección– que debe-rán ser abordadas.

Desde el punto de vista técnico, es importante la ma-nera en que se organizan los datos (sección cruza-da, sección cruzada repetida, panel,…), la cantidadde los mismos (que afecta a aspectos de poder ex-plicativo/potencia del contraste y significación esta-dística y económica de los estudios que se realicen),su calidad y las amenazas que suponen su explota-ción indiscriminada (minería de datos o «empirismociego» según García Nuñez, 2011).

No existe técnica perfecta o ideal para el proce-sado de los datos en busca de relaciones de cau-salidad (estrategias de identificación), puesto quecada una tiene su alcance (análisis ex -ante vs ex-post), hipótesis de partida y tipo de información queproporciona (ITT, LATE,…) que la hacen válida paraproblemáticas concretas y que justifican un análisiscaso por caso.

Más en concreto, y en un artículo seminal en el queLalonde (1986) analiza diferentes evaluaciones de unmismo programa comparándolas con el resultadode un experimento controlado, las diferencias coneste sirven para llamar la atención sobre peligros quecomo los errores de especificación amenazan a lasdiversas técnicas y ponen en valor el RCT.

Las técnicas descritas admiten mejoras para suaplicación en la asignación de tratamientos social-mente óptimos –lo que exige un posicionamientonormativo- en función del agente tratado -median-te el uso del targeting o el profiling– y para la cap-tura de fenómenos como la selección dinámica–que tuviera en cuenta los efectos acumulativos quese dan al recibir secuencialmente los tratamientos dediferentes programas–, la heterogeneidad de trata-mientos o la incorporación de efectos de equilibriogeneral (Durán, 2004).

Como consecuencia de los puntos anteriores, ha dequedar claro que la identificación de relaciones cau-sales en el contexto de una filosofía de políticas basa-das en evidencias es una tarea ardua que a menudoforzará a la toma decisiones con información incom-pleta debido a limitaciones -como la imposibilidad decontrastar las hipótesis de las diferentes estrategias o losconflictos entre validez interna y externa- que habrán deser tenidas en cuenta en todo momento, pero que depor sí no restan valor al ejercicio de evaluación.

Las tres dimensiones de la evaluación: cuantitativa,económica y de procesos

Pero la evaluación de políticas públicas va más alládel impacto empírico (que la política sea eficaz entérminos de resultados) cubierto por la Evaluación deProgramas, teniendo otras dos dimensiones con lasque esta se interrelaciona estrechamente: la econó-mica (que la política sea eficiente en base a crite-rios más o menos cuantitativos como el coste-bene-ficio o el coste-efectividad) y la de procesos (que lapolítica se ejecute tal y como se concibió, en un aná-lisis de carácter eminentemente descriptivo).

La relación entre la evaluación de impacto y la econó-mica se manifiesta en que, por un lado, la primera (quese realiza ex-post) aporta información que se incorporaen la metodología de la segunda (que se puede rea-lizar ex-ante o ex-post), y por otro, la segunda propor-ciona el marco conceptual que, utilizando conceptosde Economía del Bienestar como el excedente del con-sumidor o del productor, sirve de guía para formular laspreguntas adecuadas y escoger las variables de resul-tados relevantes para la primera.

Con esta triple dimensión empírica, económica y deprocesos a la vista, en la evaluación de políticas pú-

50 390 >Ei

FIGURA 6

MODELO LÓGICO DE CAUSALIDAD

FUENTE: The Magenta Book

Inputs(recursos públicos requeridos)

Actividades(instrumentos concretos)

Outputs/1er orden(resultados primarios o directos de la actividad)

Resultados Intermedios/2º orden(resultados para el grupoobjetivo)

Resultados Finales/3er orden (resultados sociales y económicos másgenerales)


blicas en sentido amplio se han de tener en cuentalas siguientes consideraciones:

Como fase dentro de un ciclo de vida que se re-troalimenta, ha de tener en cuenta la totalidad delproceso (Moreno-Torres, 2012). De ahí la importanciade concebir ex-ante y durante la fase de diseño laestrategia de evaluación para una política (18).

Así, y en el caso de evaluaciones de impacto, la in-corporación de la evaluación en el proceso de dise-ño de un programa o política puede hacerse con-trolando su asignación en una fase piloto de alcan-ce parcial (para la realización de un RCT, la introduc-ción por fases u operación intermitente por oleadaspara el uso de métodos DD/panel o mediante reglasobjetivas de asignación con criterios de elegibilidadque faciliten la evaluación por regresión discontinua)o estableciendo diferentes niveles de exposición encaso de que el alcance del programa sea total. Aúny con todo, se han presentado estrategias (pre-post,experimento natural, variables instrumentales y em-parejamiento) que permitirían en principio realizar aposteriori una evaluación no planificada a priori.

Como actividad costosa que consume recursosmúltiples, ha de estar sometida al criterio coste-be-neficio de manera que se lleve a cabo cuando susbeneficios –derivados del uso de sus conclusiones yrecomendaciones- excedan a sus costes teniendoen cuenta criterios de proporcionalidad con el ries-go, escala y perfil del programa en cuestión.

La gestión de esos recursos tiene una dimensión tem-poral, derivada de hechos como que los efectos delas políticas pueden tardar en manifestarse o quepueda ser recomendable que una evaluación deimpacto venga precedida de una de proceso.

Como práctica, ha de tener una aproximación mix-ta cuantitativo-cualitativa, pese a la preferencia ge-neral de la objetividad de lo cuantitativo frente a lasubjetividad de lo cualitativo. El asesoramiento cua-litativo de participantes, operadores o expertos resul-ta de la mayor utilidad, aun reconociendo su pro-pensión a sesgos como el exceso de optimismo o el«postureo».

Feinstein (2007) plantea un enfoque pragmático orien-tado a resultados y la rendición de cuentas, en el quedistingue las políticas concebidas como tratamientos(programas o proyectos) de las que diseñan un marconormativo no reducible a una simple suma de aque-llos, para las cuales prescribe una triangulación de mé-todos. Asimismo resalta el papel de la institucionaliza-ción (19) como remedio para solventar el problema deescasez de incentivos que a menudo dificulta que delproceso evaluatorio se extraiga un aprendizaje.

Evaluación de políticas industriales

Si existe cierta tradición de uso de los métodos mi-croeconométricos de Evaluación de Programas enel ámbito de las políticas sociales, aunque en grado

menor, también empieza a acumularse y compartir-se (20) experiencia y conocimiento en la evaluaciónde políticas industriales. A título ilustrativo, y por citaralgunos ejemplos:

Reindustrialización. Criscuolo et al. (2012) evaluan elimpacto en variables como empleo, inversion, produc-tividad y número de plantas de un programa de asis-tencia regional selectiva que subvenciona inversionesindustriales en áreas desfavorecidas del Reino Unido.Para ello instrumentan la participación en el programade una planta en un momento dado con el nivel desubvención a la inversión máxima disponible en el áreaen dicho momento, del que pueden beneficiarse só-lo las plantas localizadas en ciertas áreas (relevancia)y que viene determinado por las normas de la UniónEuropea sobre ayudas de Estado (exogeneidad) queson actualizadas periódicamente en lo que viene aconstituir un experimento natural.

Desarrollo y dinamización de clusters. Schmiedeberg(2010) hace una revisión metodológica de las diferen-tes técnicas utilizadas en la que además de modeloseconométricos, contempla otras herramientas comola evaluación de procesos, el estudio de casos, los en-foques sistémicos (modelos input-output, análisis de re-des y benchmarking) y la evaluación económica cos-te-beneficio.

Ayudas a la I+D. Aerts et al. (2006) analizan el esta-do del arte de su evaluación econométrica focali-zando en aspectos como el desplazamiento de lainversión privada por la pública, la adicionalidad delos resultados en innovación o la adicionalidad«comportamental» –cambios de comportamientoinducidos– en la investigación colaborativa.

Innovación y emprendimiento. CPB (2012) es un infor-me que analiza las estrategias para la evaluación eco-nométrica de diferentes instrumentos para su fomento yapoyo utilizados en los Países Bajos. Así, se propone eluso de métodos de emparejamiento para un progra-ma de créditos a la innovación de alto riesgo en pro-ductos, servicios y proyectos en el que los proyectos seseleccionan en un procedimiento que incluye una cua-lificación objetiva –lo que permite modelar el grado depropensión– y la opinión de un comité, dando lugar auna base de proyectos ˝dudosos˝ a partir de los cualesconstruir contrafactuales. Para un programa de deduc-ciones fiscales a la innovación que exige un mínimo dehoras anuales de actividad innovadora se propone undiseño de regresión discontinua para la estimación deimpactos entorno al umbral exigido. Un modelo de pa-nel con efectos fijos por entidad y temporales se sugie-re para un programa de apoyo a proyectos en parte-nariado entre centros públicos de I+D y empresas inno-vadoras de sectores estratégicos, en una primera apro-ximación con las debilidades propias de tomar comocontrafactual compañías del mismo sector no partici-pantes en el partenariado o compañías del partenaria-do no participantes en el proyecto.

Eficiencia energética y control de emisiones. Martinet al. (2011) utilizan un método de panel para eva-

390 >Ei 51


luar el impacto de la tasa por cambio climático enel consumo energético de plantas manufacturerasdel Reino Unido, comparando las sujetas a la totali-dad de la misma con aquellas beneficiarias de de-ducciones por haber adquirido un compromiso vo-luntario de ahorro en energía o emisiones, en lo queda lugar a situaciones de autoselección que los au-tores solventan con una variable instrumental basa-da en la elegibilidad para la suscripción de aquel,que es razonablemente exógena por basarse en elcumplimiento de la regulación ambiental previa a laexacción de la tasa.

Por su parte, Allcott (2011) analiza el impacto en tér-minos de ahorro de electricidad del envío a consu-midores de un informe personalizado en el que se lescomunica su situación relativa en términos de con-sumo, se les categoriza y se les recomienda una se-rie de medidas de ahorro, basándose en el experi-mento llevado a cabo por una compañía eléctricade EE.UU. en el que aleatoriamente se decidió enviaro no tal informe a los clientes de su base. Asimismoutiliza un análisis de regresión discontinua para eva-luar el impacto de las categorizaciones.

Se trata en todos estos casos de instrumentos o pro-gramas que suponen el uso de palancas concretasque activan resortes de causalidad relativamentesencillos y total o parcialmente exentos de conse-cuencias inesperadas o efectos indirectos de ordensuperior. Desafortunadamente, en el ámbito de lo in-dustrial estos son bastante habituales y se presentanen forma de desplazamiento/crowding out –un resul-tado positivo es contrarrestado por uno negativo–,sustitución –el efecto sobre un agente es a costa deotros agentes–, spillover/leakage –el programa be-neficia a agentes no pertenecientes al grupo desti-natario–, deadweight –los resultados de la política sehubieran obtenido igualmente sin intervención- oaglomeración/crowding.

A ello se une la creciente complejidad de lo que po-dríamos denominar «Nueva Política Industrial», másintegrada y sistémica que la tradicional enfocada asectores y –en lo que en términos de motivación su-pone una mayor sensibilidad hacia los fallos de go-bierno que hacia los fallos de mercado– con un me-nor nivel de intervención que se orienta al desarrollodel marco institucional y de clima de negocios ade-cuado, que facilite la cooperación entre agentes(para la superación de asimetrías de información yde fallos de coordinación) y la alineación de incen-tivos entre los sectores público y privado (mediantefórmulas de partenariado).

De ahí que estén cobrando fuerza conceptos como«Metaevaluación» (evaluación de evaluaciones parael caso de intervenciones complejas, multiobjetivo y agran escala, usando por ejemplo modelos de simula-ción) y Policy Learning/Intelligence que constituyen unnuevo enfoque en el que la evaluación de políticas,de ser un mero ejercicio de auditoría a posteriori, pa-sa a convertirse en una fuerza transformadora (Aran -guren et al., 2013), lo que exige desarrollar una cultu-

ra de la evaluación que involucre a los agentes, incor-pore sistemas de monitorización, seguimiento y difu-sión, adopte enfoques mixtos cuantitativo-cualitativos yasegure la independencia del proceso evitando situa-ciones juez-parte que tan perversas resultan.

Una de las técnicas para este aprendizaje transforma-dor y la introducción experimental a pequeña escalade nuevas políticas sobre la base del contraste de hi-pótesis sobre diferentes alternativas (Policy Experimen -tation) es el experimento social o RCT ampliamente dis-cutido en este artículo. Sirva como ejemplo la expe-riencia que en el area de Manchester lideró en 2009el organismo público de fomento de la innovación enel Reino Unido (21) en relación con un esquema decréditos para la promoción de partenariados innova-dores entre PYMEs y proveedores de servicios creativos.Un experimento en el que los créditos se asignaron con-forme a los resultados de una lotería permitió compro-bar la adicionalidad de la política (recibir el crédito au-mentó la probabilidad de que una PYME se asociaracon un proveedor de servicios creativos), para validarasí un modelo lógico de causalidad sobre el que legi-timar un escalado del programa. Frente a un esque-ma tradicional en que los apoyos públicos se conce-den una vez hechas evaluaciones ex-ante de los pro-yectos a subvencionar, la aleatorización del tratamien-to demostró también la ventaja de evitar los costes deaquel en términos de consumo de recursos y proble-mas de información asimétrica.

Si bien el uso de experimentos de políticas públicasestá menos difundido en Europa en comparacióncon EE.UU. –la aleatorización en la asignación de lostratamientos es una rareza, por administrarse preci-samente a los más necesitados–, en el caso de laspolíticas industriales, y con todas las salvaguardas yaapuntadas, habría argumentos en favor de su usocon mayor intensidad que en el caso de políticas so-ciales, tales como sus menores implicaciones éticas–al ser las unidades experimentales empresas en lu-gar de individuos o familias– y la mayor sensibilidaddesde el punto de vista de las finanzas públicas –alser por lo general mayores los desembolsos por be-neficiario–.

Un comentario final

Las técnicas descritas, lejos de ser un ejercicio esté-ril de lucimiento académico, son herramientas que,desde el reconocimiento de sus limitaciones y com-plicaciones, están listas y a disposición de los policymakers para ser aplicadas en la construcción delnuevo paradigma que en la actualidad demandanlas políticas públicas, uno de cuyos aspectos claveha de ser el desarrollo de una cultura de la evalua-ción para lo cual este artículo ha pretendido ser unamodesta contribución.

(*) El autor agradece al programa Fulbright y al Ministeriode Industria, Energía y Turismo (MINETUR) el patrocinio desus estudios en la Universidad de Chicago durante el cur-so 2011-2012 que han posibilitado la redacción de esteartículo.

52 390 >Ei


NOTAS

(1) El heurístico e intuitivo Homo Psicologicus frente al racio-nal Homo Economicus de los libros de texto.

(2) El de Blundel y Costa (2009) es un excelente artículo desimilar alcance que este pero con mayor detalle y forma -lismo, al igual que el de Imbens y Wooldridge (2008). Otrobuen artículo de carácter introductorio publicado en es-pañol es el de García Núñez (2011). Tratados de mayorcalado, algunos de ellos eminentemente prácticos, sonlos libros que se enumeran en listado de bibliografía re-comendada incluida en este artículo.

(3) Heckman (2010) explora una tercera vía que sirva depuente entre los métodos estructurales y los de resultadospotenciales.

(4) Un ejemplo de estimación mediante serie temporal inte-rrumpida podría ser la evaluación del impacto de una me-dida que busque aumentar la transparencia en el merca-do minorista de productos petrolíferos, como es el casodel Geoportal de Hidrocarburos del MINETUR que está dis-ponible en su web y que ofrece información en tiempo realde los precios de todas las estaciones de servicio de España–véase la nota incluida en el número 386 de EconomíaIndustrial–. Como contrafactual se tomaría la tendenciade precios ajustada con un «Modelo de Corrección deErrores» (MCE) habitualmente utilizado en la literatura so-bre series temporales de precios de productos petrolíferosy que captura realidades como el fenómeno conocidode «cohetes y plumas» según el cual hay una asimetríaen las dinámicas de precios de los productos derivadosdel petróleo, que se ajustan casi simultáneamente a lassubidas del precio del crudo pero que en contra lo hacencon retraso a las bajadas.

(5) ¿Pasar por la Universidad de Chicago garantiza el PremioNobel o más bien es que es más probable que de laUniversidad de Chicago salga un Premio Nobel precisa-mente porque a ella acuden los más preclaros talentosatraídos por su prestigio y filtrados por el proceso de ad-misión? El autor aprovecha para aclarar que, si bien sí quese vio atraído por el prestigio de dicha Universidad, ni mu-cho menos se considera un preclaro talento y, desafortu-nadamente, tampoco candidato al Premio Nobel.

(6) Para ello Card y Krueger utilizan dos series temporales dedatos de empleo en restaurantes de comida rápida ubi-cados en zonas fronterizas de dos jurisdicciones –estadosde New Jersey y Pennsylvania- que plausiblemente presen-tan una tendencia común, y en una en las cuales –NJ- enun momento dado se aumenta el salario mínimo.Curiosamente se llega a una conclusión que resulta con-traintuitiva desde el punto de vista de las teorías neoclási-cas sobre el mercado del trabajo que pronostican que au-mentos del salario mínimo se traducen en descensos enel empleo.

(7) Grogger analiza datos de criminalidad en zonas “limpias”a las que se prohíbe a las pandillas acceder en compa-ración con otras no sometidas a dicha prohibición y sufi-cientemente alejadas de aquellas para evitar influenciaso “contagios” de aquellas, por lo que en principio consti-tuirían un grupo de control razonable.

(8) Las estimaciones del impacto en los salarios de la capa-citación de desempleados resultan sesgadas al alzacuando los administradores del programa lo ofrecen pre-ferentemente a aquellos que antes del mismo están encondiciones especialmente desfavorecidas en términosde salarios.

(9) El modelo, en el que el subíndice j que identifica a cadahijo haría el papel de dimensión temporal, sería el siguien-te: Yij= β0+δ·HSij+β1·PREij+Xij·β2+αi+εij donde HSij es la va-

riable binaria de participación en Head Start, PREij la departicipación en otros programas de preescolar, Xij es unvector de variables de control (β2 tendría también carác-ter vectorial) y γi es el efecto fijo para la familia i.

(10) En las que se basan las evaluaciones del programa sani-tario Seguro Popular de México -uno de los que reciente-mente más interés ha atraído desde el punto de vista dela evaluación- y que complementan las realizadas a tra-vés de experimentos cuya validez externa es débil por ha-berse realizado sólo en áreas rurales con un elevado gra-do de cobertura sanitario no representativo de la realidadmedia del país.

(11) Todd (2006) es un excelente trabajo sobre los métodos deemparejamiento.

(12) δ̂ =ΣNj=1 wj . δ̂j donde N es el número de celdas y si nj es

el número de observaciones en la celda j-ésima, nC en elgrupo de control y nT el de tratamiento, y n=nC+nT, comopesos wj se tomarían wj=nj/n para el ATE, wj=nj/nT para elATET y wj=nj/nC para el ATEN.

(13) De manera que 0<P(Di=1|Xi=x)≡p(x)<1 para todo x ob-servado.

(14) En lo que sería una manifestación de lo que se conocecomo teorema de Tiebout de “voto con los pies”.

(15) Imbens y Lemieux (2007), discuten aspectos teórico-prác-ticos sobre regresión discontinua.

(16) «If you can’t measure it, you can’t evaluate it» (ProfesorLalonde).

(17) Las iniciativas de «Reutilización de Información de SectorPúblico» (RISP), en un reconocimiento de que los adminis-trados son los últimos propietarios de los datos en manosde las Administraciones, buscan poner estos a disposiciónde aquellos para la creación de valor a través del desarro-llo de aplicaciones y servicios basados en los mismos enel contexto de un nuevo paradigma conocido como«Datos Abiertos»/Open Data u Open Government.

(18) Tal y como recogen las metodologías de análisis de im-pacto de la Comisión Europea.

(19) En España la Agencia Estatal de Evaluación de las PolíticasPúblicas y la Calidad de los Servicios (AEVAL) tiene por mi-sión «La promoción y realización de evaluaciones y aná-lisis de impacto de las políticas y programas públicos, asícomo el impulso de la gestión de las calidad de los servi-cios, favoreciendo el uso racional de los recursos y la ren-dición de cuentas a la ciudadanía».

(20) En foros de intercambios de buenas prácticas como porejemplo el Grupo de Expertos en Evaluación de PolíticasIndustriales del Comité de Industria, Innovación yEmprendimiento (CIIE) de la Dirección de Ciencia, Tecno -logía e Industria de la OCDE.

(21) National Endowment for Science, Technology and the Arts(NESTA).

BIBLIOGRAFÍA

AERTS, K., CZARNITZKI, D. y FIER, A. (2006): «Econometric eva-luation of public R&D policies: current state of the art». WorkingPaper, K.U. Leuven.

ALLCOTT, H. (2011): «Social norms and energy conservation».Journal of Public Economics.

ALMOND, D., DOYLE, J. J. JR., KOWALSKI, A. E. y WILLIAMS, H.(2008): «Estimating Marginal Returns To Medical Care: EvidenceFrom At-Risk Newborns». NBER Working Paper Series.

ANGRIST, J. D. y EVANS, W. N. (1998): «Children and Their Parents’Labor Supply: Evidence from Exogenous Variation in Family Size».The American Economic Review.

ANGRIST, J. D. y KRUEGER, A. B. (2001): «Instrumental Variablesand the Search for Identification: From Supply and Demand toNatural Experiments». Journal of Economic Perspectives.

390 >Ei 53


ARANGUREN, M. J., MAGRO, E. y WILSON, J. R. (2013): «La eva-luación como herramienta para transformar las políticas de com-petitividad». Economía Industrial, nº 387.

ASHENFELTER, O. (1978): «Estimating the Effect of Training Pro -grams on Earnings». The Review of Economics and Statistics.

BLACK, D. A. y SMITH, J. A. (2004): «How robust is the evidenceon the effects of college quality? Evidence from matching».Journal of Econometrics.

BLUNDELL, R. y COSTA DIAS, M. (2009): «Alternative Approachesto Evaluation in Empirical Microeconomics». The Journal of HumanResources.

CARD, D. y KRUEGER, A. B. (1994): «Minimum Wages andEmployment: A Case Study of the Fast Food Industry in New Jerseyand Pennsylvania». The American Economic Review.

CPB NETHERLANDS BUREAU FOR ECONOMIC POLICY ANALISYS,(2012). «Dare to measure: Evaluation designs for industrial policy inThe Netherlands» Final report of the Impact Evaluation ExpertWorking Group.

CRISCUOLO, C., MARTIN, R., OVERMAN, H. y VAN REENEN, J.(2012): «The Causal Effects of an Industrial Policy». NBER WorkingPaper Series.

DEMING, D. (2009): «Early Childhood Intervention and Life-Cycle Skill Development: Evidence from Head Start». AmericanEconomic Journal: Applied Economics

DURÁN, C. (2004): «Evaluación microeconométrica de las po-líticas públicas de empleo: aspectos metodológicos». HaciendaPública Española/Revista de Economía Pública. Instituto deEstudios Fiscales.

FEINSTEIN, O. (2007): «Evaluación pragmática de PolíticasPúblicas». ICE, Revista de Economía,nº 836 monográfico sobreEvaluación de Políticas Públicas, mayo-junio 2007.

GARCES, E., THOMAS, D. y CURRIE, J. (2002): «Longer-TermEffects of Head Start». American Economic Review.

GARCÍA NÚÑEZ, L. (2011): «Econometría de evaluación de im-pacto». PUCP. Economía, vol. XXXIV, n° 67, semestre enero-junio2011

GROGGER, J. (2002): «The Effects of Civil Gang Injunctions onReported Violent Crime: Evidence from Los Angeles County». TheJournal of Law and Economics.

HECKMAN, J. J. (1976): «The Common Estructure of StatisticalModels of Truncation, Sample Selection and Limited DependentVariables and a Simple Estimator for such Models». Annals ofEconomic and Social Measurement. NBER.

HECKMAN, J. J. (1979) «Sample Selection Bias as a Specifica -tion Error». Econometrica.

HECKMAN, J. J. (2000): «Datos Microeconómicos, Heteroge -neidad y la Evaluación de Políticas Públicas». Fundación Nobel,2003. Revista Asturiana de Economía.

HECKMAN, J. J. (2010): «Building bridges between structuraland program evaluation approaches to evaluating policy». NBERWorking Paper Series.

HECKMAN, J. J. y SMITH, J. A. (1995): «Assesing the Case forSocial Experiments». Journal of Economic Perspectives.

HOLLAND, P. W. y RUBIN, D. B. (1988): «Causal Inference inRetrospective Studies» Evaluation Review.

IMBENS, G. M. y LEMIEUX, T. (2007): «Regression DiscontinuityDesigns: A Guide to Practice». Journal of Econometrics.

IMBENS, G. M. y WOOLDRIDGE, J. M. (2008): «Recent Deve -lopments in the Econometrics of Program Evaluation». NBERWorking Paper Series.

LALONDE, R. J. (1986): «Evaluating the Econometric Evaluationsof Training Programs with Experimental Data». The AmericanEconomic Review.

LUDWIG, J. y MILLER, D. L. (2007): «Does Head Start ImproveChildren’s Life Chances?: Evidence from a Regression DiscontinuityDesign». The Quarterly Journal of Economics.

MARTIN, R., DE PREUX, L. B. y WAGNER, U. J. (2011): «The impactsof the Climate Change Levy on manufacturing: evidence from mi-crodata». Centre for Economic Performance. The London Schoolof Economics and Political Science.

MEYER, B. D. (1995): «Natural and Quasi Experiments in Eco -nomics». Journal of Business and Economic Statistics.

MORENO-TORRES GÁLVEZ, A. (2012): «Un Marco Conceptualpara el Análisis de Políticas Públicas». Economía Industrial, nº 385.

ROY, A. D. (1951): «Some Thoughts on the Distribution of Ear -nings». Oxford Economic Papers.

RUBIN, D. B. (2008): «For Objective Causal Inference, DesignTrumps Analysis». The Annals of Applied Statistics.

SCHMIEDEBERG, C. (2010): «Evaluation of Cluster Policy: A Metho -dological Overview». Evaluation.

TODD, P. E: (2006). «Matching Estimators».

Bibliografía recomendada

«Mostly Harmless Econometrics. An Empiricist´s Companion». JOS-HUA D. ANGRIST y JÖRN-STEFFEN PISCHKE, 2009. Princeton UniversityPress.

«Microeconometrics. Methods and Applications». A. COLIN CAME-RON y PRAVIN K. TRIVEDI, 2005. Cambridge University Press.

«Causality. Models, Reasoning and Inference». JUDEA PERL, 2000.Cambridge University Press.

«The Magenta Book. Guidance for Evaluation». 2011. HM Treasury.

«The Green Book. Appraisal and Evaluation in Central Govern -ment». 2011, 2003. HM Treasury.

«Handbook on Impact Evaluation. Quantitative Methods andPractices». SHAHIDUR R. KHANDKER, GAYATRI B. KOOLWAL Y HUSSAINA. SAMAD, 2010. The World Bank.

«Program Evaluation Methods: Measurement and attribution ofProgram results». Third Edition, 1998. Treasury Board of Canada.

54 390 >Ei

tÉcnicas microeconomÉtricas para la ......de estas relaciones causales a partir del análisis de...

Documents