gerencia efectiva del sgr.pdf
TRANSCRIPT
Gerencia efectiva del Sistema General de Regalías a través del Monitoreo, Evaluación y Gestión del Conocimiento
Effective management of the General Royalties
System through Monitoring, Evaluation and Knowledge Management
PREFACIO
Los siguientes reportes son producto de un intenso año de investigación, seguimiento del
cliente, desarrollo de soluciones innovadoras y
trabajo colaborativo. En ellos describimos las
herramientas y enfoques utilizados por nuestro
equipo para la implementación de soluciones
prácticas y efectivas.
Sabemos que el funcionamiento de un sistema
tan complejo como el de las regalías presenta grandes desafíos. Sin embargo, también es una
excelente oportunidad para profundizar la relación entre el centro y las distintas regiones del
país y para generar una dinámica de colaboración entre todas las partes, enfocada en el desarrollo
territorial.
Departamento Nacional de Planeación de
Colombia ha logrado obtener impresionantes
resultados, de los que ambas partes deben estar
orgullosas. Espero que podamos continuar
trabajando juntos en el futuro próximo, para seguir asistiendo al desarrollo sustentable de
Colombia.
COMO LEER ESTOS DOCUMENTOS 104
APOYO A LA IMPLEMENTACIÓN DEL SISTEMA GENERAL 105 DE REGALÍAS DE COLOMBIA
MARCO GENERAL DEL SGR Y SU REFORMA 105
APOYO DE TBA-GA 108
Resumen ejecutivo 112
EL CONCEPTO 112
LAS RECOMENDACIONES 113
Introducción 116
Monitoreo 119
A. APROXIMACIÓN CONCEPTUAL: ¿QUÉ ES MONITOREO? 119
B. HERRAMIENTAS DE MONITOREO Y SEGUIMIENTO 122
C. EXPERIENCIA EN EL PROYECTO DEL DNP Y TBA-GA – 132 MONITOREO
D. LECCIONES APRENDIDAS EN MONITOREO 135
B. HERRAMIENTAS DE EVALUACIÓN 144
C. LECCIONES APRENDIDAS 162
A. ENFOQUE PRAGMÁTICO 168
B. LOS PRINCIPIOS O CRITERIOS BÁSICOS DE LA OECD 169
C. UNA APROXIMACIÓN MIXTA 170
D. APROXIMACIÓN SISTEMÁTICA DE LA ‘TEORÍA DE CAMBIO’ 171
A. APROXIMACIÓN CONCEPTUAL, ¿QUÉ ES LA GESTIÓN 173 DEL CONOCIMIENTO?
Gestión del Conocimiento 173
B. HERRAMIENTAS DE GESTIÓN DEL CONOCIMIENTO 177
C. EXPERIENCIA EN EL PROYECTO DEL DNP Y TBA-GA – 185 CONCURSO PARA LA IDENTIFICACIÓN DE BUENAS PRÁCTICAS EN EL SGR
D. LECCIONES APRENDIDAS 189
Recomendaciones generales 193
C. CONCLUSIÓN 198
COMO LEER ESTOS DOCUMENTOS
El presente documento tiene como objetivo dar una introducción a la serie
de tres documentos sobre el apoyo a la implementación del Sistema General
de Regalías (SGR) de Colombia, y en ese sentido se presentan 3 tomos que
se corresponden a los diferentes frentes de apoyo del proyecto:
1. Construcción de Consenso Regional para el Desarrollo,
2. Aportes Metodológicos para la Comunicación Estratégica, y
3. Gerencia Efectiva del SGR a través del Monitoreo, Evaluación y Gestión
del Conocimiento,
Estos documentos tienen por objeto sintetizar los alcances y resultados de
cada uno los sets de herramientas y metodologías de apoyo para el desarrollo
de proyectos, con las características de la cooperación técnica realizada con
el Departamento Nacional de Planeación (DNP) de la República de Colombia.
En los tres casos, cada documento indica y describe las herramientas y
enfoques para abordar soluciones prácticas y efectivas a cada uno de los temas
planteados. Se presenta también la experiencia de trabajo y aplicaciones de
estas herramientas, ajustadas en general al DNP y al SGR en particular. Y por
último, concluimos con las lecciones aprendidas y recomendaciones prácticas
Este enfoque, de perspectiva práctica para instituciones de desarrollo,
se apoya en la visión de Tony Blair Associates – Government Advisory (TBA-GA),
basada en su filosofía del effective delivery, que contribuye al logro de objetivos
de gobiernos e instituciones gubernamentales.
Los tres documentos se pueden leer sin ningún orden preestablecido, dado
que son de naturaleza independiente entre sí.
APOYO A LA IMPLEMENTACIÓN DEL SISTEMA GENERAL DE REGALÍAS DE COLOMBIA
El Plan Nacional de Desarrollo de Colombia identifica a las industrias
extractivas como uno de los principales motores del crecimiento económico
y el desarrollo social del país. El sector sigue siendo una de las actividades
de mayor crecimiento en Colombia; ha contribuido de manera significativa
al crecimiento del PIB reciente y la inversión extranjera, y ha beneficiado a
los gobiernos nacionales, las regiones y la sociedad en general. El gobierno se
ha embarcado en un desafiante viaje a generar un mayor desarrollo del sector.
En Chile, las regalías mineras están centralizadas y hacen parte del
presupuesto de la nación, mientras que en Perú una parte de las regalías
está destinada a las regiones productoras y otra al gobierno nacional.
En el caso de Colombia, el SGR es un sistema que compensa a las regiones
productoras y redistribuye otra proporción a regiones no productoras, para
garantizar un desarrollo más equitativo. Igualmente cuenta con los fondos
de ahorro y estabilización, y el fondo de ahorro pensional regional, que
representan un avance importante en la gestión de recursos no-renovables
para asegurar beneficios a generaciones futuras, más allá de la vida de los
recursos minerales.
La economía colombiana, al igual que la de América Latina, atraviesa
desde principios del siglo XXI una bonanza minero-energética fundamentada
tanto en el aumento observado y esperado de la producción de petróleo, carbón
y otros minerales, como de sus precios internacionales. Esta es una situación
que debe manejarse adecuadamente para evitar desencadenar una crisis como
la vivida a finales del siglo pasado.1
MARCO GENERAL DEL SGR Y SU REFORMA
En julio de 2011, el Gobierno de Colombia logró aprobar enmiendas
constitucionales a los artículos 360 y 361 de la Constitución Nacional. La
reforma llevaba el nombre de la ‘Reforma del Régimen de Regalías: Equidad,
Ahorro, Competitividad y Buen Gobierno’, en la práctica conocido como el
Figura 1: Distribución de regalías antes y después del SGR
Fuente: DNP, 2014.
operaciones por el Decreto Presidencial 4923, emitido el 26 de diciembre
de 2011.
A diferencia del sistema anterior, donde el 80% de los ingresos totales
por regalías se mantenía en los municipios, departamentos y regiones
productoras, el SGR introdujo un sistema de distribución de las regalías más
equitativo y eficiente, como observamos en la Figura 1.
Desde su implementación, el nuevo sistema ha impulsado el crecimiento
inclusivo en todo el país, por lo que estratégicamente, está diseñado para
promover el desarrollo regional. Bajo la ley, el gobierno nacional no puede
beneficiarse de cualquier producto SGR, o utilizar el SGR para financiar
sus gastos. El SGR se destina a financiar proyectos de desarrollo a nivel
regional, que tienen el potencial de generar impacto en el desarrollo de
los departamentos y municipios. El SGR tiene muchos elementos innovadores
y positivos:
• Refleja el compromiso del país con el desarrollo regional y la distribución
equitativa de la riqueza, al poner el énfasis en beneficiar a las zonas más
pobres en primer lugar.
• Promueve la integración regional y el establecimiento de prioridades
colectivas, obligando al trabajo conjunto de las autoridades territoriales
y nacionales por el beneficio de toda la región, y no sólo de sus propias
circunscripciones (departamentales o municipales).
Colombia’s Royalties System
Before 2011
Increasing gaps
After 2011
80% of resources Savings and investment funds
Funds were focused on 8
departments
10% of Royalties go to Science,
Technology and Innovation Fund
DOCumENTO INTRODuCTORIO 107
• Reconoce que los beneficios especiales de la extracción de recursos no
renovables deben ser distribuidos en todo el país y no acumulados en
las áreas donde se extraen, refinan, o desde donde se envían los recursos.
• Establece un fondo de estabilización que permite amortiguar ciclos
económicos difíciles, ahorrando en épocas de bonanza.
• Parte de los recursos, también forman parte de un fondo adicional cuyo
objetivo es salvar la enorme brecha entre los recursos disponibles y pasivos
reales del FONPET.2
• Finalmente, además se reservan recursos para propósitos estratégicos
de más largo plazo, como la ciencia y la tecnología, y el mapeo de los
recursos minerales y fósiles.
El 17 de mayo de 2012 fue expedida la ley que reglamentó la nueva forma
de distribuir las regalías, por lo que en estos 25 meses de funcionamiento,
las regalías se han distribuido entre todos y para todos.
Es importante señalar que con el antiguo sistema, el 80% de las regalías
se destinaban al 17% de la población, es decir, sólo 2 de cada 10 colombianos
podían disfrutar de las regalías; ahora todos se benefician de esos recursos,
porque llegan a los 32 departamentos de Colombia.
Además, se le brinda a las regiones los recursos y las capacidades para
que gestionen su propio desarrollo. Por lo que poner en marcha este ambicioso
sistema ha requerido de muchos esfuerzos y conocimientos a nivel nacional,
departamental y municipal. El DNP, como líder en la implementación del
SGR, ha apoyado a las Alcaldías y Gobernaciones para que fortalezcan sus
competencias en la operación del sistema y desarrollo de capacidades locales
para su implementación.
Colombia tiene hoy en día el modelo más moderno de Monitoreo y
Evaluación que controla el desempeño de los 5.847 proyectos aprobados por
20 billones de pesos;3 hace seguimiento en terreno de 1.500 proyectos cada
año, y hace evaluación de otros 700 proyectos con estándares OCDE.
Es importante señalar que en el marco del SGR, se están creando incentivos
que permitirán por primera vez en la historia que los departamentos del país
trabajen de manera conjunta en proyectos de alto impacto. Este es el caso de
las regiones de Centro Sur-Amazonía y Pacífico, quienes firmaron un acuerdo
para desarrollar proyectos de manera conjunta.
Con esta distribución más equitativa de las regalías, se han generado
encadenamientos productivos y un crecimiento conjunto más equilibrado en
diversas áreas de la economía, que han impulsado el crecimiento de nuevos
sectores de desarrollo, como se evidencia del Figura 2.
Fuente: TBA-GA, sobre datos SGR, DNP, 2014.
prósperas. Los departamentos no productores de 1995 a 2011 (en 17 años)
recibieron $2.75 billones del Fondo Nacional de Regalías; ahora con la reforma,
esos departamentos han aprobado $9 Billones en tres años de 2012 a 2014.
APOYO DE TBA-GA
Dada la complejidad del SGR, con grupos de intereses divergentes,
capacidades heterogéneas y ambiciosas metas de ejecución del sistema, el
proyecto requirió de la combinación de un intenso pensamiento estratégico
a nivel político y técnico. TBA-GA con su amplia experiencia, apoyó y supervisó
el equipo durante los 12 meses de trabajo, proporcionando orientación y
dirección in situ a través de su interacción en el día a día y talleres con el
equipo local, transmitiendo al DNP estos aportes en las recomendaciones
y actividades de las diferentes etapas del proyecto.
El equipo permanente estaba compuesto por un director senior, un gerente
de proyecto y tres consultores quienes cuentan con una reconocida experiencia
en planificación regional y desarrollo,deliverology y estrategias de crecimiento
inclusivo. Además cuentan con experiencia en gestión en gobiernos y/o en
posiciones en las consultoras líderes globales del mundo en estrategia y
desarrollo económico.
Sumado a ello, desde Londres se complementó el apoyo con expertos
sectoriales y socios de la red global de TBA-GA quienes combinaron la
experiencia práctica y los puntos de referencia internacional apoyando
el equipo local.
Teniendo en cuenta los análisis previos al proyecto, se identificaroncuatro
grandes áreas en las que el equipo de TBA-GA colaboraría con el gobierno
colombiano para reforzar aspectos estratégicos en la implementación del SGR:
Unexamen exhaustivo de la aplicación del nuevo régimen hasta el momento ,
la identificación de los posibles riesgos y desafíos en la implementación, y la
recomendación de medidas correctivas;
crear un proyecto de este tipo. Más específicamente, mecanismos sólidos
para la coordinación del trabajo de los Órganos Colegiados de Administración
y Decisión OCAD de diferentes niveles, asegurando la convergencia hacia
estrategias comunes de desarrollo regional;
Desarrollo de herramientas y procesos de clase mundial para el seguimiento
de la entrega de proyectos clave, el seguimiento de la evolución de los resultados
globales, así como la evaluación y la elaboración de recomendaciones /
lecciones aprendidas de los proyectos ya ejecutados; y
Desarrollo de una estrategia de comunicación sólida para el marco territorial
de la nación, para transmitir adecuadamente sus objetivos de competitividad
regional, la innovación y la equidad social.
Además de estos temas, se identificaron otras cuestiones conexas más
generales de apoyo para fortalecer al DNP en su conjunto, como por ejemplo,
realizar ajustes en la estructura y organización del DNP, para cumplir su papel
como líder de gestión de proyectos de inversión en el país en el marco del SGR.
RESULTADOS INICIALES DEL PROYECTO
Los diagnósticos iniciales confirmaron, entre otros resultadosa nivel regional ,
que no se estaban generando sinergias de escala en proyectos regionales y/o
inter-regionales. Esto es una excesiva fragmentación y atomización de los
recursos en proyectos de bajo impacto.
Además, las regiones no cuentan aún hoy con la institucionalidad regional
adecuada para apoyar los megaproyectos regionales que estamos ayudando
a generar: estructuración, contratación y supervisión, sin embargo se logró
articular y coordinar a distintos departamentos para que generaran proyectos
con vocación e impacto regional.
En términos de Monitoreo y Evaluación, el proyecto encontró que había un
alto sub-registro de información, debido en parte a la falta de claros incentivos
para la carga de datos por parte de algunos actores. La información registrada
en el Sistema de Monitoreo, Seguimiento, Control y Evaluación SMSCE, tenía
un mayor enfoque en procesos y ejecución financiera que en resultados, lo cual
dificulta la toma de decisiones estratégicas. Asimismo, se identificó que el SGR
no contaba con una adecuada estrategia de Gestión de conocimiento que le
permitiera aprender y mejorar continuamente (a nivel local, regional y central)
de las diversas experiencias en la aprobación y el desarrollo de proyectos.
Y en las comunicaciones estratégicashacía falta resonar mucho más los
logros y beneficios del nuevo SGR a través de una estrategia de comunicaciones
estratégicas sobre el SGR, que permeara a todas las audiencias. Esto
demostraba la falta de una estrategia de articulación con las oficinas de
comunicaciones de los actores del SGR para canalizar los mensajes claves
del SGR.
Luego de 12 meses de trabajo conjunto con los equipos del DNP y en las
110 DOCumENTO INTRODuCTORIO
diálogo entre los departamentos, con lo que se logró trabajar con una mayor
colaboración en el desarrollo de proyectos de alto impacto regional. Además,
se comenzaron a incorporar procesos y herramientas de consenso más
estructurados (político y técnico) para la identificación futura de proyectos.
Vale destacar también que se apoyó a las regiones en una estrategia para
la creación de instituciones y fortalecimiento de capacidades regionales, para
liderar estos procesos a través de reuniones y talleres de trabajo conjunto y la
identificación de una cartera de proyectos. Un buen ejemplo de los beneficios
del desarrollo institucional regional y del logro concreto de resultados, ha
sido el proyecto del Plan Regional de Turismo para el Centro Sur de Colombia,
donde se involucran 5 departamentos y actores privados para impulsar el
sector turístico en la región.
En el trabajo apoyando al SMSCE se apoyó el desarrollo de la gestión
basada en resultados, y toma de decisiones a través de un sistema transparente
y eficaz de seguimiento y evaluación con estándares de la OCDE. Junto a ello se
fortaleció al DNP con herramientas prácticas y metodologías de seguimiento y
evaluación (procesos, manuales, caja de herramientas, indicadores, cuadro de
mando, IT especificaciones). Además, se apoyó en un programa de incentivos
para premiar historias de éxito y diseño de una estrategia de Gestión del
Conocimiento.
Los resultados alcanzados permiten dar un uso más transparente de
los recursos de regalías y de esta manera también aumentar la confianza
ciudadana en el SGR y las instituciones públicas.
Finalmente, el fortalecimiento de la función de comunicaciones
estratégicas en el DNP generó la orientación sobre la estrategia de
comunicación con una función profesionalizada incorporando herramientas
de mejores prácticas para fortalecer la aplicación de la estrategia (análisis
de los medios de comunicación, los mensajes estratégicos, narrativa). Esto
permitió alcanzar gradualmente un mejor posicionamiento del SGR y del DNP.
SÍNTESIS DE PRINCIPALES LOGROS
El proyecto de TBA-GA junto con el DNP, logró un progreso importante
alcanzando entre otros logros:
• Proyectos de transformación regionales de apoyo a la sostenibilidad de los
procesos de paz: Plan Paz-cifico, plan para los cuatro departamentos con
69 proyectos identificados que desarrollarán la región y llevar la paz a sus
ciudadanos
• Región Centro Sur: cinco departamentos acordaron el desarrollo de un Plan de
Desarrollo Turístico como motor para el desarrollo social y económico después
de los conflictos
• Profesionalización de la oficina de comunicación del DNP: Se generó un cambio
de un manejo táctico a un enfoque estratégico en la comunicación de los éxitos
de la reforma general del SGR
DOCumENTO INTRODuCTORIO 111
• Altos funcionarios del DNP entrenados como portavoces, y en la comunicación
de mensajes clave coherentes para los medios de comunicación
• Sistemas de seguimiento y evaluación pueden cambiar las normas nacionales
a nivel de la OCDE: DNP espera para monitorear y evaluar alrededor de 2.000
proyectos de GRS cada año con las metodologías implantadas
• DNP decidió que el nuevo sistema de M&E del SGR se implementará a nivel
nacional y abarcará todos los sectores de desarrollo
Los esfuerzos del gobierno nacional para fortalecer la implementación del
SGR en generar mayor coordinación regional, complementado con un sistema
de monitoreo y seguimiento con metodologías sólidas y rigurosas, que apoyan
la transparencia y fortalecen la confianza, y una mayor visión estratégica de
las comunicaciones de los avances y desafíos que se van alcanzando, han
permitido alcanzar resultados transformadores para Colombia. El apoyo a
los departamentos por parte del gobierno nacional en la implementación
de este complejo sistema, representa una oportunidad clave para desarrollar
mayor confianza nación-región, y por lo tanto generar una dinámica más
colaborativa en el desarrollo sostenible del país.
Tony Blair Associates Government Advisory (TBA-GA) se enfoca en dar
apoyo a diferentes gobiernos para introducir o fortalecer buenas prácticas
de Gobernabilidad, y en este ámbito, un tema de vital importancia para la
gobernabilidad es la capacidad de registrar el progreso, los obstáculos y
resultados de las políticas públicas, programas y proyectos de desarrollo.
El presente documento recoge el apoyo que TBA-GA brindó al Departamento
Nacional de Planeación (DNP) y al Sistema General de Regalías (SGR) en los
temas de Monitoreo, Evaluación (M&E) y Gestión del Conocimiento (GC). Los
aportes en estos temas y las herramientas presentadas en este documento,
representan una forma de manejar estratégicamente la medición, análisis y
aprendizajes en la gestión pública.
El objetivo es lograr que el M&E trascienda de ser un requisito operativo-
administrativo, y se constituya en una estrategia de largo plazo para
incrementar el impacto de los proyectos, la transparencia y el aprendizaje.
El proceso liderado por TBA-GA pasó por tres temas:
RESumEN EjECuTIvO 113
1. Monitoreo.El monitoreo permite al SGR y sus actores, identificar y valorar
los posibles problemas y logros alcanzados. Constituye la base para la
adopción de medidas correctivas, tanto estratégicas como operacionales,
con el fin de mejorar el diseño, forma de aplicación y calidad de los
resultados obtenidos.
2. Evaluación.Es la apreciación sistemática y objetiva del SGR y sus proyectos,
para determinar la pertinencia y el logro de los objetivos, así como la
eficiencia, la eficacia, el impacto y la sostenibilidad para el desarrollo.
3. Gestión del Conocimiento.Proceso cuyo objetivo es generar, compartir
y utilizar el conocimiento tácito (know-how) y explícito (formal) para dar
respuestas a las necesidades del SGR y de las comunidades en su desarrollo.
LAS RECOMENDACIONES
Finalmente, la extensa experiencia de TBA-GA en este tipo de procesos y el
análisis del proyecto han permitido desarrollar recomendaciones para el SGR
y el DNP relativas al Monitoreo, Evaluación y Gestión del Conocimiento.
1. Recomendaciones para el SGR
a. Establecer criterios de desempeño para la asignación de recursos de
fortalecimiento. De esta manera se incentiva el buen desempeño, con
el mayor motivante que son los recursos económicos, y también se
transfieren capacidades a las entidades con mayores debilidades.
b. Implementar una estrategia de incentivos para promover el uso
eficiente y eficaz de los recursos de regalías. Un sistema de ‘premios y
castigos’ permite generar círculos virtuosos que visibilicen el buen y el
mal desempeño, y permitirá a su vez, mejores esquemas de rendición de
cuentas.
c. Presentar las conclusiones de M&E ante directivas SGR y garantizar su
uso. Los resultados del M&E deben reflejarse en decisiones estratégicas;
si la información recopilada no es utilizada, el Sistema de Monitoreo,
Seguimiento, Control y Evaluación (SMSCE) pierde validez
d. Desarrollar un espacio interinstitucional para la reflexión sobre los
logrosy obstáculos en elSGR.Para profundizar la utilización del
SMSCE y aprovechar la riqueza de la información consolidada, es
recomendable crear una mesa interinstitucional para el análisis de alto
nivel de los logros y obstáculos observados en los proyectos financiados
con recursos de regalías, los aciertos y desaciertos en los OCAD, y la
relevancia del triángulo del Buen Gobierno.
e. Profundizar la neutralidad y objetividad del SMSCEpara la
confiabilidad de sus conclusiones y recomendaciones.
2. Recomendaciones para el DNP
a. Liderar el diseño e implementación de un programa de capacitación en
M&E para todos los actores del SGR. Para fortalecer las capacidades de
todos los actores clave del SGR, se requiere formar a las entidades sobre
los instrumentos y conceptos del SMSCE.
b. Mejorar las plataformas de visualización de los datos.El SMSCE
necesita una plataforma on-line para visualizar los datos y análisis de
información, que incluya el uso de mapas interactivos, alertas y tableros
de mando, para dar insumos a los tomadores de decisiones y mayor
control a la Sociedad Civil.
c. Evaluar el sistema de M&E.Es una buena práctica supervisar y evaluar,
en forma periódica, el desarrollo del SMSCE y su funcionamiento.
d. Definir un modelo para que la información del SMSCE sea un insumo
para el Plan de Desarrollo (PD).Las conclusiones sobre logros y
obstáculos a partir de proyectos financiados con recursos de regalías,
puede facilitar la integración de temas territoriales en el PD y la
formulación de políticas públicas.
e. Crear una unidad de GC al interior del SMSCE.El mayor valor del
SMSCE es el aprendizaje, y para gestionar ese conocimiento, se
recomienda la creación de una Unidad de GC que tenga acceso al
SMSCE, las Direcciones Técnicas del DNP, la Presidencia y otros
ministerios.
f. Mejorar los indicadores de resultados desde la formulación de los
proyectos, porque éstos se constituyen en un factor de éxito para todo
sistema de M&E en la calidad de sus indicadores.
g. Calificar y desarrollar el Recurso Humano del SMSCE. Para esto hay que
estandarizar procedimientos en el reclutamiento; se deben desarrollar
habilidades, capacitar al personal vinculado, y se debe evaluar el
desempeño y conocimientos de los equipos SMSCE.
EL IMPACTO DEL PROYECTO
El apoyo de TBA-GA al DNP ha generado productos e impactos positivos en
los temas de M&E y GC. Dichos resultados se han enfocado a atender las
necesidades identificadas inicialmente en el diagnóstico de TBA-GA.
Las metodologías de monitoreo que abarcan más de 5.000 proyectos en
1.098 municipios, y con valor superior a los 5.000 millones de dólares, son
mandatorias por resolución, y fueron diseñadas con el apoyo del proyecto
TBA-GA. Dicho documento incluye las orientaciones legales, metodologías e
indicadores para monitorear el 100% de los proyectos del SGR.
Durante este proceso, el proyecto ha transferido capacidades al
equipo del DNP para fortalecerlo en cuanto a metodologías de monitoreo,
RESumEN EjECuTIvO 115
a otros actores, incluyen la identificación de factores clave de éxito,
formulación de indicadores, y estandarización de herramientas de M&E para
homogeneizar el proceso de registro y análisis de resultados.
En M&E, el proyecto ha apoyado la formulación de las metodologías de
seguimiento y evaluación sujetas a estándares OCDE, que serán presentadas
ante la máxima instancia del SGR (Comisión Rectora) para su aprobación y
puesta en marcha en el SGR. Asimismo, se apoyó el diseño de una evaluación
de gran escala que busca valorar la efectividad de los recursos que el SGR ha
invertido en el fortalecimiento de entidades locales.
Una de las mayores debilidades que se identificaron durante el diagnóstico,
fue la falta de carga de información en los sistemas de información por parte
de entes territoriales, con brechas de hasta el 90% de falta de información
sobre proyectos en los sistemas de información. Por este motivo el proyecto
ha diseñado herramientas y estrategias para incentivar las buenas prácticas
de transparencia y carga de información. En este sentido, el proyecto ha
diseñado e implementado un concurso a escala nacional para identificar y
premiar buenas prácticas de proyectos, con una exitosa convocatoria al recibir
160 propuestas de un universo de 700 proyectos ejecutados. Esta convocatoria
ha permitido identificar proyectos exitosos en cuanto a (i) innovación, (ii)
equidad, (iii) participación, e (iv) integración regional, los cuales pueden ser
registrados y compartidos a nivel nacional. Adicionalmente el proyecto ha
elaborado una caja de herramientas y una hoja de ruta para implementar
Introducción
En un contexto de recursos limitados de regalías por la explotación de recursos
naturales, es necesario desarrollar proyectos capaces de generar cambios
sociales significativos, medibles y replicables. Independientemente de la
naturaleza o tipo de organización que se quiera valorar, la administración es
en esencia es una sola, y toda administración necesita un control de gestión
para evaluar el cumplimiento de los objetivos planteados. En este sentido,
se considera que el SGR, está sujeto a considerar, aplicar e implementar,
principios y herramientas de gerencia administrativa para monitorear y
mejorar continuamente su desempeño.
La ventaja fundamental derivada del uso de un sistema de M&E, se
resume en la reducción de la incertidumbre, la imprecisión y la subjetividad,
con el consecuente incremento en la efectividad. Un sistema que entregue
información periódica y confiable sobre la calidad de la gestión, posibilitará
una mayor eficiencia en la asignación de recursos físicos, humanos y
financieros, y una base de seguridad y confianza en su desempeño al conjunto
de socios y destinatarios. En otras palabras, los sistemas de M&E agregan valor
en la medida que generen información oportuna y relevante sobre el impacto
potencial de las intervenciones que se van a implementar y el cumplimiento
de los objetivos, de manera que los grupos de interés puedan tomar decisiones
para mejorar la pertinencia, la eficacia, la eficiencia y la sostenibilidad de su
inversión social.
CARACTERÍSTICAS MONITOREO – SEGUIMIENTO EVALUACIÓN
SUJETO: Se abordan cuestiones de gestión operativa Generalmente se centra en los aspectos estratégicos
TEMPORALIDAD: Contínuo, regular Se realiza en un momento concreto (Incidental, sistemático)
METODOLOGÍA: Revisión de datos y sistemas de información, métodos de valoración rápida
Metodologías de investigación rigurosas, herramientas más sofisticadas
ENFOQUE: Se enfoca en aspectos operacionales, de gestión Se enfoca en pertinencia, eficiencia, eficacia, sostenibilidad
OBJETIVOS:
Verificar los productos, resultados e hipótesis de desarrollo Documentar fallas, lecciones aprendidas y buenas prácticas
Figura 1: Diferencias
entre monitoreo y
Siguiendo a diferentes autores, Gorgens and Zall (2009), Mackay (2007),
Rugh (2004), Rits and Zall (2004) y Poister (1982), los sistemas de M&E, son
considerados como un instrumento que debe generar información clara
y precisa sobre el valor (económico, social y ambiental) generado por una
organización a través de sus diferentes acciones (proyectos).
Dada la naturaleza innovadora del SGR, su cobertura geográfica y
diversidad de sectores, es fundamental que el SMSCE2 aporte elementos de
aprendizaje derivados de la gestión. El éxito no debe ser medido solamente
en términos del desempeño y los resultados de los proyectos ejecutados con
recursos de regalías; el éxito del SGR es también el grado de aprendizaje y
replicabilidad derivado de una experiencia transferida entre distintos actores y
regiones.
El monitoreo y la evaluación son procesos distintos pero estrechamente
relacionados como se ve en el Figura 1. Se prestan mutuo apoyo y son
igualmente necesarios. El monitoreo puede facilitar datos cuantitativos y
cualitativos, basados en la utilización de determinados indicadores, y tales
datos pueden utilizarse en las actividades de evaluación.
La evaluación también puede servir de ayuda al monitoreo. Puede ser una
fuente de enseñanza que luego se podría aplicar para conseguir innovaciones
metodológicas útiles para perfeccionar la función de monitoreo, por ejemplo,
diseñar indicadores idóneos para futuras fases o programas.
2 El numeral 4 del artículo 9 y articulo 100 de la Ley 1530 de 2012, en concordancia con el numeral 20 del artículo 2 del Decreto 1832 de 2012, corresponde al Departamento Nacional de Planeación, la administración del Sistema de Monitoreo, Seguimiento, Control y Evaluación-SMSCE del Sistema General de Regalías – SGR. Que el artículo 99 de la Ley 1530 de 2012, establece que la finalidad del SMSCE es velar por el uso eficiente y eficaz de los recursos del SGR, el cual se desarrollará de manera selectiva, con énfasis en acciones preventivas.
MONITOREO & EVALUACIÓN – CARACTERÍSTICAS COMPARATIVAS
OBJETO DEL M&E
El M&E son medios para un fin y no un fin en sí mismos. Muchas veces se
concibe al M&E como una imposición, o como un resultado que hay que
alcanzar, pero en realidad, tan solo se trata de un mecanismo útil para
identificar problemas a tiempo, analizarlos y solucionarlos. Específicamente
todo sistema de M&E cumple tres propósitos:
1. Es una herramienta gerencial de apoyo a la toma de decisiones de
ejecución.
2. Genera información accesible, oportuna y de calidad para la difusión y
transparencia en el desempeño. Esta información es útil para el control
social, político y fiscal, y estimula la participación.
3. Es un instrumento para el aprendizaje, ya que está concebido para medir
el éxito, no sólo en términos del cumplimiento de metas, sino también
del análisis y entendimiento de los factores que han incidido en su
cumplimiento, los supuestos, riesgos, lecciones y buenas prácticas que se
van destacando a lo largo de la ejecución.
La relación entre monitoreo, evaluación y gestión del conocimiento, debe
entenderse en forma interactiva. Ninguna de las funciones puede emplearse
en sustitución de la otra. El objetivo del presente documento es dar unos
lineamientos básicos desde TBA-GA:
• ¿Cómo deberían medirse los procesos y resultados del SGR?
• ¿Cómo estandarizar procedimientos eficaces de medición a los proyectos
• ¿Qué elementos clave hay que tener en cuenta para un efectivo proceso de
M&E?
• ¿Qué hoja de ruta puede seguirse para gestionar el conocimiento, las
buenas prácticas y lecciones aprendidas?
01Monitoreo
El monitoreo y la evaluación son funciones de gestión a través de las cuales se
comprueba si los proyectos alcanzan o no sus objetivos, y si contribuyen a las
metas establecidas. A continuación plantearemos el concepto de monitoreo
con base en la literatura vigente, y para ello plantearemos por qué es necesario
un proceso de M&E, su objeto, y qué aproximaciones estratégicas se pueden
tener en cuenta para su diseño e implementación.
A. APROXIMACIÓN CONCEPTUAL: ¿QUÉ ES MONITOREO?
El monitoreo es una función permanente, cuyo objetivo primario es facilitar
a las principales partes interesadas las indicaciones tempranas sobre
los progresos, o falta de los mismos, en el logro de los objetivos de una
intervención.
El monitoreo permite a los actores involucrados, identificar y valorar los
posibles problemas y logros alcanzados. Constituye la base para la adopción
de medidas correctivas, tanto estratégicas como operacionales, con el
fin de mejorar el diseño, forma de aplicación, y calidad de los resultados
obtenidos. Además, hace posible el fortalecimiento y replicación de los
resultados positivos.
Fuente: Basado en OCDE, análisis Tony Blair associates, 2014
‘S i no se pueden medir los resultados, no se puede diferenciar el éxito del
fracaso; si no se puede ver el éxito, no se puede aprender de él, y si no se
pueden demostrar los resultados, no se puede ganar el apoyo público.’
– Basado en Rist y Kuzek
La información del M&E es de utilidad para el SGR en los siguientes aspectos:
• Apoya la toma de decisiones estratégicas en orientación de la ejecución
de proyectos y asignación. La información del M&E puede apoyar las
deliberaciones oportunas de la Comisión Rectora y demás actores del SGR,
ofreciendo evidencia del desempeño en los diversos sectores y proyectos.
El análisis puede hacerse a lo largo del tiempo y así ayudar en la
identificación de aciertos y desaciertos, de tal manera que pueda motivar
el entendimiento de determinado desempeño y tener los elementos para
tomar las medidas correctivas del caso.
• Incentiva la transparencia y apoya las relaciones de rendición de cuentas,
revelando el desempeño, logros y aciertos del SGR. El M&E proporciona
la evidencia necesaria para sostener fuertes relaciones de rendición de
cuentas con la sociedad civil, Estado, comunidad internacional y otros
actores. A su vez, una sólida rendición de cuentas puede ofrecer los
incentivos necesarios para mejorar el desempeño.
• La identificación yanálisis de buenas prácticas, lecciones y aprendizajes
del SGR, se registra en el SMSCE, contribuyendo así al aprendizaje
institucional que se traducirá en nuevas y mejores intervenciones a mayor
escala. El SMSCE orientado al aprendizaje, pondrá este conocimiento al
alcance de usuarios internos y externos.
Documenta
ción
Verificación
Comunicación
Figura 3: Oportunidades del SMSCE para el SGR
•Mejorar la planeación y la organización del SGR como sistema, pero también de sus actores.
•Unificar esfuerzos de elaboración de informes y reportes.
•La implementación de estándares de calidad para el registro y análisis de información, es una garantía para un sistema
que tiene el enorme reto de monitorear un sistema tan vasto y complejo como el SGR.
•Reducir el número de versiones de seguimiento. El control a la gestión será más enfocado.
•Generar y transferir conocimiento a partir del aprendizaje de las experiencias y generar una memoria institucional.
•Visibilizar los logros y resultados de proyectos municipales, departamentales y regionales, permite la superación
profesional, y promover la efectividad.
•Tener el control del avance en el SGR y sobre todo de sus resultados. En Colombia y en el mundo, aún hay una
costumbre de medir actividades; con el SMSCE se podrá medir desempeño y resultados de manera agregada o
desagregada.
•El sistema permite focalizar los esfuerzos en las principales metas de desarrollo, los hitos y aspectos centrales. La
información se puede racionalizar para evitar generar costos innecesarios en su consecución.
•El sistema contiene insumos de información vitales ; es una herramienta poderosa de difusión, visibilidad y
transparencia del esfuerzo nacional con recursos de regalías.
Fuente: Basado en OCDE, análisis TBA-Ga, 2014
Un sistema de M&E debe ser capaz dedocumentar observaciones, de tal
manera que permita la transferencia y la comparación. La comparación es
clave para la verificación sistemática; el M&E debe ser capaz deverificar las
observaciones documentadas contra estándares de desempeño (monitoreo)
y expectativas lógicas (evaluación). Esta tarea es el núcleo de la rendición de
cuentas. Para cumplir la función de aprendizaje, los hallazgos resultantes del
monitoreo y los procesos de evaluación, deben retroalimentar a los proyectos,
ser comunicadosa los actores clave, a una comunidad más amplia y otros
proyectos (Ver Figura 2).
1. Necesidad del M&E
La OECD y su Comité de Ayuda al Desarrollo (DAC en inglés), resume la
importancia del M&E en el contexto de obtener resultados y promover
desarrollo, así ‘la evaluación puede ayudarnos a entender mejor cómo alcanzar
los objetivos de desarrollo – cómo lograr más niños con educación o mejorar
el acceso a agua potable en las comunidades. Las evaluaciones proveen
información útil sobre qué programas o proyectos funcionan mejor, y ayuda
a explicar qué factores contribuyen al éxito o fracaso. Pero no es suficiente
que los evaluadores lleguen a estos hallazgos, ellos deben ser comunicados y
utilizados’.3
Desde 1991, los países de la OECD llegaron a un consenso sobre el primer
conjunto de principios y criterios para la evaluación del desarrollo. Muchos
países e instituciones no-miembros, han abogado por seguir los criterios
3 Organización para le Cooperación Económica y el Desarrollo (OCDE en inglés), The DAC Network on Development Evaluation, Factsheet, OECD, 2010, http://www.oecd.org/
dataoecd/38/42/42500661.pdf
Transparencia
Estandarización - homogeneización
OECD, debido a que son periódicamente revisados, analizados y actualizados.
Colombia, como candidato a ser miembro de la OECD, debe adoptar estos
principios y buenas prácticas de evaluación.
A continuación en el figura 3 se presentan las principales oportunidades y
retos que introduce todo sistema de M&E en la gestión. Las oportunidades se
capitalizarán en la medida en que el SMSCE sea usado por los actores SGR, y
tenga un impacto en las decisiones a nivel local, regional y nacional. Los retos
implican medidas y acciones de diseño e implementación para sacar la mayor
utilidad del mismo.
En resumen, podemos decir que el M&E es una herramienta útil para la
toma de decisiones, la rendición de cuentas y el aprendizaje. En este sentido,
el M&E es una oportunidad para mejorar la planeación, estandarizar reportes,
promover buenas prácticas, enfocarse en resultados, focalizar áreas de
atención e incrementar la transparencia.
B. HERRAMIENTAS DE MONITOREO Y SEGUIMIENTO
El propósito del sistema de M&E, es hacer recomendaciones basadas en
estándares claros de juicio, argumentos y pruebas. Las conclusiones y
recomendaciones del sistema M&E deben venir de demostraciones de campo
y de la aplicación de instrumentos metodológicos adecuados. La selección de
instrumentos debe ser basada en la complejidad del proyecto, la naturaleza de
la información deseada y la diversidad de las fuentes de información.
‘Lo que se mide, se hace.’
– Albert Einstein
1. Herramientas para la recolección de información
Debido a que la iniciativa requiere métodos rápidos de M&E, son necesarios
instrumentos ágiles para capturar la información en terreno. A continuación
una descripción de los principales instrumentos de M&E que podrían incluirse
en el sistema:
La observación estructurada es un método estándar de monitoreo y
evaluación. Las observaciones directas se utilizan para verificar el estado y el
nivel de implementación de los proyectos; varias opciones pueden utilizarse
para para registrar la información de una observación estructurada: listas
de chequeo, escalas de evaluación (descripción cualitativa de algunos
aspectos del proyecto), cuadros (el mismo que el anterior, pero con valores
predeterminados para la obtención de los totales ponderados), así como fotos,
vídeos, audio, etc.
Registro audiovisual
Es muy importante que los profesionales o el equipo en terreno hagan
FODA Indicadores
Fuente: análisis TBA-Ga
audiovisual permite una mayor visibilidad de los logros, sirve como insumo
para la elaboración de informes más llamativos, genera mayor confiabilidad
por proveer un registro transparente de los procesos, y alimenta el archivo del
SGR. Asimismo, el registro y socialización de imágenes y voces de las personas-
comunidades-proyectos, le da mayor soporte al M&E. En este sentido, es muy
importante que los equipos técnicos cuenten con una cámara fotográfica y con
una grabadora de audio.4, 5
Toda la información audiovisual se puede difundir en medios de
comunicación local y nacional ya sea prensa, radio, televisión e incluso
Internet. Asimismo, se cargarán los archivos en el GESPROY para servir como
fuente de verificación, material de insumo para el reporte en informes de
avance, y apoyo a la elaboración de presentaciones del SGR.
La observación es una herramienta recomendada para cualquier proceso
de monitoreo que se haga en terreno; permite registrar hechos específicos y
sustentar análisis cualitativos y cuantitativos
Encuesta
Una encuesta es una herramienta de observación que cuantifica y compara
la información. Se recogen datos de una muestra de la población dirigida por
el proceso de M&E. Un cuestionario es una lista de preguntas que recoge la
información necesaria para la M&E.
Existen diferentes tipos de encuestas o cuestionarios:
4 Para la toma de fotografías es preferible que se haga de día, que haya buena iluminación de lo que se quiere fotografiar (no haya contraluz). Es importante que no se pierda espacio en la fotografía y que se enmarque bien a la persona, la comunidad o grupo de personas, el proyecto, productos, actividad, etc. Deben escogerse un máximo de 5 fotos por proyecto-producto (2 ó 3 al inicio, y 2 ó 3 a la finalización o corte) por lo cual debe hacerse una priorización de las mismas según la calidad y claridad del mensaje. También hay que incluir una breve descripción de lo que se ha fotografiado, incluyendo fecha, lugar, actividad registrada y autor.
124 mONITOREO
Figura 5: Principios básicos para guiar el desarrollo de la encuesta6
•Evite largas introducciones - limite sus preguntas a lo que usted necesita saber, y evite las preguntas sobre lo
que le gustaría saber ,o lo que usted piensa sería interesante
•Considere la longitud que se necesita para completar la encuesta
•Asegúrese de que las preguntas son específicas - si es que son personas demasiado generales , tienen
dificultades para responder a ellas
•Idioma - mantener el adecuado nivel de lectura para las personas que van a responder a las preguntas -
utilizar expresiones y términos que son comúnmente entendidos por las personas a quienes se dirigen
•Evitar preguntas tendenciosas - preguntas no deben llevar a una persona a responder de una manera
particular.
•Para el gran público, trate de no tener preguntas hipotéticas
•Trate de evitar las preguntas que se puedan contestar 'No sé'
•Tome los encuestados y sus respuestas en serio
•Evite la jerga condescendiente
•No presentar preguntas desafiantes
Los cuestionarios estructurados contienen preguntas que los encuestados
deben responder de una manera determinada por la elección de un conjunto
limitado y predeterminado de respuestas. El formato del cuestionario está
diseñado para obtener información sobre los hechos, para averiguar si los
encuestados están de acuerdo a la sugerencia, para registrar sus opiniones
sobre una serie de afirmaciones.
Los cuestionarios estructurados son recomendados cuando hay un
universo amplio de informantes y se busca una serie estadística a partir de los
resultados. Tienen un mayor enfoque cuantitativo.
Cuestionarios de respuesta abierta
En los cuestionarios con respuesta abierta, los encuestados responden a una
pregunta y los entrevistadores toman notas. Así, los cuestionarios abiertos son
similares a entrevistas estructuradas, con elementos abiertos que permiten
una variedad de enfoques y profundidad en respuesta.
Los cuestionarios abiertos son recomendados cuando hay un universo
reducido de informantes y se busca capturar su percepción. Tienen un mayor
enfoque cualitativo.
Un cuestionario puede ser construido usando herramientas en web. Se
aplicará a tanta gente involucrada como sea posible. La limitación es el acceso
6 Es común que las encuestas tengan sesgos, los cuales deben ser analizados de manera previa para minimizar el impacto. Los sesgos comunes incluyen:
Los encuestados tienden responder diferente porque piensan que deben complacer al entrevistador.
Los encuestados tienden a asumir una actitud positiva para evitar que los recursos de futuros proyectos se reduzcan si son críticos.
Los encuestados responden por intereses propios.
Dignidad
Completitud
Realidad
Claridad
Brevedad
mONITOREO 125
a Internet, por lo que no se recomiendan para grupos de beneficiarios sino
para actores técnicos.
La entrevista es una herramienta de recolección de información que
generalmente toma la forma de un debate cara a cara entre el evaluador y el
entrevistado. En M&E, el uso de entrevistas es simple, rápido y asequible, lo
que hace muy útil su uso.
Pueden realizarse tres tipos de entrevistas:
Entrevistas no estructuradas
El entrevistado se expresa libremente y se puede hablar de temas no previstos,
porque no hay un conjunto predeterminado de preguntas. El entrevistador
Figura 5: Principios básicos para guiar el desarrollo de la encuesta7
sólo interviene para generar y desarrollar las cuestiones relativas a los
comentarios del entrevistado.
Este tipo de entrevistas recoge testimonios de los entrevistados utilizando
una guía de entrevista (marco flexible de temas derivados de las preguntas
del sistema de M&E). El entrevistador modifica las instrucciones de la guía de
entrevista con preguntas adicionales, con el fin de desarrollar las áreas útiles
de la investigación durante la entrevista.
Este tipo de entrevista es el de uso más frecuente, sobre todo cuando el
entrevistador sabe suficiente sobre los objetivos y las principales cuestiones a
plantear durante la evaluación.8
Al igual que los cuestionarios abiertos, las encuestas entrevistas no
estructuradas y semi-estructuradas son recomendadas cuando hay un
universo reducido de informantes y se busca capturar su percepción. Tienen
un mayor enfoque cualitativo.
7 Es común que las encuestas tengan sesgos, los cuales deben ser analizados de manera previa para minimizar el impacto. Los sesgos comunes incluyen: Los encuestados tienden responder diferente porque piensan que deben complacer al
entrevistador. Los encuestados tienden a asumir una actitud positiva para evitar que los recursos de
futuros proyectos se reduzcan si son críticos. Los encuestados responden por intereses propios.
8 En el caso de las entrevistas es muy importante que se hagan preguntas cerradas con respuestas cortas, que se hagan en sitios sin ruido ambiental y que se procure la mayor claridad posible en el mensaje. Para esto es muy importante escoger bien los entrevistados y tener preparadas las preguntas específicas previamente. En el caso de M&E estas preguntas pueden girar sobre varios temas como los siguientes (a manera de ejemplo exclusivamente): ¿La actividad o producto ha permitido la participación de diferentes grupos de interés?
El entrevistador sigue estrictamente las instrucciones de las guías de
entrevista. La entrevista se realiza a varias personas, con el mismo conjunto
de preguntas y al entrevistado no se le da la oportunidad de expresarse
libremente. El entrevistador evita la generación y desarrollo de preguntas
adicionales. Las respuestas a cada pregunta tienden a ser cortas.
Las entrevistas estructuradas, al igual que los cuestionarios estructurados,
son herramientas recomendadas cuando hay un universo amplio de
informantes y se busca una serie estadística a partir de los resultados. Tienen
un mayor enfoque cuantitativo.
Grupos focales
Un grupo focal es una entrevista en grupo a personas involucradas con el
proyecto. Está configurado para obtener información sobre opiniones de las
personas, comportamientos, o explicar sus expectativas del proyecto. En ese
sentido, la metodología de grupos focales es una encuesta cualitativa rápida.
Un grupo focal es útil en la evaluación de proyectos o programas pero
particularmente para los estudios de campo con los beneficiarios y agentes
intermediarios. Se forman grupos para trabajar un tema específico a través del
diálogo y la interacción entre sus miembros. ‘Korman define un grupo focal
como: una reunión de un seleccionado grupo de consultores para debatir y
construir, desde su experiencia personal, una temática o hecho social objeto
de investigación’ (Aigneren, 2002).
El grupo debe estar compuesto de ocho a doce personas que tengan
relación o experiencia en el proyecto, y deben sentirse cómodos hablando de
la intervención. Aunque el moderador tiene un marco de la sesión general, se
recomienda formatos flexibles y secuencias de preguntas no estructuradas.
Una simple lista de preguntas puede ser suficiente, porque el propósito de las
sesiones es descubrir temas inesperados. De esta forma, el moderador puede
interactuar con varias personas haciendo un esfuerzo de tiempo y dinero extra.
La metodología de grupos focales puede hacerse con usuarios del proyecto
o grupos de interés, y se recomienda cuando se necesita llegar a un acuerdo
sobre el desempeño del programa y cómo se mide. El grupo focal es un medio
eficaz para recoger información y puntos de vista rápidamente; cuando se trata
de actores con diferentes puntos de vista, alivia la expresión y la explicación de
las discrepancias dentro de esos puntos de vista, así como permite un estudio
profundo de las opiniones de los interesados. Principalmente sirve para
análisis cualitativos.
Casos de estudio
Los estudios de caso son la herramienta preferida de M&E cuando se plantean
preguntas de ‘Cómo’ y ‘por qué’, ya que permiten un examen detallado de los
elementos reales en referencia con los objetivos de la evaluación. El propósito
del caso de estudio es proporcionar un cuadro, que suele ser más fiable que las
mONITOREO 127
Si los casos de estudio incluyen el análisis de los documentos, datos
estadísticos y ejecución, ellos son conocidos principalmente como una
herramienta de observación de campo y un medio para entrevistar a personas
directamente implicadas en el programa, tales como los funcionarios y las
partes interesadas.
Los casos de estudio son útiles para complementar las evaluaciones
cuando se tienen ejemplos demostrativos de hallazgos en el monitoreo. Son
herramientas principalmente cualitativas por recoger información subjetiva.
FODA (fortalezas, oportunidades, debilidades, amenazas)
El análisis FODA es una herramienta de análisis de estrategia. Combina el
estudio de las fortalezas y debilidades internas del programa, con el estudio
de las oportunidades y amenazas externas (entorno). El objetivo del análisis
es tomar en cuenta los factores internos y externos, maximizar el potencial
de las fortalezas y oportunidades, al tiempo que minimiza el impacto de las
debilidades y amenazas. El análisis FODA se prepara generalmente a través de
reuniones con las partes interesadas o expertos en el proyecto. Puede utilizarse
para identificar posibles enfoques estratégicos. Aunque originalmente
diseñado para la planificación, esta herramienta se utiliza en M&E para
asegurar que la estrategia implementada es apropiada para la situación
descrita en el análisis.
Los análisis FODA son útiles para todo tipo de proyecto y de análisis bien
sea cuantitativo o cualitativo.
Indicadores
Los indicadores son herramientas vitales para la medición de avances y
resultados. Por esta razón se hace una exposición detallada de su alcance y
características. Un buen sistema de M&E depende directamente de la calidad
de sus indicadores.
Nacional de Estadística en Colombia (2009), unindicadores
…una expresión cualitativa o cuantitativa observable, que permite describir
características, comportamientos o fenómenos de la realidad a través de la
evolución de una variable o el establecimiento de una relación entre variables.9
Por otra parte, el concepto desempeñoestá basado en el término anglosajón
de government performance, el cual se refiere a la productividad, calidad,
oportunidad, responsabilidad y eficacia de los servicios y programas públicos.
Según Bonnefoy y Armijo (2005):
…El concepto de desempeño en el ámbito gubernamental normalmente
comprende tanto la eficiencia como la eficacia de una actividad de carácter
recurrente o de un proyecto específico. En este contexto, la eficiencia se refiere
a la habilidad para desarrollar una actividad al mínimo costo posible, en tanto
que la eficacia mide si los objetivos predefinidos para la actividad se están
cumpliendo10…
Lo anterior lleva a los indicadores de desempeño, empleados para medir el
progreso de la gestión en el tiempo, con respecto a un valor objetivo o meta.
Un indicador de desempeño corresponde a una métrica de alto nivel empleada
para simplificar información compleja y así apuntar al estado general de un
fenómeno. Permite comunicar tendencias generales y usualmente se emplea
en el nivel de planificación para mostrar progreso hacia el logro de metas.
En este sentido, un indicador de desempeño es una medida que describe el
progreso hacia el logro de uno o más objetivos de un programa, un proyecto y/o
la gestión de una institución.
Siguiendo los lineamientos del Dane, un indicador (de desempeño) debe
cumplir con las siguientes tres características: simplificación, medición y
comunicación.
la realidad, abordando aspectos específicos de alguna de estas (inter.alia
económica, social, ambiental)
• Medición: un indicador hace comparable una dimensión en el tiempo, o
respecto a patrones establecidos.
medición de manera unívoca.
Hay otros tipos de valoración de indicadores como el usado en la presente
consultoría, que se refieren a la metodología SMART. Los indicadores SMART
deben cumplir con los siguientes criterios de calidad:
ESPECÍFICOS (SPECIFIC) Que sea claro sobre qué, cuándo y cómo va a cambiar la situación observada
MEDIBLES (MEASURABLE) Que sea posible cuantificar los fines y
beneficios
ALCANZABLES (ACHIEVABLE) Que sea posible obtener el nivel de cambio reflejado en el indicador
RELEVANTES (RELEVANT) Que se enfoquen en aspectos clave y
necesarios
A TIEMPO (TIMELY) Que establezca un período de tiempo en el que sea posible el cálculo
Economía
Existen diversas taxonomías para clasificar los indicadores de desempeño.
En el presente documento se toman las empleadas por el Banco Mundial11 y
la Comisión Económica para América Latina y el Caribe – CEPAL.12 A partir de
estas, los indicadores se ordenan teniendo en cuenta dos aspectos: i) el nivel de
intervención, y ii) la dimensión del desempeño. El primero hace referencia a la
cadena lógica de intervención de insumos – procesos – productos – resultados
intermedios y finales, mientras que el segundo establece los criterios de
eficiencia, eficacia y economía, y calidad a partir de los cuales se valora el
desempeño.
El uso de indicadores SMART es recomendable para todo proceso de
monitoreo, bien sea a través de indicadores cuantitativos o cualitativos
Dimensión del desempeño
A continuación en el figura 6 se describe en detalle cada dimensión de
desempeño para los tipos de indicadores:
1. Eficiencia
Se entiende como la utilización de una combinación óptima de los recursos
para la provisión de un determinado producto. Establece una relación de
causalidad entre la productividad física y el costo de los factores e insumos
utilizados en la generación de un bien o servicio.
2. Eficacia
Se relaciona con el grado de cumplimiento de los objetivos planteados.
Establece una relación de causalidad entre lo programado y lo logrado,
independientemente de la cantidad de recursos o actividades empleadas
11 Kusek, Jody; Rist, Ray, 2004. ‘Ten Steps to a Result-Based Monitoring and Evaluation System’. Banco Mundial, Washington DC.
12 Ibid. Bonnefoy, Juan Cristóbal; Armijo, Marianela, 2005.
Efectos -
Impactos
Eficacia
Productos
130 mONITOREO
para tal fin. Se centra en el nivel de productos y resultados, con especial
énfasis en la medición tanto en la entrega de productos como la población
objetivo beneficiada (cobertura). Para su medición, es indispensable
contar con metas previamente definidas a través de procesos de
planificación estratégica.
3. Economía
Dimensión a partir de la cual se establece un juicio de valor en torno a cuán
bien son administrados los recursos financieros en la producción de los
bienes y servicios. Mide la capacidad de gestión para generar y movilizar
adecuadamente los recursos financieros para el cumplimiento de las
metas planteadas.
En resumen, los tipos de indicador responden a cuántos insumos se utilizaron,
cuántos procesos se adelantaron, cuántos bienes y servicios se entregaron
y cuáles son los efectos finales logrados. Mientras que las dimensiones del
desempeño permiten saber en qué medida se cumplieron los objetivos, cuál
es el nivel de satisfacción de la calidad percibida por los usuarios, y qué tan
económica y eficiente fue su producción.
2. Herramientas de análisis
Previo y posterior a la captura de la información, es muy importante diseñar y
desarrollar mecanismos de análisis y reflexión sobre el M&E, sus herramientas
y resultados. Para esto es importante que se organicen espacios de análisis
como los siguientes:
Planes de trabajo
Las sedes regionales y la unidad central de M&E en el DNP, deben preparar
planes de monitoreo y seguimiento; dichos planes deben describir en
forma detallada los recursos, la priorización de proyectos a monitorear, la
programación, las actividades que se deben realizar, y los productos previstos.
En ellos se deben indicar con claridad, los calendarios y las personas y/o
instituciones responsables de aportar los insumos y producir los resultados.
Los planes de M&E deben utilizarse como base para vigilar los progresos, y
deben incluirse en el GESPROY.
Espacios de retroalimentación en el terreno
Además de hacer inspección en terreno, los productos físicos y los servicios
del proyecto supervisado, las visitas deben prestar especial atención a
la interacción con los grupos destinatarios para obtener sus opiniones
sobre la forma en que el programa o proyecto les está afectando (directa o
indirectamente, positiva o negativamente), y las soluciones que proponen para
los problemas percibidos. Para estas visitas, el responsable de M&E deberá
llevar consigo la información de avance registrada en el GESPROY y hacer su
validación en terreno.
mONITOREO 131
Es muy importante que la información a socializar con las comunidades
durante las visitas de M&E se base en acuerdos de metas y seguimientos,
es decir, los indicadores y metas de seguimiento deben ser conocidos
previamente por la comunidad en términos de la oferta realista por parte
del SGR. Por ejemplo, si en el tema de mejoramiento de vivienda se quiere
medir la satisfacción y no solamente la cobertura, entonces sobre ese tipo de
información debe basarse la visita de M&E: número de personas satisfechas, o
usando el horno ahorrador, en lugar de porcentaje de cobertura con los hornos.
Las personas que realicen visitas sobre el terreno, deben preparar sus
informes bien en el lugar de ejecución o inmediatamente después de las
visitas, prestando especial atención a la pertinencia y el rendimiento,
incluyendo las señales iniciales de posibles problemas o logros.
Reuniones de M&E – Rendición de cuentas
Dentro del contexto del monitoreo y la evaluación, la retroalimentación es al
mismo tiempo un producto y un proceso. Como producto, la retroalimentación
es la información que comprende las conclusiones y recomendaciones a partir
del M&E, y que debe ser transmitida a las partes involucradas en reuniones
de M&E. Como proceso, la retroalimentación implica la organización y
presentación de la información pertinente en forma adecuada, la difusión
de esta información entre los destinatarios y, sobre todo, la utilización de
esa información como base para la toma de decisiones y la promoción del
aprendizaje.
Las reuniones de monitoreo y espacios de gestión de conocimiento,13
pueden ser un medio eficaz de difundir la retroalimentación en forma de
enseñanzas sustantivas derivadas de la experiencia, que pueden ser de interés
en todas las fases de la gestión del SGR. Es importante identificar qué
aspectos de la retroalimentación son útiles para las necesidades concretas de
información de los actores dentro del SGR.
El uso de la retroalimentación depende de la mayor o menor orientación
hacia la acción, y de la oportunidad de la información, así como de su
pertinencia. La retroalimentación debe estar orientada a la acción, es decir,
concebirse de tal manera que pueda favorecer la toma de decisiones en el ciclo
general de gestión.
Adicional a la retroalimentación de los actores, el M&E debe cumplir su
función como insumo para la toma de decisiones en aspectos financieros
sobre priorización, asignación, desembolsos, focalización de recursos, en
aspectos estratégicos en cuanto a temáticas, acciones específicas en terreno,
realineación de estrategias, y en cuanto al nivel de desempeño. A este respecto
es importante recomendar que el programa conjunto defina y comparta un
cronograma de reuniones de seguimiento con la comunidad.
13 Ver Capítulo de Gestión del Conocimiento.
Reuniones de seguimiento internas (DNP)
El objetivo de las reuniones de seguimiento con el equipo técnico, es
implicarlos en el intento de resolver los problemas relacionados con los
proyectos, creando así espacios de reflexión y participación que redunden en
mejores resultados. Teniendo en cuenta los problemas y las cuestiones que se
van a abordar, esas reuniones podrán realizarse en diferentes niveles y lugares,
con mayor o menor frecuencia.
Las reuniones de seguimiento a nivel interno, deben desarrollarse con el
equipo técnico regional y también con la unidad central. En estos espacios
se puede revisar el avance por región, utilizando el GESPROY como insumo
para analizar avance de actividades, logro de productos, lecciones aprendidas
y evolución de los indicadores de gestión en M&E. Es muy importante
identificar aciertos y desaciertos, así como cuellos de botella y obstáculos para
retroalimentar.
En estos espacios es importante que los equipos lleven la información
sintetizada y prioritaria sobre aspectos positivos y negativos en el desempeño
del monitoreo. Esta puede ser presentada por la unidad de monitoreo y
evaluación, y se debe exponer el estado de avance, incluyendo (i) los objetivos
cumplidos y los progresos desde la última actualización, (ii) metas, y (iii)
lecciones aprendidas. Se recomienda que la periodicidad de reuniones de
seguimiento sea bimensual o trimestral y que cada sesión dure una jornada
completa.
C. EXPERIENCIA EN EL PROYECTO DEL DNP Y TBA-GA – MONITOREO
La definición de Monitoreo por parte del SGR es ‘…la función de monitoreo
consiste en la recolección, consolidación, análisis y verificación de la
información correspondiente a la administración de los recursos del Sistema
General de Regalías y su ejecución’.
El artículo 8 del Decreto 414 de 2013 dispone que el monitoreo se realizará a
partir de metodologías diferenciadas de acuerdo con la labor de los órganos y
actores del mismo, desarrolladas y expedidas por el Departamento Nacional de
Planeación.14
1. Resultados del proyecto TBA-DNP
El principal logro en el tema de Monitoreo, fue la elaboración conjunta
TBA-DNP y la posterior formalización de la resolución sobre metodologías
mONITOREO 133
diferenciadas de Monitoreo 2620 de 2013. Este documento normativo, es clave
por dar orientaciones formales al componente de Monitoreo en el marco
del SMSCE y el SGR. Dicha resolución incluye 6 anexos metodológicos de
monitoreo:
1. Metodología diferenciada para el monitoreo al ciclo de las regalías.15
2. Metodología diferenciada para el monitoreo a la ejecución de proyectos de
inversión, y el giro de recursos a los mismos.16
3. Metodología diferenciada para el monitoreo a los excedentes de liquidez, y
a las inversiones financieras derivadas de éstos.17
4. Metodología diferenciada para el monitoreo a la administración de
recursos destinados al ahorro pensional territorial, y al fondo de ahorro y
estabilización.18
5. Metodología diferenciada para el monitoreo a la ejecución de asignaciones
diferentes a los recursos de ahorro y de inversión.19
6. Anexo técnico no 8. control social.20
Durante el proceso de acompañamiento, el consultor experto de M&E por
parte de TBA se entrevistó con 20 personas de la Dirección de Regalías (ahora
Dirección de Vigilancia y Control), y se desarrollaron 16 reuniones, en donde se
discutieron ajustes según las siguientes sugerencias y recomendaciones
de TBA:
15 Metodología diferenciada para el monitoreo a la presentación, viabilidad, priorización y
aprobación de los proyectos. Esta metodología se desarrolla en el Anexo Técnico No. 2 y
aplica para la información presentada por las Secretarías Técnicas de los OCAD, respecto de las etapas previstas en los capítulos IV y V del Título I del Decreto 1949 de 2012, referentes a la viabilización y registro, y a la priorización y aprobación por el OCAD.
16 Esta metodología se desarrolla en el Anexo Técnico No. 3 y aplica para la información reportada por la entidad pública ejecutora de los proyectos financiados con recursos del SGR, que corresponde a la incorporación de los recursos en el presupuesto de la entidad, la programación de la ejecución, la contratación y el avance físico y financiero de los mismos.
17 Esta metodología se desarrolla en el Anexo Técnico No. 4 y aplica para la información reportada por las entidades beneficiarias o ejecutoras de recursos del SGR respecto de los movimientos, saldos, medidas cautelares e inversiones financieras realizadas a través de las cuentas maestras autorizadas o registradas por el SMSCE del DNP.
18 Esta metodología se desarrolla en los Anexos Técnicos No. 5 y 6 y aplica para la información reportada por los actores del SGR que intervienen en la administración, distribución, ahorro, giro y desahorro de los recursos del Fondo de Ahorro y
Estabilización – FAE, y los destinados al ahorro pensional que administra el Fondo de Ahorro Pensional Territorial – FONPET.
19 Esta metodología se desarrolla en el Anexo Técnico No. 7 que aplica para la información de ejecución presupuestal reportada por las entidades ejecutoras de recursos de funcionamiento del SGR, de SMSCE y de fiscalización de la exploración y explotación de los yacimientos y el conocimiento y cartografía geológica del subsuelo.
134 mONITOREO
1. Especificación de los objetivos de cada metodología.El objeto de cada
anexo debe establecer de manera específica por qué es importante el
anexo y para qué. Del texto se debe deducir fácilmente la finalidad de la
metodología y su justificación. La resolución inicial solo tenía un objeto
descriptivo, y la versión final cuenta con una finalidad más precisa de la
medición
2. Definición de factores clave de éxito. Toda medición en M&E debe partir
de establecer los factores clave de éxito del proyecto o intervención.
Estos factores permiten delimitar los atributos y el foco del monitoreo;
por ejemplo, en los OCAD, la oportunidad o agilidad es un factor clave,
entonces se debe establecer un indicador de