Monitoreo y Evaluación para la Gestión para Resultados

Estrategia y Plan de Acción para la Efectividad en el

desarrollo en Brasil—Taller de arranque

Brasilia, 18/Sep/ 2006

Angel Saz-Carranza angel.saz@nyu.edu

Contenido

Introduccion La evaluacion Sistemas de evaluacion La GpR en NYC

Evaluación y Monitoreo

Evaluación: la valoración puntual de una intervención.

Monitoreo: la valoración esporádica y/o continua del avance de una intervención.

EM de resultados

Énfasis en las consecuencias, productos o impactos de una intervención

Diferente de la gestión para resultados la evaluación de resultados es una

herramienta para la gestión por resultados

La evaluación de los resultados de la gestión pública

No es un fin en sí mismo No es una herramienta neutral

La organización pública como sistema de producción

PROCESO

Procesos de producción y prestación de servicios (sistemas de gestión)

Servicios &Productos

Resultados(cambio)

INSUMOS

AutorizaciónRecursos humanos

Tecnologías & informaciónRecursos financieros

Criterios de evaluación:

Transparencia

Responsividad

EfectividadCalidad/Impacto

Legitimidad

Legalidad/Equidad

Eficiencia/Economía

OUTPUT

EM de resultados: una herramienta para la gestión por resultados

La efectiva evaluación y el monitoreo de los resultados de la gestión pueden promover una cultura orientada a resultados:

información útil para tomar decisiones en

varios niveles retroalimentación para mejoramiento

continuo de procesos, sistemas y funciones información útil para la rendicion de

cuentas en varios niveles

La Evaluación en el Sector Público La evaluación cumple funciones

diversas en distintos países: Las prácticas varían de acuerdo

con: Quién comisiona la evaluación? Qué se va a evaluar? Quién realiza la evaluación? Quién utiliza la información y las

recomendaciones?

Tres grandes “eras” en la evaluación de lo público (programas, políticas y reformas)

Era Condiciones Enfoque de la reforma Enfoque de la evaluación

60’s y 70’sProsperidad económica

Diseño e implementación de políticas; reorganizaciones; descentralización

•Mejorar la política (énfasis en impactos y efectividad de los programas)•Evaluación de programas como parte de la planeación de las políticas

80s y 90’s Crisis--Retroceso económico

Desregulación; privatización; reducción de costos

•Reducir/racionalizar el gasto; legitimizar decisiones (maximizar insumo/producto = eficiencia)

95s +

Contracción moderada –gerencialismo

“buen gobierno”

Reducción del tamaño; fortalecimiento institucional; flexibilización; agencias independientes; externalizaciónes y contratación - gestión del desempeño

•Racionalizar, fortalecer, mejorar y legitimar el sector publico (énfasis en los resultados -efectividad, eficiencia, calidad, etc)•Evaluación como parte del ciclo de gestión estratégica

Evaluación y Monitoreo de los Resultados

Nuevo enfoque es “universal” pero… Experiencia, investigación y tecnología

desarrolladas en el Norte Experiencias en el Sur no han sido

suficientemente documentadas Además:

Vienen del sector privado y deben transformarse

Evaluacion

Introduccion: la evaluación de proyectos

PROGRAMACIÓN

FORMULACIÓN

IDENTIFICACIÓN

EVALUACIÓN

EJECUCIÓN

•Análisis de “stakeholders”•Lista de problemas

•Análisis de problemas•Análisis de objetivos•Análisis de alternativas•Matriz

•En base a la Matriz

•En base a la Matriz

Ingresos derivados de productos

agrícolas incrementan

Bienes se venden a un precio aceptable

en los mercados urbanos

FINES

Transporte y comunicacion

mejora

Lluvias abundantes pero no anormales.

Carreteras son mantenidas

correctamente

Agencia de infraestructura es

eficaz

Inversión del Estado en infraestructuras

incrementa

Tecnología utilizada adecuada

Personal capacitado

MEDIOS

OBJETIVOESPECÍFICO

Lógica de intervención / Teoría de cambio

OG: Transporte y comunicacion mejoraOE: Agencia Estatal de Infraestructuras es eficazOI1: Tecnología utilizada es adecuadaOI2: Personal capacitadoA1.1: Identificar deficits tecnológicos.A1.2: Adquirir tecnología necesaria.A2.1: Identificar deficits formativos.A2.2: Formar al personal.

Lógica de intervención / Teoría de cambio

Los indicadores objetivamente verificables Constituyen las descripciones operativas de los

objetivos globales, del objetivo específico y de los resultados.

Permiten observar indirectamente los objetivos del proyecto.

Un buen indicador debe ser (SMART): Específico: El indicador se ha de relacionar directamente

con la variable que queremos medir. Medible. Estar disponible a un coste aceptable. Pertinente respecto a un objetivo preciso. Estar disponible en un tiempo aceptable.

Ejercicio

Construir tres indicadores para los siguientes objetivos:

Reduccion de la pobreza

Mejora de la educacion

Mejora salud humana

Las fuentes de verificación Indican dónde y cómo se pueden encontrar

las informaciones necesarias para los indicadores.

Deberían especificar: El formato de presentación de las informaciones

(informes intermedios, registros del proyecto, estadísticas oficiales, etc.).

Quién debe proporcionar las informaciones. La periodicidad con la que las fuentes deben ser

proporcionadas.

OG: Transporte y comunicacion mejora

I.OG: La duración media de un trayecto via una las carreteras mejoradas se ha reducido un 15%

FDV.OG: Informes de investigación dirigidas a usuarios

OE: Agencia Estatal de Infraestructuras es eficaz

I.OE: Normas de calidad de la red de carreteras controladas

FDV.OE: Informe de monitoreo de la agencia

OI1: Tecnología utilizada es adecuada

OI2: Personal capacitado

I.R1: Tecnología utilizada esta conforme con los estándares profesionales internacionales

I.R2: El 100% del personal está capacitado para su posición de trabajo.

FDV.R1: Informe de asesoría técnica externa.

FDV.R2: Certificados de formación.

Ejercicio: 2 —construye indicadores e indica sus fuentes de verificación para la siguiente lógica de intervención—

PROGRAMACIÓN

FORMULACIÓN

IDENTIFICACIÓN

EVALUACIÓN

EJECUCIÓN

La Evaluación

Motivo ¿Por qué queremos evaluar? ¿Quién quiere saber?

Objeto ¿Qué es lo que se va a evaluar? ¿Qué espacio de tiempo se quiere evaluar?

Criterio de la evaluación ¿Qué queremos saber de lo que vamos a

evaluar?

Motivos de la evaluación

¿Por qué queremos evaluar? Rendición de cuentas “accountability” (Parlamentos, Boards,

etc.) Asignación Aprendizaje: aprender lecciones

¿Quién quiere saber? ¿Es el mismo actor que consumirá información?

Motivos Explícitos – implícitos Personales – organizacionales

Objeto de la evaluación Objeto/nivel de la evaluación/unidad de análisis:

¿Qué es lo que se va a evaluar...? Proyecto individual Programa/ Sector Política

Espacio de tiempo que se quiere evaluar (un ciclo de programación; más de un ciclo; etc.)

planificacion input aplicado

proceso ejecutado

output outcome

situacion contrafactual

objetivo 1

impacto

efectividad

eficacia 2

eficiencia 1

objetivo 2

eficacia 1

eficiencia 2

input asignado

proceso planificado

economía

Criterio de la evaluación ECONOMÍA

Relación input asignadoi-input aplicado EFICACIA

Relación objetivo fijado-resultado conseguido EFICIENCIA

Relación input aplicado-output producido EFECTIVIDAD

Relación output producido-resultado conseguido IMPACTO

-Grado de modificación conseguido EQUIDAD

Relación distribución valor público fijada-conseguida SATISFACCIÓN

Relación expectativas esperadas-satisfechas

Evaluación absoluta / postmoderna

Evaluación gestora / controladora

Evaluación positivista / científica

El diseño de la Evaluación

(El diseño o metodología) El evaluador

¿Quién va a evaluar? El marco temporal

¿Cuándo vamos a evaluar? Muestra

¿Que actores, actividades, datos vamos a utilizar en el análisis?

Recolecta de datos Análisis de datos

Programación Ejecución EvaluaciónImpacto

Programación EjecuciónEvaluación

Impacto

Programación Ejecución

Programa 1

Programa 2

Programa 3

Marco temporal

HERRAMIENTAS ANALÍTICAS

Análisis de beneficiariosAnálisis de conflictosAnálisis de génerio

Análisis participativo ruralAnálisis de riesgo

SARAR (self-esteem, associative strength, resourcefulness, action

planning and responsibility) Análisis de escenarios

Análisis de stakeholder

MÉTODOS PARTICIPATIVOS

Acceso a recursosAnálisis de taréas

Mapping Análisis de necesidades

Pocket Charts Juego de roles

ÁrbolesRanking

Talleres:Planificación por objetivos

Marco lógico

MÉTODOS CUALITATIVOS

Observación directaGrupos de expertos

Entrevistas en profundidadEntrevistas desestructuradas

MÉTODOS CUANTITATIVOS

EncuestasAnálisis bivarianteAnálisis de clusters

Correlaciones

Restricciones

Recursos disponibles (relación coste-calidad)

Información disponible (primer y segundo grado)

Disponibilidad a cooperar de los actores implicados (locales e internacionales)

Impacto

A1 B1

A2 (con)

B2 (sin)

T1 (antes) T2 (después)

Con P

Sin P

Impacto: diferencia entre lo que ha pasado (el outcome) y lo que hubiera pasado

V. Estadística

V. Interna

V. Constructo

Conclusión Motivo Objeto Criterio Evaluador Marco temporal Muestra Datos Análisis

Sistemas de Evaluacion y Monitoreo

Marco conceptual Para qué evaluar?

las múltiples funciones de la evaluación (visión estratégica para generar valor público)

Qué evaluar y a qué nivel hacerlo? el alcance de la evaluación

Qué hacer con la información? la relación entre el uso de la información y

el mejoramiento de la gestión

Para que evaluar? Aprendizaje

Se lograron los resultados esperados? Cómo alcanzar mayores logros ? Cómo mejorar?

Asignación Se debe re-considerar la asignación actual?

(ofrecer mas o menos recursos?) Se justifica mantener o eliminar la unidad

evaluada o sus partes? Legitimación

Cumple el gobierno sus promesas? Es efectivo? Es transparente?

País

Propósito declarado

ColombiaSINERGIA

Costa Rica SINE

Uruguay SEV

ChileSCPG SCG

Mejoramiento de la gestiónorganizacional

X X X

Asignación presupuestaria(racionalización del gasto)

X X X X

Mejoramiento de políticassectoriales y programas

X X

Planificación estratégica yglobal de las políticas

X X X

Responsabilización y rendimiento de cuentas

X X X X

Para qué evaluar los resultados de la gestión?

Modernizacion & Democratizacion

Alemania

Holanda

80 90

ModernizacionDemocratizacion

Modernizacion Democratizacion

Debate

Una orientación a los resultados de la gestión puede ...

...debilitar la democracia

...la democracia

Dos OrientacionesModelo

PlanModelo

Presupuesto

Enfasis en la responsabilización políticaFunción: Aprendizaje/legitimación

Enfasis en la responsabilización gerencialFuncion: Aprendizaje/Asignación

Organizado en función del Plan Nacional de Desarrollo

Organizado en función del ciclo presupuestario

Colombia: DNP - Departamento Nacional de Planeación Costa Rica: Mideplan - Ministerio de Planificación

Uruguay: OPP - Oficina de Planeamiento y Presupuesto Chile: DIPRES - Division de Presupuesto, Ministerio de Finanzas

Evaluación de los resultados de la gestión pública paraObjetivos declarados Modelo

PlanModelo

Presupuesto

Modernizar:El mejoramiento de la gestión

Relaciona el desempeño con el

desarrollo de la política pública

Relaciona el desempeño con la

asignación del presupuesto

Democratizar:Responsabilización y transparencia

Principal criterio de responsabilización:

político

Principal criterio de responsabilización:

gerencial

Qué evaluar?

Que enfocar? Componente de cadena de valor Criterio

A que nivel? Macro (sector), meso (organizacion), Micro (persona)

Casos LA

NivelCOLOMBIA SINERGIA(mon&eva)

CSTA RICA SINE(monitoreo)

URUGUAY SEV(monitoreo)

CHILESSPG SCG(mon&eva)

Macro PNDSectores

PNDSectores

Meso Programas[agencias]

Programas Agencias

Agencias ProgramasAgencias

Micro Unidad de presupuesto

Niveles de desempeño

Casos LA (2)

Chile :dos sistemas, muchos

componentes

Colombia :un sistema, tres componentes

Uruguay y Costa Rica: un sistema

(de monitoreo)

• SSPG (SEGPRES) Monitoreo de metas y objetivos

• SCG (DIPRES)Monitoreo y evaluaciones

•Monitoreo de objetivos y resultados

• Evaluaciones estratégicas

•Diseminación y rendimiento de cuentas

• Medición, monitoreo, rendición de cuentas

Qué hacer con la información?

Preguntas claves sobre la información generada: Es confiable? Es accesible? Se consume? Produce consecuencias?

Es confiable la información?

Credibilidad de la información depende de:

Quien decide los indicadores? Quien recoge los datos? Rigor metodológico, problemas de

medición Que hay detrás de un indicador?

Se consume la información? Destinatarios/usuarios potenciales

Poder Ejecutivo

Ministerio de Planificación Ministerio de Hacienda Ministerios sectoriales (ministros) Jerarcas y funcionarios de varios niveles de gestión Presidente de la Republica Organismos de auditoria y control Oficina Nacional de Presupuesto

Poder Legislativo Parlamento

Sociedad civil Organizaciones Ciudadanos

INE MEInformacion 1 Informacion 2

RetroalimentacionInformacion 3

Consultores

DecisoresGerentes……Ciudadanos

Usuarios 1

Usuarios 2

Informacion 4

Tipos de informacion & usuarios

Costes

De inversion De funcionamiento:

Quien los cubre: Usuario de informacion Proveedor de informacion

Depende del formato de la informacion en:

En output En input

Problemas Uso limitado de la información para

la toma de decisiones Información útil a nivel macro no es útil

a nivel meso (muy agregada) Información llega demasiado tarde

para ser útil Información no es confiable para ser

útil No hay incentivos formales para usar la

información

Desafíos Uso limitado de la información

La información todavía no afecta el aprendizaje ni la asignación como se esperaba.

Avances técnicos, pero la información aun no es confiable, accesible, usable

Falta integración El ciudadano es el gran ausente de los sistemas

de evaluación de los resultados de la gestión Cuanta y que tipo de información proporcionar

al público toda info no es susceptible de ser publica

El ciudadano puede ser el garante para la sostenibilidad de estos sistemas.

Nivel municipal Caracteristica principal:

cercania/interaccion general Positivo: integracion/coordinacion parece

menos problematica Negativo: paradoja global/local

Los representantes de los habitantes de las ciudades “suelen enfrentarse a una empresa imposible, se mire por donde se mira: la de encontrar soluciones locales a contradicciones globales” (p23).

Negativo: puede entorpecer funcionamiento.

La GpR en NYC

Mayor´s Management Report

Elementos del sistema Informe del alcalde Indicadores adicionales Descripcion de indicadores Estadisticas vecinales 311 La tarjeta de resultados de calles limpias CapStat: Citywide Accountability Program

Informe del alcalde

Informe 2: Indicadores

Informe 3: Descripcion de indicadores

Estadisticas vecinales

El servicio 311

La tarjeta de resultados (scorecard)

CapStat: CompStat

CapStat: Campanya politica

Bibliografia Performance evaluation, public management improvement and democratic

accountability. Sonia Ospina, Nuria Cunill Grau, Ariel Zaltsman. 2004. Public Management Review

Evaluación de la gestión pública: conceptos y aplicaciones en el caso latinoamericano. Sonia Ospina Bozzi. Reforma y Democracia.

OCDE (1997) In search of results: Performance Management Practices. www.oecd.org/dataoecd/10/60/1902712.pdf

IMF Working Paper. Does Performance Budgeting Work? An Analytical Review of the Empirical Literature. Prepared by Marc Robinson and Jim Brumby

Evaluación del impacto de los proyectos de desarrollo en la pobreza. Manual para profesionales. Judy L. Baker. Banco Mundial. Washington, D.C.

Between Democracy and Efficiency: Trends in Local Government Reform in the Netherlands and Germany. F Hendriks, P Tops - Public Administration, 1999

Confianza y temor en la ciudad. Zygmunt Bauman. Arcadia, 2006.

"En la medida en que las leyes de la matemática se refieren a la realidad, no son exactas, y en tanto son exactas, no se refieren a la realidad."

Albert EINSTEIN