Agencia Suiza para el Desarollo y la Cooperación

Gestión de proyectos basada en resultadosUn vademécum para gente interesada en el desarollo y la cooperación Módulo 3

Medición de los Resultados

2

Indice

1 Introducción 3 2 Medición, Evaluación, Pilotaje 4 3 Indicadores para Medir el Cambio 6 3.1 Uso de los Indicadores 6 3.2 Elementos de Indicadores Completos 7 3.3 Tipos de Indicadores 9 3.4 Calidad de Indicadores 11 4 Medición del Cambio 12 4.1 Línea de Base y Norma de Referencia 12 4.2 Métodos de Recopilación de Datos 14 4.3 Preguntas y Cuestionarios 17 4.4 Calidad de Datos 18 5 Apreciación del Cambio 20

Información legal:Autor y editor de texto: Nadel - Centro para el Desarrollo y la Cooperación, ZurichMandante y editor: Centro para el Desarrollo y la Cooperación COSUDE, Sección del Aseguramiento de la Calidad y Red, BernaTraducción: Alexis Amette, RennesGestión de proyecto: LerNetz AG, BernaIlustración: gut&schön, ZurichDiseño: Büro eigenart, BernaFoto de la portada: Martin Walser, Vaduz

3

1 Introducción

Gestionar un proyecto significa pilotar un proyecto, dirigirlo y redirigirlo, buscar el mejor camino y tomar posibles desvíos. Para realizar este pilotaje de manera racional, tanto la gestión de proyecto como las otras entidades de pilotaje dependen de la relevancia y de la fiabilidad de la información en las fechas previstas. El centro de la gestión de proyectos con-siste en apreciar el progreso del proyecto sobre la base de indicadores claramente definidos y válidos y tomar las decisiones de pilotaje necesarias. Sin indicadores, la gestión de proyectos sería como volar en la obscuridad sin instrumentos de pilotaje.Definir y medir los resultados de un proyecto – outputs y outcomes – es un proceso complejo. Empieza con la identificación y la planificación mucho antes que los primeros resultados del proyecto sean visibles. En el momento en el que llegamos a un acuerdo sobre los indicadores, las declaraciones de resultados a veces imprecisas o abstractas se vuelven entonces más con-cretas. Si esperamos el final del proyecto para reflexionar sobre los resultados, presentarlos con el respaldo de hechos y pruebas puede volverse muy complicado y costoso, o tal vez imposible a realizar. El trabajo de la cooperación para el desarrollo es realizado con el dinero de los contribuy-entes (impuestos) y de los donantes, a quienes debemos mostrar cambios positivos. Por este motivo la siguiente pregunta es fundamental: ¿qué es un efecto? Un efecto es un cambio esperado o no, basado en una intervención directa o indirecta. El efecto no aparece sin otro elemento clave: la causa. Dos elementos son decisivos: un cambio y una relación causal plau-sible entre dos «cosas». Por supuesto, en la cooperación para el desarrollo se intenta brindar cambios relevantes con efectos positivos y significativos.Cuando hablamos de lograr resultados relevantes, aparecen entonces términos como: me-dida, apreciación, evaluación, monitoreo, pilotaje, indicadores, etc. ¿Cómo definirlos y cómo están vinculados los unos con los otros? En este módulo 3 presentamos las bases de la apre-ciación, el término genérico para monitoreo y evaluación, en el módulo 4 nos interesamos por los problemas específicos del monitoreo de proyecto y en el módulo 5 por los problemas específicos de la evaluación.

«Una ley inmuta-ble en los negocios es que palabras son palabras, expli-caciones son expli-caciones, promesas son promesas pero sólo el desempeño es la realidad.» Harold S. Geneen

De�nir y Medir Resultados

ImplementaciónMonitoreo

Resultado

Plani�caciónRevisión/Evaluación

Matriz de Marco Lógico

Resultados eIndicadores

4

2 Medición, Evaluación, Pilotaje

Como lo hemos mencionado anteriormente, los proyectos apuntan a lograr resultados sig-nificativos, o, en otros términos, a brindar un cambio positivo en un grupo meta específico. ¿Cómo podemos medir el cambio esperado, y si se puede en qué medida este ha ocurrido? ¿Y si el cambio se ha producido, como definir si se debe al proyecto y no a otras influencias?¿Cuál es la diferencia entre medición y evaluación? ¿Y cuál es el lugar de la medida, de la apreciación y del pilotaje en el PCM?

1. En la fase de planificación se define y se llega a un acuerdo sobre los resultados esperados,

sobre los indicadores marcando el progreso y sobre los métodos que permiten la obtención de una información fiable.

2. En la planificación definimos también el concepto de monitoreo y de evaluación. ¿Qué verificamos, en qué momento y para que propósito?

3. Cuando realizamos el monitoreo o la evaluación de un proyecto nos aseguramos de que las medidas son tomadas y tratadas de manera correcta.

4. La interpretación de las medidas obtenidas comparándolas con los resultados esperados y tomando en cuenta los métodos de medida son parte del monitoreo y de la evaluación.

5. Otra tarea del monitoreo y de la evaluación es proporcionar evidencias sobre la manera en la cual el proyecto y los factores externos han contribuido a los resultados alcanzados y en qué medida.

6. Finalmente, una tarea clave de la gestión de proyectos, una vez instalado, es tomar las decisiones de pilotaje adecuadas que permitirán el logro de los resultados esperados.

1

2

6

5

4

3

Impl

emen

taci

ónPl

ani�

caci

ón

Interpretar las medidas procesadas

Analizar la in�uencia del proyecto sobre los resultados logrados

Tomar, implementar las decisiones de pilotaje para lograr los resultados esperados

Gestión

Medición

Appreciación = Monitoreo o Evaluación

La Apreciación en la Gestion de Proyectos

De�nir los resultados e indicadores esperados

De�nir el concepto de M y E

Medir y procesar los datos

5

Las etapas 2 y 3, las más «técnicas», son denominadas como: medición. Estas dos etapas junto con las etapas 1, 4 y 5 están denominadas como: apreciación. Deben establecer los resultados, medir y sacar conclusiones y recomendaciones. Evaluar sin medir es solo una su-posición. Dentro de la cooperación para el desarrollo se denomina apreciación al monitoreo (o seguimiento), a la revisión o la evaluación según su intención, su tiempo y el lugar de mando. Dentro de la COSUDE, las apreciaciones formales encomendadas y controladas por la unidad de responsabilidad operativa se llaman revisiones, las encomendadas por la «Sección Evaluación y Control de Gestión» se llaman evaluaciones (externas).En fin, sin verdaderas tomas de decisiones de pilotaje por parte de la gestión de proyectos, el monitoreo y la evaluación tienen un valor práctico poco significativo. La excepción es la evaluación ex post, mucho después de la finalización del proyecto. En este caso, las lecciones aprendidas pueden ser utilizadas en otros proyectos.

6

3 Indicadores para Medir el Cambio

3.1 Uso de los Indicadores

Los indicadores significativos son el elemento central y la base de la medida, de la apreciación y las decisiones basades en evidencias. Generalmente, un primer conjunto de indicadores se forma durante la fase de planificación. Durante la fase de implementación podemos modi-ficar estos indicadores y valores meta planificados a la luz de la experiencia práctica y del estudio de la línea de base efectuada al principio del proyecto.La participación de los actores involucrados en la elaboración de los indicadores y en la definición de los valores meta es esencial para crear un entendimiento común del proyecto y lo que se quiere lograr entre los donantes, los socios, el equipo del proyecto y los ben-eficiarios. Llegar a un acuerdo sobre los indicadores y establecer valores meta nos obliga a mirar nuevamente los objetivos de forma más cercana esta vez. A menudo, esto lleva a la conclusión de que ciertas declaraciones de outcome o output han sido definidas con impre-cisión o de forma irrealista. Eso puede (y debe) llevar a una redefinición de estos objetivos particulares. Este proceso de participación aumenta la apropiación y tiene efectos positivos en la motivación. Además, hacer que el público esté de acuerdo con los objetivos fomenta la rendición de cuentas y protege los proyectos de posibles oponentes.

Los indicadores son los instrumentos de control de un proyecto que proporcionan datos con-cretos y verificables objetivamente sobre hechos que no siempre pueden ser percibidos di-rectamente. En un auto, el velocímetro nos dice a qué velocidad se está conduciendo. Un termómetro nos indica la temperatura del agua de refrigeración y el indicador de combustible muestra la cantidad de combustible en el tanque. Si no prestamos atención a estos indica-dores podríamos tener una multa por exceso de velocidad, el motor podría sobrecalentarse o quedarse sin combustible. La COSUDE define un indicador como «un factor cuantitativo o cualitativo o una variable que proporciona medios sencillos y fiables para medir los logros y resultados, y que refleja tanto los procesos como los cambios en el contexto.»Para seguir con la analogía de la conducción de automóviles, también tenemos que tomar en cuenta la importancia de los factores externos como el estado de la carretera y la densidad del tráfico. Estamos más atentos conduciendo en una carretera de montaña cerca de los acantilados que sobre una carretera amplia y llana sin huecos. ¿Cuán difícil sería conducir si, por ejemplo, no estuviéramos seguros de que los otros automovilistas respetan las señales de stop y semáforos? Por lo tanto, como demuestran los accidentes en los cruces, esta hipótesis práctica no se verifica en todos los casos.

«Usted obtiene lo que mide. Si mide con criterios equiv-ocados, obtendrá comportamientos equivocados.» John H. Lingle

Jerarquía de los objetivos

Indicadores Medios de vericación Factores externos(Supuestos)

Impacto

Outcomes

Indicadores requiridos aquí…

Outputs

… y tal vez aquí

Actividades Recursos Inputs

Indicadores en el Marco Lógico

7

3.2 Elementos de Indicadores Completos

Un indicador completo para un output, un outcome o un impacto está compuesto por varios elementos: Criterio: ¿Qué característica medible de la situación descrita en el output específico, outcome o impacto observamos y analizamos? Medida / indicador: ¿Cómo podemos medir el criterio? ¿Cuál es la unidad de medición?Valor meta: ¿Cuál es la meta cuantitativa a ser alcanzada al final del proyecto, al final de la fase o del año? Línea de Base: ¿Cuál es la situación al comienzo del proyecto?Fuente de datos: ¿De dónde se sacan los datos? ¿Qué métodos utilizamos para recoger datos? ¿Cuando y con qué frecuencia recogemos y recopilamos los datos?Análisis y presentación: ¿Cómo analizamos los datos y presentamos la información? Función: ¿Quién es el responsable para recoger y recopilar estos datos específicos?

Resultado Elementos condensados del Indicador de Marco Lógico Elementos para el Sistema de Monitoreo

Criterio Medida Valor Meta Línea de base o norma de referencia

Medios de vericación

Presentación del Análisis

Función

Ejemplo 1

El niño está sano

Temperatura del cuerpo

°C 36–37 39 Medición con termómetro

Curva de ebre en la cha del paciente

Enfermera

Ejemplo 2

Impacto :Estado de salud de la población mejorado

Prevalecencia de enfermeda-des gastro-intestinales entre los niños menores de 5 años

Número de casos por año reportados en puesto de salud por año

< 250 504 Evaluación de registros de puesto de salud al nal de año

Cuadro en el informe anual

Comité de Gestión del Agua (CGA)

Outcome 1:La comunidad utiliza un abastecimiento de agua sostenible y que funcione bien

Disponibilidad del agua

Número de días sin agua por año

< 10 n.c. Registros CGA Cuadro en el informe anual

CGA

% de grifos suministrando 40 litros de agua potable por persona y por día al nal de la temporada seca

> 80% n.c. Medición del �ujo de agua en los grifos una vez al año Aná-lisis de labora-torio (Ministerio de Salud)

Cuadro en el informe anual

CGA

Output 1:Instalación de bombas

Las nuevas bombas siguen funcionando después de 1 año

Número 45 0 Inspección material

Mapeo Jefe de proyectos

8

En el Marco Lógico podemos inscribir los indicadores en un formulario condensado, porque los indicadores sin metas no proporcionan mucha información:

Impacto: Menos de 250 casos de diarrea por año registrados en el puesto de saludOutcome: Grifos sin agua menos de 10 días al año (media) Mínimo del 80% de los grifos suministran 40 litros por persona y por día

al final de la temporada secaOutput: Las 45 nuevas bombas funcionan un año después de la instalación

Observación: Los valores meta dependen de la situación. Arriba, en el ejemplo 2, establec-emos la meta de 40 litros por persona y por día. Para la ayuda humanitaria en situaciones de emergencia, la COSUDE define el valor meta mínimo de 15 litros por persona y por día.Para verificar resultados complejos y a gran escala como el outcome del ejemplo 2, utilizamos varios indicadores. Sobrecargar el sistema de monitoreo con una multitud de indicadores es un error común, esto convierte el monitoreo en una carga que consume demasiado tiempo y a veces hasta en un fin en sí mismo.Los indicadores producen datos que deben ser tratados de la forma correcta para convertirse en informaciones útiles. La cantidad de datos no es solamente una cuestión de viabilidad, es también un costo. Los datos fiables son valiosos y costosos. Numerosos proyectos des-perdician recursos humanos y financieros acumulando datos sin tener una idea clara de su utilización. El arte de definir indicadores y de tratar los datos empieza con la definición clara de los ob-jetivos a alcanzar. Contestar a una de estas dos preguntas ayudará a reducir la acumulación de datos:- ¿Cuáles son las preguntas específicas a las que los datos deben ayudar a dar una respuesta? - ¿Cuáles son las hipótesis de causa-efecto que los datos deben ayudar a verificar?Cuando el objetivo está claro, es mucho más fácil diferenciar entre los datos que DEBEMOS conocer, los datos que DEBERIAMOS conocer y los datos que SERÍA BUENO conocer. De tal manera, obtenemos los datos indispensables reduciendo su cantidad y el riesgo de perder datos importantes. Menos se vuelve más.

«Los errores más graves no provienen de malas respuestas. El ver-dadero peligro es hacer la pregunta equivocada.» Peter Drucker

Saber que saber

BUENO a saber

DEBERIA saber

DEBE saber

9

3.3 Tipos de Indicadores

Indicadores cuantitativos: Los indicadores cuantitativos (es decir, objetivamente verifica-bles) se refieren a las características que pueden determinarse de forma fiable. Los siguientes ejemplos son todos indicadores cuantitativos simples: • Temperaturacorporaldelniño,• Númerodehogaresa300metrosdedistanciadeungrifo,• Númerodesesionesdeasesoramientoporagentedeextensiónalmes.

Los indicadores cuantitativos complejos incluyen varios elementos que deben ser medidos y después combinados. Un ejemplo relacionado es el indicador sobre la disponibilidad de agua potable, que consiste en medir la producción diaria de un grifo en un período de tiempo especial (al final de la temporada seca, cuando las fuentes suministran la menor cantidad de agua) y su relación con la cantidad de personas del grupo de usuarios.

Los indicadores cualitativos miden las percepciones y experiencias personales y subjetivas. La información cualitativa es de gran importancia y no debe ser descuidada. Los indicadores cualitativos permiten saber lo que es importante para las personas y detectar los efectos no deseados o los elementos que faltan. Sin embargo, la objetividad es un problema. Podemos hacerlos más objetivos y concretos de varias maneras:

• Cuantificamoslosindicadorescualitativos:Porejemploenunaencuestasobreelserviciode buses, los clientes expresan su grado de satisfacción sobre una escala de 1 (insatisfecho) a 5 (muy satisfecho).

• Aumentamos la objetividad con una muestra estadísticamente correcta. Realizamos laencuesta de clientes con un número representativo de personas seleccionadas según su representatividad.

• Anotamoslasindicacionesenunregistrocuandolasobservamos,conelfindeminimizarlos errores que pueden ser atribuidos a nuestra memoria.

Indicadores compuestos: Son indicadores que contienen elementos cualitativos, que requieren una mayor definición y cuantificación. Ejemplo: Indicador de outcome de actividades de desarrollo de capacidades con organiza-ciones comunitarias: número de asociaciones de usuarios del agua (AUA) con buen funcion-amiento. El concepto de «buen funcionamiento» podría definirse como:

• AUAtieneunConsejodeAdministraciónelegido;• AUAsereúnealmenosunavezalmes;• AUAtrabajasegúnreglamentacionesaprobadas.

10

Indicadores proxy: Los indicadores proxy son un medio indirecto para registrar hechos. Los utilizamos, cuando el indicador directo deseado es demasiado complicado o demasiado costoso para medir. Para utilizar los indicadores proxy, un buen conocimiento del contexto es indispensable. Aquí dos ejemplos: • La tasade recuperaciónde inversiónenunprogramademicro-crédito indicadecierta

manera la calidad de la gestión del banco (aclaraciones anteriores con los prestatarios, atenciónalcliente,etc);

• Lasustitucióndetechosdepajaporcalaminametálicapuedeserunindiciodequelasit-uación económica en el hogar ha mejorado.

Criterios estándares: Para varios ámbitos del desarrollo hay listas con criterios estándares y indicadores (por ejemplo, agricultura, salud, desarrollo de empresa, etc.). Las encontramos en los sitios web de organizaciones especializadas de las Naciones Unidas (FAO, OMS, etc) o de redes (ex. Comité de Donantes para el Desarrollo Empresarial, Plataforma Mundial de Donantes para el Desarrollo Agrícola, etc.). Sin embargo, los equipos de proyecto deberían sopesar la ventaja del uso de estos criterios uniformes frente a la ventaja de desarrollar indi-cadores específicos para el proyecto, a través de un proceso participativo. La tabla siguiente proporciona un ejemplo de criterios estándares utilizados en el desarrollo rural.

Seguridad Alimentaria Pobreza Empoderamiento de Organizaciones de Base

Empoderamiento de las Mujeres

• Producción de alimentos• Zona cultivada• Rendimientos de alimentos básicos• Consumo de productos básicos• Precios de alimentos básicos• Acceso a los mercados• Capacidad de almacenamiento de alimentos en las granjas• Desnutrición crónica entre niños• Tasa de retraso del crecimiento (menores de 5 años)

• Ingresos reales de los hogares• Acceso a ingresos no agrarios• Acceso al capital• Acceso al trabajo• Acceso a las instalaciones de riego• Disponibilidad de servicios básicos• Acceso al agua potable• Acceso a la educación básica• Acceso a servicios básicos de salud

• Participación de grupos de agricultores en la toma de decisiones a nivel del proyecto / local• Formación de un grupo de agricultores autónomos en la zona del proyecto• Capacidad de las bases para monitorear y evaluar ellos mismos los avances• Capacidad de comercializar sus productos• Términos y condiciones de los acuerdos de comercialización

• Matriculación de las niñas en educación primaria• Número de grupos de mujeres formados en la zona del proyecto• Número de préstamos aprobados / desembolsados para los grupos de mujeres• Número de grupos de mujeres que tienen acceso a un segundo y tercer préstamo.• Número de mujeres miembros de asociaciones locales de productores o servicios• Capacidad de decisión de las mujeres en los hogares• Participación de las mujeres en la toma de decisiones al nivel de proyecto/local

11

3.4 Calidad de los Indicadores

Existen numerosos sistemas para evaluar la calidad de los indicadores. El mas famoso se denomina con la abreviación SMART – Específicos, Medibles, Alcanzables, Pertinentes y Tem-porales. Esta abreviación es extraída del campo de la educación para verificar la calidad de los objetivos de aprendizaje, y como no todos utilizan los mismos adjetivos para constituir SMART, sugerimos los criterios de calidad siguientes, que incluyen los conceptos esenciales de test: validad y fiabilidad.

Relevante : El indicador representa un aspecto signi�cativo del resultado. Hay un vínculo de causalidad plausible entre el indicador y el objetivo.

Fiable : El indicador es preciso y puede ser medido imparcialmente. Si dos personas utilizan el mismo indicador de forma independiente el uno del otro los llegarán a los mismos resultados.

Realista : Los valores meta del indicador son realizables en el tiempo de�nido.

Su�ciente : El grupo de indicadores relacionados con el objetivo es adecuado para medir el resultado

Factible : Los datos pueden ser recogidos fácilmente, a tiempo y a costo razonable.

Gru

po d

e in

dica

dore

sCa

da in

dica

dor

12

4 Medición del Cambio

4.1 Línea de Base y Norma de Referencia

Los proyectos apuntan a brindar un cambio o una diferencia en la vida cotidiana de las per-sonas y de las organizaciones. Para medir estos cambios o diferencias esperadas, se debe comparar la situación presente con lo que era antes o lo que es en otro lugar. Entonces se necesita puntos de referencia como una línea de base o normas de referencia.

2010 2013 2016

Refe

renc

iaG

rupo

de

cont

rol

Valores MetaLínea de Base Año pasado

Puntos de Referencia para Medir el Cambio

Línea de Base: El concepto de línea de base se refiere a la situación al inicio de un proyecto. La forma más simple de una línea de base es la recopilación de datos para el outcome clave y los indicadores de impacto (máximo de tres cada uno). Cada vez más agencias donantes exi-gen la inclusión de datos de línea de base en las propuestas de proyectos como una condición previa al financiamiento. La comparación entre la medición de los indicadores después de uno o más años y los datos de referencia permite determinar los efectos causados por el proyecto.

Estudios amplios de línea de base analizan en detalle la situación al inicio de un proyecto, recogiendo datos respecto a una multitud de indicadores. Estos estudios a veces forman parte del proceso de planificación y permiten a los interesados obtener una imagen amplia de la situación inicial. Datos existentes como estadísticas, ingresos de los hogares y encuestas sobre gastos, muchas veces pueden utilizarse para los estudios de línea de base (igual como para el monitoreo). Estos estudios detallados de línea de base forman una condición ideal para un estudio igualmente detallado sobre el impacto después de la ejecución del proyecto durante varios años.

En la implementación de proyectos, los estudios detallados de la línea de base que incluyen numerosos puntos interesantes pueden provocar estrés, a menos que el concepto de moni-toreo defina claramente que datos de la línea de base DEBEN ser constantemente actualiza-dos y los que no lo necesitan. Una regla inteligente podría ser: el estudio de la línea de base debe ser simple. Si un estudio de la línea de base está disponible, debe precisar claramente los artículos representando la base del monitoreo y los que pueden ser utilizados para otros fines.

13

El uso de una Norma de Referencia o un estándar de comparación significa comparar el desempeño de su propio proyecto al de los mejores o a un conjunto de normas. Los objetivos de referencia implican juntar los productos entregables o los resultados (outcomes, impacto) con los valores estándar comparables. La evaluación comparativa se utiliza principalmente para establecer metas para la implementación de proyectos. Organizaciones internacionales de las Naciones Unidas especializadas y / o ministerios nacionales han establecido normas o estándares en muchas áreas que pueden ser utilizadas como puntos de referencia.

Una buena manera para medir el cambio es comparar los datos proporcionados por el sistema de monitoreo con los datos del estudio de la línea de base. Pero muchos proyectos carecen de datos fiables para la línea de base. En algunos casos los grupos de control pueden servir de puntos de referencia. Donde los grupos de control no están incluidos en el diseño del proyecto, encontramos pocas veces los puntos de referencia adecuados - o el ejercicio se vuelve demasiado complejo, largo y costoso. Si no existen datos de línea de base ni tampoco grupos de control disponibles, el cambio suele ser evaluado como un ejercicio de retrospectiva preguntando a la gente sobre su percepción de los cambios y del progreso. Pero cuando tenemos que confiar en la memoria de las perso-nas, debemos calcular y aceptar errores de medición importantes.

Tipos de Comparación Aspectos Metodológicos Ventajas Desventajas

antes / después Línea de base : evaluar el cambio comparando la situación al inicio del proyecto con la situación actual.

Fácilmente factible si los datos de línea de base están disponibles y son coherentes con los datos de monitoreo actualizados.

Atribuir el cambio a la acción del proyecto podría ser difícil (factores externos).

con / sin Grupo de comparación o control : evaluar el cambio comparando la situación de los grupos meta con la situación de grupos fuera del proyecto.

Buena manera para atribuir el cambio a la intervención del proyecto, sobre todo si los datos de la línea de base están disponibles en los grupos de intervención y de control.

Difícil de encontrar grupos de control adecuados; puede ser demasiado complejo y costoso.

Diferencia en la diferencia

Lo mejor para el Monitoreo y la Evaluación

Línea de base y grupo de comparación : evaluar el cambio comparando con un grupo de comparación (primera diferencia) antes y después del proyecto (segunda diferencia).

Proporciona la mas alta precisión.Controla el tiempo y los efectos en una ubicación �ja, teniendo en cuenta riesgos de confusión (in�uencias por otro proyecto y factores) y sesgo de selección.

Necesita la más grande cantidad de datos en comparación a los otros métodos.

retrospectiva Reconstruir el cambio : Evaluar el cambio tratando de reconstruir la línea de base y pidiendo a los destinatarios que reconstruyan el proceso de cambio.

Sin necesidad de línea de base. Los resultados pueden no ser muy precisos; la situación inicial no esta clara, a veces con gran error de medición; atribución difícil.

«Procesando cifras, el aproxi-madamente exacto es preferible al precisamente er-róneo.» Carl G. Thor

14

4.2 Métodos de Recopilación de Datos

Aquí se presenta un breve resumen de los métodos ampliamente utilizados en los círculos internacionales de desarrollo.

2 FIDA 2002, Anexo D

Métodos centrales: Estos métodos centrales son utilizados muy a menudo para el monitoreo y evaluación, puesto que son particularmente adecuados para medir y registrar cambios.

• Análisis de costos y bene�cios• Encuestas y cuestionarios• Entrevistas semi-estructuradas • Estudios de caso

• Análisis de los actores involucrados• Revisión de la documentación• Mediciones biofísicas• Observación directa

Métodos de discusión para grupos: Estos métodos son especialmente apropiados para el monitoreo participativo y los procesos de evaluación. La técnica Metaplan (tablón, �chas) es particularmente útil para estimular y estructurar el debate.

• Lluvia de ideas• Grupo focal

• FODA o SEPO• Juego de roles

Métodos para obtener información distribuida en el espacio: Estos métodos permiten registrar los aspectos geográ�cos. Pueden incluir la distribución de tierras y cuestiones respeto al uso del suelo, pero también pueden ser vinculados a la salud, a la educación o a temas económicos

Métodos para modelos de cambio basados en el tiempo: Estos métodos ayudan a registrar y a comprender el cambio basado en el tiempo, por ejemplo, cambios de un mes o un año al otro.

• Agendas• Monitoreo-foto

• Tendencias históricas y calendarios

Métodos para analizar vínculos y relaciones: En el monitoreo y la evaluación es esencial captar los cambios dentro de las relaciones entre grupos (actores involucrados, organizaciones), así como entre los problemas, ciclos de producción, recursos, causa-efecto, e input-output.

• Mapas mentales• Diagrama de �ujo de impacto (causa y efecto)• Diagrama de Venn

• Arboles de problemas y objetivos• Rueda M&E • Diagrama de input-output

Métodos para clasi�car y priorizar: La clasi�cación es importante cuando la información debe ser comparada en base a las fortalezas, la importancia o los criterios previamente de�nidos.

• Clasi�cación de la riqueza• Matriz de notación

• Clasi�cación

Métodos Principales utilizados en el Monitoreo y en la Evaluación2

• Esbozo (mapeo)• Trayectos

• Mapeo SIG (sistema de información geográ�co)• Fotografías y video

15

Hay diferencias importantes entre enfoques y métodos cuantitativos y cualitativos.

Métodos cualitativos: Estos enfoques y métodos son muy populares en el trabajo de desar-rollo, sobre todo porque los enfoques cualitativos concuerdan con un enfoque participativo. Enfoques como la Diagnóstico Rural Participativa (DRP) y el Aprendizaje y Acción Participa-tivos (PLA), que se han convertido en una práctica casi habitual del trabajo de desarrollo inter-nacional, se basan principalmente en métodos cualitativos. Los métodos cualitativos pueden registrarinformaciónconpercepcionessubjetivas,observaciones,sentimientosyopiniones;frecuentemente proporcionan descripciones. De vez en cuando se utilizan otros medios de ilustración como fotografías, dibujos, etc.Los enfoques cualitativos nos ayudan a responder a preguntas tales como de qué manera y por qué determinadas situaciones ocurrieron. Son especialmente adecuados para registrar los hábitos, opiniones, experiencias y prioridades de la gente. Algunos métodos comúnmente utilizados son las entrevistas individuales (con informantes clave), entrevistas de grupo (entre-vistas con grupos seleccionados según criterios específicos) y los estudios de casos. Los críticos sostienen que estos métodos cualitativos para medir el cambio tienen todos el punto común de ser subjetivos y de no ser representativos. Por lo tanto es difícil comparar los resultados y sacar generalizaciones es problemático. Demasiados elementos dependen de la elección de los socios interrogados, de las dinámicas de grupo en grupos de reflexión o de intereses escondidos en la selección de los casos a estudiar. Las ventajas de los métodos cuali-tativos de poder captar las percepciones, las observaciones y las apreciaciones son al mismo tiempo sus principales desventajas. Numerosas personas entrevistadas dan sus opiniones y percepciones como si fueran hechos, y con la ausencia de datos cuantitativos, muchos evalu-adores los toman así.A pesar de esta desventaja, los métodos cualitativos siguen jugando un papel importante en la medida y la apreciación del cambio y también en completar los datos cuantitativos. Ayudan a encontrar interpretaciones plausibles de estos datos. También permiten la apreciación pru-dente de resultados que no pueden ser medidos de otra manera.

Métodos cuantitativos: El objetivo de los métodos cuantitativos es registrar hechos como unidades contables. Ellos proporcionan resultados, que generalmente se expresan en cifras. La exactitud de los resultados depende de la exactitud de los datos primarios, de la exactitud de los instrumentos de medición, del tratamiento correcto de los datos y de su correcta in-terpretación. Estar acostumbrado a las estadísticas es una de las habilidades metodológicas necesarias para utilizar métodos cuantitativos. Los enfoques cuantitativos se utilizan para reg-istrar mediciones cuantificables, por ejemplo, en el rendimiento de cultivos (kg / ha), la con-strucción de canales de riego (km), el aumento de ingresos del hogar, etc. Los resultados de los métodos cuantitativos se presentan en series estadísticas, tablas, gráficos, diagramas, etc. Los métodos cuantitativos también pueden ser utilizados para medir elementos abstractos como las opiniones personales o la satisfacción que generalmente se asocia con la calidad. Como lo muestra el siguiente ejemplo, los cuestionarios y las encuestas estandarizadas están basados en el principio de la cuantificación de las informaciones cualitativas, es decir las opin-iones personales de los encuestados interrogando de esta manera el mínimo de personas nec-esarias para obtener conclusiones estadísticas significativas. Son costosos en tiempo y dinero. Los prerrequisitos para emprender estos tipos de encuestas son las habilidades metodológicas y los recursos materiales y humanos necesarios.

16

Los datos obtenidos por métodos cuantitativos son más objetivos – al menos en el sentido en el que pueden ser verificados de nuevo y validados. Los resultados pueden ser utilizados como puntos de partida concretos para un análisis más profundo de las razones, causas, efectos secundarios positivos y negativos etc. Pero una vez más, los métodos cuantitativos necesitan habilidades especializadas.A los críticos de los métodos cuantitativos les gusta citar Albert Einstein: «Lo que cuenta no puede ser siempre contado y lo que se puede contar no cuenta necesariamente.» Si hacemos solamente lo que se puede contar, tomamos el riesgo de quedarnos superficiales, pero el de-sarrollo apunta a atacar la raíz de los problemas y así brindar soluciones sostenibles.La cooperación para el desarrollo es un trabajo de campo práctico y no está adecuado para debates meramente teóricas. Por lo tanto, el verdadero problema no es cualitativo versus cuantitativo pero cómo combinar los métodos de la manera la más práctica. El desafío es cuantificar lo que se puede con un esfuerzo razonable y valorizar lo que no puede ser cuan-tificado. Para seleccionar los métodos relativos a un contexto específico, consideramos los criterios siguientes:

• Recursosyhabilidadesdisponibles• Requisitosentérminosdeparticipación• Requisitosentérminosdeexactitudyderigorcientífico• Tiempodisponible• Posibilidaddeutilizardatosoinformaciónexistentes

Si los resultados tienen una importancia crucial, y además, son difíciles de medir, los costos de un estudio de impacto realizado por un especialista pueden entonces ser justificados. Eso reduce la carga de trabajo para el equipo del proyecto y aumenta la probabilidad de obtener resultados fiables.

Indicador : Nivel de satisfacción de los agricultores con los servicios de extensión

1.totalmente satisfecho

2.en gran parte

satisfecho

3.mas o menos

satisfecho

4.poco

satisfecho

5.

insatisfecho Sin respuesta

1. Los asesores ofrecen servicios adaptados a mis necesidades.

2. Los servicios de asesoramiento son de primera calidad.

3. Gracias al asesor mis ingresos en la horticultura han aumentado de forma signi�cativa.

4. Estoy de acuerdo con brindar una contribución �nanciera a los servicios de asesoramiento.

5. ¿En qué campos los servicios de asesoramiento deberían ser mejorados? ¿Y cómo?

17

4.3 Preguntas y Cuestionarios

El diseño de los cuestionarios es una habilidad con muchos obstáculos y necesita una pericia especializada muchas veces subcontratado por consultores. Los cuestionarios mal diseñados traen datos que no pueden ser tratados. Lo mismo ocurre con la formulación de las pregun-tas, la unidad básica de un cuestionario. Aquí compartimos algunas consideraciones básicas sobre las preguntas y los cuestionarios:

1. Las preguntas y los cuestionarios suscitan respuestas sinceras. Cuando una persona encuestada piensa que la respuesta puede tener consecuencias neg-

ativas, la probabilidad de obtener una respuesta honesta disminuye. Una primera solución es garantizar la confidencialidad o el anonimato, pero eso no siempre es suficiente.

2. Las preguntas no son basadas en supuestos. Mal ejemplo: ¿Cuál es el porcentaje del presupuesto de su hogar que dedica en la edu-

cación? Esta pregunta contiene tres supuestos dudables: Muchas familias no tienen ingresos fijos.

Ciertas personas no saben cuánto gastan realmente en la escolarización, el transporte, el material etc. ¿Y finalmente, cuántos padres son capaces de calcular correctamente los porcentajes?

3. Cada pregunta solicita una sola dimensión. Mal ejemplo: ¿Es su asesor competente y el servicio útil? ¿Cómo usted interpretaría la respuesta «mas o menos satisfecho»? a) El asesor es bastante competente y el servicio en parte útil. b) El servicio es útil a pesar de las pocas habilidades del asesor. c) El asesor es competente pero el servicio tiene poco valor. d) O ……...4. Las preguntas no implican la respuesta que conviene al interrogante. Mal ejemplo: ¿No debemos aumentar el programa «mosquiteras gratis para la gente po-

bre»? Las preguntas dirigidas son un error común de los principiantes, particularmente en las

entrevistas orales.5. Las preguntas son fáciles de entender. Mal ejemplo: ¿Considerando las dos desventajas, que aparecen como ventajas bajo un

cierto ángulo, no tenemos que desalentar el uso de la tecnología moderna? Las preguntas fáciles de entender se expresan en el lenguaje cotidiano de las personas

encuestadas, usan una sintaxis simple y evitan las expresiones con (doble) negación. A menudo es más difícil escribir preguntas fáciles de entender que escribir preguntas compli-cadas.

6. Los cuestionarios son cortos. Los cuestionarios largos cansan y la calidad de las respuestas baja hacia el fin. Debemos

respetar las limitaciones de tiempo de nuestras personas interrogadas. Además los cues-tionarios largos traen más datos para procesar.

7. Los cuestionarios tienen una estructura lógica. Agrupar las preguntas según los asuntos o según el tipo de pregunta aumenta las proba-

bilidades de que las personas encuestadas completen el cuestionario. Se sienten más có-modos.

«Si usted quiere una respuesta sabia, haga una pregunta razon-able.» Johann W. von Goethe

18

4.4 Calidad de Datos

Aunque teniendo indicadores perfectos e instrumentos apropiados para medir el cambio, hay muchas oportunidades para cometer errores y equivocarse en el proceso de recopilación de datos, su procesamiento, interpretación y en la comunicación hacia el usuario final.

Los puntos siguientes deberían ayudar en mejorar o validar la calidad de los datos:

Muestreo

• Determinarlatallaapropiadadesumuestreoquelepermiteobtenerresultadosestadísti-cos significativos.

• Efectuarunaselecciónaleatoriaparaevitarlosriesgosdeparcialidad.

Recopilación

• Formarbienalosrecopiladores.Debenentenderelobjetivodelarecopilacióndedatosylos métodos utilizados.

• Llamarasuprofesionalidad.Debencomprometerseapermanecerlomásimparcialesposi-ble.

• Haceruntestpilotodelcuestionario.Esopermitereformular laspreguntas imprecisasypuede revelar la necesidad de formar de nuevo a los recopiladores.

Calidad de los Datos

DATOS

UTILISAR

Muestreo correcto

correcta

incorrecto

Recopilaciónmanipulada

incorrecta

¿reparable?

Tratamiento correcto

Interpre-tación

inapropiada

apropiada

incorrecto

réparable?

Descartar

no

no

si

si

incorrecto debido a negligencia, error(o manipulación)

19

Tratamiento • Verificarlaplausibilidaddelosresultados.

Interpretación

• Verificarcadainterpretacióndelosresultadospormediodeunatriangulaciónconotrasfuentes.

20

5 Apreciación del Cambio

La medición del cambio frente a los puntos de referencia es una cosa, pero demostrar que los cambios previstos han ocurrido y fueron causados por las intervenciones del proyecto es otra cosa. Como los proyectos se realizan en contextos complejos y a lo largo de un tiempo determinado, los factores externos juegan un papel y pueden tener una influencia aún mayor que el mismo proyecto. Tres tipos de análisis nos ayudan a determinar los efectos provocados por un proyecto.

El Análisis de Tendencias pretende demostrar hasta donde se puede observar un cambio de outcomes a lo largo del tiempo. Para alcanzar este objetivo necesitamos una línea de base. Idealmente, cada sistema de monitoreo debe ser capaz de conducir un análisis de tendencias. La pregunta es: ¿Estamos yendo en la dirección correcta?

El Análisis de la Contribución pretende demostrar en qué medida el proyecto puede ser una de las causas de los cambios observados en los outcomes. El análisis de contribución se apoya en cadenas de argumentos lógicos (es decir, el Marco Lógico) y en cambios medidos (es decir, un sistema de monitoreo). El análisis de la contribución debe ser parte de todo informe de evaluación. La pregunta es: ¿Nuestros argumentos SI-ENTONCES y supuestos son (todavía) correctos?

El Análisis de Atribución tiene por objetivo evaluar la proporción del cambio observado, que puede realmente atribuirse al proyecto o programa evaluado. Esto implica elaborar una evaluación contrafactica: ¿Cuál habría sido la condición de la población en el momento del análisis de impacto, si el proyecto no hubiera sido llevado a cabo? Esto suele ser posible para los outputs de proyectos, a veces para los outcomes y en la mayoría de los casos imposible para los impactos de un proyecto.

«Una medición más precisa de lo necesario perjudica tanto como una medición que no es suficientemente precisa.» Arthur David Ritchie

Tendencia – Contribución – Atribución

Matriz de Marco Lógico

análisis de tendencia= monitoreo

Análisis de atribución = evaluación de impacto

Marco Lógico parael Análisis de Contribución

Línea de base

atribución del proyecto

factoresexternos

Ingr

esos

del

alg

odón

org

ánico

en

la re

gión

2006 2008 2010