EVALUARPARA LA ,TRANSFORMACIONInnovaciones en la evaluaciónde programas y proyectos sociales

Oiga NirenbergJosette BrawermanVioleta Ruiz

EVALUAR PARA LA TRANSFORMACiÓN

II

•

TRAMAS SOCIALESDirectora de colección:Lic. Irene Gofman

20. S. Checa (comp.)Género, sexualidad y derecbos reproductivos en laadole.\'cencia

21. T. PuigLa cormmiwcirín 'l1lUnicipal crímplice con los ciud{ulanos

22. M. Caracciolo Basco y M. LaxaldeEconomía .mlid{lria y capital.mcial

23. M. MonteroIntT'oduccirín a la psicología C017lU7Útaria

24. H. Lejarraga (comp.)De,wrrollo del nifio en contexto

25. G. KesslerDelito, exclusirín y juventud

26. V. RuizLa.\' orgrmizacione.\' c07mmitaria.\' y gestirín asociada

27. M. MucciP~;icoprojilaxis qltirÚrp;iw

28. T PuigSe awbrí la diversirín

29. F. ElíasLa adopcirín de niiios como cuestÚin social

Si desea recibir información mensual de nuestras novedades/publicaciones,y ser incorporado a nuestra lista de correo electrónico, por favor envíenoslos siguientes datos a difusión@editorialpaidos.com.arNombre y apellido, profesión y dirección de e-mai!.

EVALUAR PARALA TRANSFORMACiÓNInnovaciones en laevaluación de programasy proyectos sociales

OLGA NIRENBERGJOSETTE BRAWERMANVIOLETA RUIZ

~I"~PAIDÓS

BuenoS AiresBarcelona

México

Cubierta de Gustavo MacriMotivo de cubierta: Fragmento de Paisaje de Céret (1913) de ,Juan Gris

- --------- ..----- ...-------.

LAS AUTORAS

302.3NIR

Nirenberg, OigaEvaluar para la transformación: innovaciones en la

evaluación de programas Y progmmas sociales / OigaNirenberg, Josette Brawerman y Violeta Ruiz.- 1" ed_2" reimp,- Buenos Aires' Paidós, 2005.

224 p. ; 21x13 cm.- (Tramas sociales)

ISBN 950-12-450S-X

1. Brawerman, Josette 11. Ruiz, Violeta 111. Título -1. Interaccíón Social Intergrupal

1" ediciÓn, 20001" reimpresiÓn, 200:!2(1 reilnpresiÓn, 2005

Quedan rigurosmnente prohihidas, sin In auLori~aciÓn (~scrita de los titulares del copyright,bajo las sanciones establecidas en 1<1s h~yn.s, la reproducciÓn total o parcial de esta o.bra porcualquier medio o procedimient.o, cOlnprcndidos la reprografía y el tralnn1i(:nLo informÚ{;¡co, y la

distribuciÚn (h~ ejemplares de (~lla mediante a!qui]cr o prést.amo pÚblicos.

© 2000 do todas laH "dicionos en castellanoEditorial Paid<is SAICFDeJ(,nsa 599, Buenos Airese-mail: literaria(g.editorialpaidoH.com.arwww.paidosargentina.col11.al.

Quoda hecho el dopÓHito 'llW provi01'" la Ley 11.72:3ImpreHo "n la Argentina - 1'ril1t"d in Argontina

Impreso en Gráfica MPS,Santiago del I,stero :3:38, LanÚs, "n fobrero de 2005

Tirada: 1000 ejemplaros

ISBN 950-12-4508-X

OIga NirenbergEs sociÓloga (Universidad Naciona] de Buenos Aires

-UBA-), con pos grados en PlanificaciÓn Social y en Sa-lud PÚb]icl. Es directora ejecutiva del Centro de Apo-yo a] Desarrollo Loca] (CEAD EL) y coordinadora de]~lrea de eV;l]uaciÓn de] Programa de Atención a Nii10s yAdolescentes en Riesgo (ProAme, Secretaría de Desa-rrollo Social/BID). Trabaja como consultora en evalua-ciÓn para otros programas nacionales de ]a Secretaríade Desarrollo Socia] y en el Programa Materno Infan-ti] y NutriciÓn (PROMIN, del Ministerio de Sa-]ud/BIRF), y para programas internacionales, en espe-cial e] Programa Regional de Salud Integra] del Adoles-cente de la OPS-Washington DC y e] Programa UNI de]a FundaciÓn W. K. Kellogg.

Josette BrawemUllEs sociÓloga (UBA), con estudios de posgrado en P]a-

nificaciÓn Social. 1 la sido consultora del Centro Intera-mericano de Des:lrrollo Socia] de la OI'~A y de UNICEF

7

Oiga Nirenbax, ]o.\'ette BTtlwC'rman, Violeta Ruiz

Argentina. En la actualidad es miembro del equipo técni-co de CEADEL y consultora del área de evaluación delPrograma Materno Infantil y Nutrición (PROMIN, Mi-nisterio de Salud/BJRF) y del Programa de Atención a Ni-fíos y Adolescentes en Riesgo (ProAme, Secretaría de De-sarrollo Social/BID).

Violeta A. RuizEs socióloga (UBA), con estudios en Programación

Social. En 1997 recibió el Premio Adeba por el trabajopresentado sobre la evaluación del Programa MaternoInfantil del Ministerio de Salud. Se desempeiló comoconsultora en programas sociales dependientes de distin-tas áreas de gobierno y Organizaciones de la SociedadCivil (OSe:). Ha coordinado y colaborado en evaluacio-nes de programas para la Dirección Nacional de GastoPúblico Social del Ministerio de Economía, CEADEL,UNICEF Argentina y programas dependientes de la Se-cretaría de DesarroUo Social de la Nación.

8

,INDICE

Prólogo, Leopoldo f1{tlperín 13Introducción 21

Capítulo 1: ¿Para qué la evaluación? 27lntroduciéndonos en tema 27La eva¡uaciÓn como momentoo funciÓn de la gerencia 29Intentando um definiciÓn 31EvaluaciÓn e investigaciÓn: bastantes similitudesy algunas diferencias 36Cambios en los estilos de evaluaciÓn 38La evaluaciÓn para ]a transfÓrmaciÓn 42Aprendiendo con la evaluaciÓn y de eJLl 46E] proceso de la evaluaciÓn 48

Capítulo 2: Los tipos de evaluación 5]Antes, durante o después: siempre hay que evaluar 53Conjugando el verbo evaluar: ¿nos evaluamos o noseva]ú,ln? 58Los múltip]es propÓsitos de la evaluaciÓn 62

9

OIga Nirenberg, ]osette Brawerrnan, Violeta Ruiz

tnfasis segÚn temas: ¿qué evaluamos? 65Los distintos objetos posibles de evalmciÓn:¿tipos o niveles de análisis? 72Para evaluar las evaJuaciones 75La 11lultidimensionalidad de la evaluaciÓn 77

Capítulo 3: Los abordajes metodológicos 79Evalu~lciÓn cuantitativ~l y cualitativ~l.Un debate histt)rico 80¿p:valuaciÓn cuanti;ativa o cualitativa?Es,] no es la cuestl0n 85Una cuestiÓn central: el rigor metodol(o)gieo 91Actores y audiencias 96

Capítulo 4: Las técnicas de evaluación 105Acercíndonos a las técnicas 105Los diferentes tipos de técnicas 107¿Cómo decidir qué técnicas utilizar? 129¿Y sobre los instrumentos) 130

Capítulo 5: El diseño de un modelo evaluativo 1B¿Por qué un modelo? 133Los atributos dese~]hles de un modelo evaluativo 135Las partes que integnl11 un modelo evaluativo 138Parte por parte 138Las dimensiones del modelo evalu,]tivo 144Abriendo el ab,lllico de las dimensiones 148Seleccionando y definiendo indicadores 154Las técnicas y las fuentes 161Las pregunt,ls orientado1"<ls 162La matriz síntesis del modclo evaluativo 164El instrumento valorativo:un modo de cll<llltitlear 10 cuaJitativo 165

lO

Evaluar pan¡ la transfot7lUlárin

Capítulo 6: La aplicación del modelo evaluativoy la diseminación de los resultados 169

"lbnsferencia del modeJo evaluativo y ajustes 169Los énElsis o focos en los distintos momentos.InclusiÓn de ajustes 170La participaciÓn de los actores 173La fornndaciÓn de juicios valorativosfundamentados y de recomendaciones 177La devoluciÓn de los hallazgos evaluativos 181El informe de evalmciÓn 183'Ellleres para cl acuerdo con los actores 188El resumen ejccutivo 189La difusiÓn de los hallazgos 190

Anexos 191Matriz síntesis de un modelo evaluativo 1<)2Instrumento de valoraciÓn 205

Bibliografía 217

11

I\

PRÓLOGO

El título del libro Evaltunr par-a la transformación ade-lant;] 1;]intenciÓn de l;]s ;]utoras, fruto de su aquilatadaexperiencia en ]a formulaciÓn y evaluaciÓn de programassociales. Y esta intenciÓn se resume, a nuestro juicio, enla propuesta de una reflexiÓn profunda del significado dela evaluaciÓn como elemento clave en la programaciónde l;]s polític;]s sociales.

Es frecuente, en los análisis de esta problemática,confundir 1;]actividad de evaluaciÓn ~con los supuestosde racionalidad implícitos en ella- con la de programa-ciÓn. Atribuir a la programaciÓn -entendida como laasign;]ciÓn de recursos eJ;'ante- un carácter racional entodos los casos induce a error. Ll programación, comometodología de asignaciÓn de cualquier tipo de recursoen la sociedad, puede ser racional o irracional tanto enobjetivos como en métodos, y es de suma importancia te-ner en claro este punto al abordar este tema, especial-mente en la evaluación de programas_

En este trabajo, Nirenberg, Brawerman y Ruiz hacenun minucioso análisis del significado de la evaluación en

13

OIga Nirenlmg, ]o.,ette Brawernum, Violeta Ruiz

la programación, particndo del entcndimiento claro ysimple (pero pocas veces incorporado en los textos) dcque la evaluación no es una parte inicial o final del pro-ceso de creación u opcración de un proyecto o programasocial, sino que se trata de un elemento constitutivo e in-separable del mismo. Es el nÚcleo motor de la racionali-dad de la que debiera estar dotado todo proyecto desti-nado a modificar una realidad social, desdc el comien/',ohasta m~ls allá dc su finalización, desde las ideas inicia!esque guían al programador cn su discño hasta el momcn-to en quc, cumplidos los objetivos, cs ncccsario rct1exio-nar tanto sobrc los efectos dc lo propuesto y actuado co-mo sobre las consccuencias -deseadas y no dcseadas- delos proccsos que se han pucsto cn marcha.

En este sentido, en todo el texto hay un explícito recha-zo a pensar la evaluación como un momento aislado, parcialy confInado en el tiempo, reafirmando el papel del "apren-dizaje" que ésta brinda como punto de partida y de llegada,de prueba abierta y permanente basc de nuevas propuestasy gestiones super~](loras en la política y en la gesti{m social.

Un '11l.ilisisapresur:Hlo podría llevar a confundir estaconcepciÚn de la evaluaciÚn con la racionalidad que We-ber' define como propia de la modernidad y del Glpita-lismo, racionalidad instrumental u operativa en la que fI-nes, medios y condiciones son analizados por el actor yesto le permitc elegir las conductas que lo lIevar:ín, conlos medios disponibles, a alcan/',ar los fines "racional-mente seleccionados". A su vez, Mayntz/ profundizando

1. Weber, M.: eCOnO'lIIÍII} slIciedilll, México, Fondo de Cultura l':con,',-miea, 19(,4.

2. Mayntz, R.: Sociologíll de Illlld'llliniSl'mcirín />Úbliur, iVbdrid, Ali:1Ilz.:l,1994.

14

I

Pnilogo

esta caracterizaclOn, en su an.ilisis del sistema (modelo)político-administrativo moderno, re define el problcmade la racionalidad instrumental en la gestión del subsis-tema administrativo, mostrando las variaciones quc re-gistra ésta de acuerdo con la ampliación y evolución desus funciones. En la etapa constitutiva del Estado moder-no, tanto en el absolutismo fundante como en el períododel Estado gendarme del liberalismo, el predominio defunciones como las de recaudación, orden cxterno c in-tcrno hacen que dominc una racionalidad burocrática,cuyo criterio de éxito se basa en el apego a la norma, in-dependientemcnte de los efectos que ella tenga.

La propia evoluciÚn del Estado, en el posterior perío-do democdtico de participaciÚn, se acompafía dc nuevasfunciones (obras pÚblicas, desarrollo económico, políti-cas de biencstar social) y se corresponde con un nuevomodelo de gestiÚn, el dc la planificación, cuyos criteriosde éxito (y racionalidad) se basan en el cumplimiento dc"metas" quc sustituyen la racionalid:Hl burocdtica. Dceste modo, para las autoras, coexisten en el seno del Es-tado dos tipos de racionalidad instrumcntal, con distin-tos argumentos.

Pese a esta distinciÚn que surge de los paradigmasnormas-metas, la base dc r:lcionalidad sigue teniendo ca-racterísticas parciales, de tipo instrumental. Así concebi-da, la racionalidad del planificador, aunque distinta de ladel burÚcrata, se detiene en el momento en que alcanzÚel objetivo propuesto en el plan o proyccto. La exigencia-como atlrmamos- es llegar a la meta, cumplir acabada-mente c01110s fines del plan. En ambos casos, la raciona-lidad aparece como un elemento fragmentado, dada sudefinición instrumcntal, es decir, parciaL

lS

__ -------------- -IIIIIIII,". ·---II1IIII1IIl1li111, •• _

Oiga Nirenberg, Josette Brawermfm, Violeta Ruiz

Esta concepción limitada se contrapone con la racio-nalidad asociada a la evaluación, que constituye el mode-lo de la propuesta contenida en este libro y que R. Gó-mez3 (utilizando los criterios epistemológicos de K. O.Apel) caracteriza como comprehensiva, en tanto discute oelucida la propia racionalidad (y justeza) de los fines quese persIguen.

La mera racionalidad instrumental, restringida y frag-mentaria, está irremediablemente ligada a una concep-ción de la sociedad y su organización, y elimina la refle-xión sobre las consecuencias de la acciÓn, con un notorioempobrecimiento y limitación en el análisis, tanto a ni-vel epistemolÓgico como de la propia concepción de lasociedad, de su organización, de los "modos aceptadoscomo racionales y para la acción social misma".

La propuesta evaluativa que se aborda en este texto-en tanto elaborada COl110 proceso que abarca y contienetodo el desarrollo del plan o proyecto, sometiendo a crí-tica sistemática no sólo los fines seleccionados y el ajustede la operación a éstos sino además, y fundamentalmen-te, los efectos deseados y no deseados de la implementa-ción, y aun el propio ejercicio de la evaluación misma,mediante la "metaevaluación"-, supera los límites de larazón instrumental y de la crítica expuesta.

Un elemento destacable de esta propuesta es el de laprofuwb asociación que se establece en el texto entre eva-luación y método científico, relación estrechamente ligadaa la concepción de racionalidad anteriormente expuesta.Sin embargo, esta asociación está lejos de identificar am-bas actividades, e ignora sus diferencias. Recuperando la

3. CÓmez, R.: Ncoli/Jcralis71Ioy sClIdocicIlcill, Buenos Aires, Lugar, 1995.

16

fJrólogo

distinción que Bungé hace entre ciencia y tecnología, laprogramación-evaluación aparece firmemente encuadradaen los cánones del método científico, respondiendo a susexigencias de prueba y verificación, pero con identidadpropia, en tanto acción práctica dirigida a la transforma-ción, a la operaciÓn sobre la realidad social.

Un aspecto sobresaliente del trabajo reside en el es-fuerzo didáctico con que se ha asumido la tarea a lo lar-go de los seis capítulos que componen el libro.

Desde el análisis minucioso de la propia definición deevaluación y sus implicancias, sus vinculaciones con elmétodo científico, los criterios de validación y operacio-nalizaciÓn, el análisis de las técnicas hasta la matriz deevaluación, la metodología expositiva elegida privilegiaen todos los temas tanto la desmitificaciÓn de cuestionesaparentemente irreductibles (como es, por ejemplo, laaparente antinomia entre lo cuantitativo V.I'. lo cualitati-vo en investigación social), como las definiciones senci-llas y accesibles, tanto para quien se asoma por primeravez a estas cuestiones como para los especialistas intere-sados en otras perspectivas analíticas.

El tratamiento de estos problemas resulta relevante ennuestro país, particularmente en el ,1mbito de las políticassociales, dado que éstas muestran -con escasas excepcio-nes- una generalizada orf:mdad tanto en la evaluación co-mo en la formulación y gestión de programas y proyectos.

Resulta doblemente paradójico que esto ocurra en laArgentina, a la luz de su temprana vocación en la formu-lación de programas sociales y de salud a partir de la dé-cada del cuarenta, ya que al mismo tiempo, y en sentido

4. Bunge, M.: ¿Qué es la ciencia?, Buenos Aires, Siglo XXI, 1960.

17

0Zf!;aNirenbelX, ]osette Bra7vernum, Violeta Ruiz

contrario, aun con distintas definiciones, en el resto deAmérica Latina, países como Chile, Venezuela y Cuba,entre otros, han recurrido al modelo de la planificacióncomo método de enfocar su problemática social.

Seguramente son mÚltiples los bctores que explican]a renuencia del sector pÚblico a incorporar la programa-ción (y la evaluación) con estos criterios de racionalidaden la gestión de los programas sociales. Entre eI]os, cons-tituye un elemento de peso la prevalencia en el subsiste-ma administrativo del Estado argentino de una "cu]tur~lexcesivamente burocrática", que se ha convertido en laorientación cuasi universal de toda gestión de Estado,trascendiendo los periódicos cambios de gobierno e,incluso, la alternancia entre modalidades democr:1ticas yautoritarias que se sucedieron en los Últimos cuarentaaños.

De este modo, en la formulación y ejecución de la po-lítica soeial, aunque las acciones y los propósitos se eti-queten con frecuencia con el nombre de "programas" yrecurran en no pocos casos a la liturgia formal de la pro-pia programación, sus criterios de ejecución, racionali-dad y éxito se atienen a los c:1nones estrictos del procedi-miento contable, siendo el principal, ya veces el Únicocriterio de ejecución, su apego a] reglamcnto ya las nor-m:1Sde contabilidad pÚblica.

Esta característicl neg:ltiva "administrativista" que ti-fíe la política social argentina no puede desvincularse delpropio accionar del subsistema político en el marco delEstado. Esto se debe, a nuestro juicio, en parte, a una fa-]encia generalizada de dicho subsistema (e] político), elcual, además de carecer de información y condicionestécnicas que le permitan limitar y controlar eficazmenteel poder real del subsistema administrativo, se ha volca-

/8

J.~

¡i'_

I.

Prólogo

do crecientemente a utilizar las políticas sociales con unsentido fuertemente clientelístico, y para cuyo ejerciciola programación y la evaluación resultan superfluas.Igual consideración merece, a nuestro juicio, la gestiónen las políticas sociales de un número importante deONG, que han pasado a formar parte subsidiaria de lacadena mencionada de acciones clientelares.

El conjunto de estas consideraciones nos permite afir-mar que sin eluda la lectura de Evaluar para la tran.~fór'l¡ta-ci()n es ineludible, sobre todo para quienes asuman la ta-rea de la planificación social, para todos los que deseanresolver las cuestiones que preocupan a Alicia (y no sóloa ella) acerca de dónde est~1 parada y cómo llegar a] findel camino.

Lv( HJ( )L[)() HALPVRíN

agosto de 1999

19

INTRODUCCIÓN

La imagen que nosotros construimos de la sociedad, lac011strlli'lJlospara los ingenieros bidniulicos, para losjardi-lUTOS ... y paj'{/ los TCvolucionarios. Todos ellos son invitadosa JljU'stro tcatro y les pedimos que no oluidcn su into-fs enla TC¡lresentacirJncllando estén con IUJ.,·otros,porqne querc-1110Svolcar el 'lJIundosobre sus cere/n'osy sus coraz.(mes, ¡!li-ra que puedan annbiar!o de {{cuerdo con sus deseos.

BFRTO¡;¡' BRF.CIIT1

En este libro nos dirigimos fundamentalmente aaquellos que desarroJlan acciones sociales, ya sea que for-mulen o que ejecuten programas o proyectos, tanto des-de organizaciones de la sociedad civil como desde distin-tas áreas de los diferentes niveles gubernamentales. SoneJlos o ellas quienes se habrán visto más de Uil<lvez en laurgente necesidad de evaluar sus acciones y las de otros,pero desprovistos de las concepciones y herramientas,Hlecuadas para tal responsabilidad. Creemos que tam-bién podrá ser de utilidad para agencias de cooperacióno f¡lantrÓpicas que apoyan proyectos y programas brin-dando financiamiento, asesoramiento y/o capacitaciónpara temas de desarroJlo social.

Uno de nuestros propÓsitos principales es el de des-pegar el sentido de la evaluaciÓn del puro control queejercen unos actores sobre otros, par,l situarlo en el pla-

1. Brccht, B.: Klcines Olganon jtir das TbeatC1; ,';cbri/ten Z.lI'lJITbeater,Francfort, Suhrkamp, 1964, pág. 20.

21

Oiga Nirenbezg, ]osettc Brawcmzan, Violeta Ruiz.

no del aprendizaje compartido entre quienes participande las gestiones de los programas o proyectos, de modoque sean capaces de provocar las transformaciones nece-sarias en las situaciones insatisfactorias y en los modos deactuar para su resolución.

Cuando decimos que nos importa la evaluación parala transformación, hacemos referencia a] menos a dosniveles en los que las transformaciones deberían produ-cirse. Uno es e] de contribuir a modificar las situacio-nes de adversidad, vu]nerabilidad o inequidad en que seencuentran ciertos grupos pob]aciona]es; como aclara-remos posteriormente, todo proyecto o programa so-cial se formula para cambiar situaciones de ese tipo, y laevaluación debe mostrar en qué medida se produjo elcambio deseable y debido a qué factores. Otro es mos-trar de qué manera las acciones desplegadas para pro-ducir esas transformaciones resultan o no las adecuadas,y qué cambios se aconsejan introducir en la forma dehacer las cosas. De modo que principalmente estamoshablando de evaluación para la acción transformadora.

Compartimos el pensar de Krishnamurti (199H) acer-ca de que no podr<1 existir una tnl1lsfonnaeión de] "or-den" internacional -del mundo- si no hay transforma-ciones en el ser humano, en su propio mundo interior, ensus concepciones, en sus formas de mirar lo que lo rodeay, sobre todo, en las formas de vincularse con los dem<1shumanos y con el ambiente. En tal sentido, puede ha-blarse también de la existencia de un pensamiento trans-fonnador.

Si bien a lo largo del texto reiteramos que la eva]ua-ción, considerada como una tecnología social, consisteb<1sicamente en transformar información en nuevo cono-

Introducción

cimiento, entendemos ese mecanismo como instrumen-tal para la acción orientada a transformar las situacionesde grupos humanos en condiciones desventajosas. Es poreso que, pese a las silni]itudes, la evaluación se distinguede la investigación social.

No intentaremos aquí discutir otros enfoques ni cri-ticar otras formas de evaluar; m<1Sbien tomamos losaportes que cada una de esas modalidades puede brin-dar, incluyéndo]as en un esquema abarcativo. Sí intenta-remos aclarar algunas confusiones provenientes tanto dedistintos usos IingLiísticos para nombrar las mismas co-sas como de iguales términos para nombrar cosas distin-tas, como puede verse sobre todo en los capítulos 2 y 3,donde discutimos los diferentes tipos y abordajes deevaluación y desmitificamos algunas de las distincionestradicionales.

La mirada eva]uativa que aquí proponemos es inte-gradora, comprehensiva, con momentos de detalle y mo-mentos de síntesis gest<1]tica.

Este libro no sirve como manual o receta para evalmlrde form~l universal todo tipo de proyecto o programa; ental sentido no desarrolla instrumentos sino que procuratransmitir la concepción de cU<1]esson los procesos re-queridos y las orientaciones acerca de las formas de en-carados, para diseñar evaluaciones distintas para los dife-rentes proyectos o programas donde los profesionalesdel campo socia] solemos hacer cada vez una nueva expe-nenCla.

Para cumplir con nuestro propósito dividimos el tex-to en seis capítulos y dos anexos.

El primer capítulo pretende dejar aclarada nuestraconcepción general acerca de la evaluación y su utilidad

OIga Nirenberg, ]osette Brawerman, Violeta Ruiz

como función de la gerencia, es decir, incluida en la ges-tión social. El segundo capítulo hace una recorrida por lastipologías usuales de la evaluación en la literatura consul-tada y, como ya advertimos, se abordan algunas discusio-nes aclaratorias a] respecto. En el tercer capítulo habla-mos de los abordajes, de los falsos dilemas entre las cifrasy las palabras -lo "cuanti" y lo "cuali"- que envolvierondurante años la cuestión de la evaluación y que ahora pa-recieran ir superándose, aunque no del todo, concluyen-do que es el rigor metodo]ógico lo que importa en lasevaluaciones y que es sólo mediante la subjetividad demuchos diferentes que se puede resolver la subjetividadindividua], aislada e idéntica a sí misma. El cuarto capítu-lo presenta una reseña de las técnicas a las cuales puederecurrir ]a evaluación para generar o recopilar y analizarinformación, sin pretender con eso tratar ]a cuestión deforma exhaustiva, pues es tal e] caudal de técnicas existen-tes que se requeriría un libro sólo para ese desarrollo; sinembargo, hemos incluido algunas que nos parecieron no-vedosas y también discutimos algunas otras que Última-mente se levantaron a] nivel de "métodos", pero que con-tinúan siendo herramientas simples y útiles a disposiciónde los eva]uadores (como las relacionadas con "evaluacio-nes rápidas" o de rtlpid m:\'c.\TtJ1CJZt).

Finalmente, los capítulos quinto y sexto forman unsolo bloque pero los hemos dividido para dar un respiroa los eventuales lectores. En el quinto se describen las ca-racterísticas y los pasos del proceso de diseño de un mo-delo evaluativo, y en el sexto recorremos las fases de suaplicación y de la diseminación de los hallazgos, las con-clusiones y las recomendaciones producto de la evalua-ción, cuyo meollo es el informe evaluativo. En los anexos

24

Introducción

se incluyen ejemplos que ilustran los pasos descritos ene] capítulo quinto.

Las autoras tuvimos la fortuna de trabajar en diferen-tes escenarios de las políticas sociales durante nuestra vi-da profesional, que ya lleva muchos años, más de los quenos gustaría numerar. Dedicamos a la evaluación granparte de los Últimos diez o quince años. Por un lado, tra-bajamos en el marco de programas dependientes del Es-tado nacional, pero con ejecución en ]os niveles locales,en algunos casos con financiamiento bilateral o bien delpresupuesto nacional exclusivamente; también comomiembros de una organización no gubernamental para eldesarrollo social; asimismo, como consultoras en el mar-co de fundaciones o agencias de cooperación internacio-nal para el desarrollo. De modo que estamos muy agra-decidas <1 ]a gente de las instituciones con las que tuvimos]a oportunidad de tan vastos y diferentes aprendizajes.2

Fue en el marco de esas instituciones que pudimos rela-cionarnos con innumerables funcionarios, profesionales,técnicos, miembros de organizaciones locales y vecinos yvecinas, quienes nos abrieron y mostraron generosamen-

2. Algunas de esas institueiones son: el Centro de Apoyo al Desarro-llo Local -CFADl'],-, del cual LIs tres autoras somos miembros desde1<)¡)7; el lnternational ]kvelopment Research Center -IDRC-, de Otta-W:1.Cana(Lí; el Programa UNl de la FlInd:lciÓn \Y. K. Kcllogg; el Progra-ma RegIOnal dc Adolescencia, de la Oficina Panamericana dc la Salud-OPS- dc \V:lshington DC; UNlCl·Y Argentina; el Ccntro Intcramerica-no dc Dcsarrollo Social-·ClDI·:S/OFi\-; clPrograma dc AtcnciÓn a Nií10sy Adolesccntcs en Ricsgo··ProAme- de la Secretaría de Desarrollo Socialy el Banco Interamericano de Desarrollo; elProgr:1ma Alimentario y Nu-tnclonallnrantil -·PRi\Nl- de la SecrctarL1 de Desarrollo Social; la Direc-ciÓn Nacional de Gasto PÚblico Social, del Ministerio de Economía; elPrograma Materno Infantil y de NulriciÚn -PR( )¡vllN- del Ministerio deSalud.

25

Oiga Nirenberg, }osette Brawe17nrm, Violeta Ruiz;

te sus ámbitos de trabajo, para que juntos pudiéramosaprender a partir de ]a práctica. Es a esos amigos yami-gas, compatriotas o de otros países del continente, aquienes va nuestro especia] reconocimiento y nuestrodeseo de que este libro les resulte Útil en ]a hermosa pe-ro sacrificada tarea que eotidianamente llevan a cabo.

Queremos también expresar nuestro agradecimiento,por su colaboraciÓn crítica e inteligente, a dos respetadosamigos, que hicieron e] esfuerzo de leer nuestros borra-dores; ellos escribieron con Lípiz, de form~l sintética y enlos márgenes, sus observaciones, las que] uego debimosredactar, tipear y colocar en el centro de] texto, por surelevancia. N ucstro reconocimiento entonces a NéstorPerrone ya Pablo Vinocur, por sus acertadas e importan-tes contribuciones. Ojalá hayamos podido interpretar suscomentarios y expresarlos adecuadamente; pero es nues-tra absoluta responsabilidad si, aun a pesar de ellos, sub-sisten los errores u omisiones.

Ahora llegó e] momento en que la crítica debe serpuesta en las mentes y las voces de nuestros lectores; de-searíamos que con ellos se constituya un nuevo diálogo,que permita hacer continuo el flujo de innovaciones enlos modos de realií',ar y evaluar ]a acciÓn social.

CAPITULO 1¿Para qué la evaluación?

¿NIe podrílls indicar hacia dónde tengo que il" de.,-deIlqUí?,preguntÓ Alicia.Em depellde de ({dóllde quier'as Ilegal", contestÓ el Cato./1 mí 110 mc impol"t({ demasiado adónde ... , empezÓ ,) de-eir Alicia.[1,11 ese CIlW)dll igual adándc vay"s, interrumpiÓ el Gato .... siempl"e que llegue a "Z~'1I77apllrte, terminÓ Alicia, amodo de explicaciÓn.i0f¡l, sicl!lpn llegllnil'IlIlIglll1l1/JlI1·te, dijo el Cato, si (¡{-

millil.\' lo bastllute.LEWIS Ci\RROLL 1

Introduciéndonos en tema

E] bmoso diálogo entre la ingenua Alicia y el Gatosagaz resulta Útil para abordar la cuestión de la evalua-ciÓn en los programas y proyectos sociales.

Alicia nos habla de la direccimzalid/ld cuando preguntahacia dÓnde tiene que ir; esa pregunta, tan frecuente enla acciÓn social, adopta diferentes formas: ¿cmll es la di-reccionalidad deseable para nuestro proyecto?, ¿nos es-tamos dirigiendo hacia donde nos proponíamos?, ¿enqué medida estamos transitando procesos que nos llevan

1. Carroll, Lewis: /Ilicill el! ell'llil- de 111.1'Nlmm'illlls, Madrid, Akmza,I<JK(,. La excelente traducciÓn fue hecha por Jlimc de Ojeda, quien al res-pecto de ese di:ílogo aclara que "es uno de los pas'ljes m,is citados de Ali-cia, sobre todo en libros científicos, en los que ha servido para ilustrar elcontraste entre la realilbd informe de la materi'l y el Glr<ícter intencionalquc tiene toda ordcnaeiÓn lÓgica".

26 27

Oiga Nirenberg, ]osette Brawerman, Violeta Ruiz

a obtener los resultados que nos propusimos? Y comosuele suceder con ]a mayoría de las preguntas, éstas pa-recen tener más de un sentido, y por ende más de unarespuesta.

Cuando uno se pregunta por la dirección correcta odeseable -que desde ya son dos cosas diferentes- se plan-ta frente a varias alternativas, frente a caminos que se bi-furcan; el grado de conocimiento o de incertidumbre quetengamos acerca de las dificultades o ventajas que cadacamino presenta, tendrá que ver con ]a decisiÓn acercade cuál tomar; no es sÓlo la distancia ]0 que nos inclina-rá hacia una u otra de las elecciones.

Adem~ls, A]icia no plantea su pregunta en abstracto.. \. " \1 ,,, "d \ 1S1110que e Ice e ese e aqm , o sea ese e este punto ( C)l1-

de ahora estoy"; eso permite inferir que de algÚn modoella llegÓ a ese punto donde en ese momento está para-da, hablando con e] Cato. ¿Fue errÓnea o correct~1 sumanera de llegar hasta ahí? Pareciera que est~l perdida,temerosa, y que muchos acontecimientos extrafíos, queno puede explicar bien, le están pasando mientras no sa-be exactamente dÓnde est~1. Un signo de la ingenuidadde A]icia es que ella no se cuestiona acerca de cÓmo lle-gÓ a donde está, sino que quiere saber cómo tiene queseguir desde allí. No se ha percatado de que, para seguir,debería analizar mejor cÓmo fue que llegÓ a donde lle-gÓ, para entonces preguntarse acerC1 de cuáles caminosalternativos existen y cÓmo son.

Una relevante afirmaciÓn, sugerida entonces por e]texto de Alicia, vinculada a la cuestión de la evaluaciÓnen los programas sociales es que para hacer algo, para in-troducir cambios en una situación no deseable o que nonos conforma -para ir a alguna parte- hay que tener ob-

28

¿Para qué la evaluacÚ5n?

jetivos claros y explícitos y hay que saber de qué manera10grarIos, por cuál camino ir, es decir, hay que saber la di-l'eccionalidad deseable. Incluso eso es así para quedarsedonde uno está, para decidir no hacer cambios.

Para que eso esté claro, previamente debimos plani-ficar, programar nuestras acciones en pro de objetivosexpresos, es decir, debimos formular un plan de trabajo.'lambién necesitamos saber desde dónde partimos, dÓn-de estamos parados; en otras palabras: debimos realizarun diagnristico de la situación problemática que intentamosresolver mediante nuestra intervención. Si no, ¿de quéforma sabremos luego si cumplimos con ]0 que nos pro-pusimos, si no podemos comparar confiablemente el es-tado posterior con el anterior? Obviamente, podemosllegar a cua]q uicr parte, sÓlo se trata de caminar lo bas-t~ll1te, diría el Gato.

La evaluación como momento o función dela gerencia

De lo que se trata es de identificar, corregir, poner"bajo contro]", la máxima cl11tidad de eventos que pue-dan oponerse a nuestra acciÓn o dificu]tarIa, de modo deobtener los Gunbios deseados en la situaciÓn que encon-tramos inicialmente como destlVorable. No cabe dudade que para eso debemos cumplir con procesos meticu-losos de reconocimiento de la realidad y de programa-ciÓn de acciones en plazos definidos de tiempo, contan-do con recursos accesibles.

La planifictlción o prognltlUlCÚ5n podría sintetizarse comola "rcf1exiÓn que precede y preside la acciÓn" (Mathus,

29

Oiga Nirenberp;, ]oJette Brawermrln, Violeta Ruiz

"'''''''''''''''~~~-~~-----'"----wII!~ I

¿Para qué la evaluación? I! I11: !

1987). En verdad, puede decirse que esa reflexión conti-nua, a medida que la acción se desarrolla, es propiamentela evaluación, la que alimenta con sus hallazgos la planifi-cación y gestión de los proyectos.

Visto así, se trata de un proceso que sólo concep-tualmente es separable, pues en ]a práctica el procesode planificación/ejecución/evaluación es una integri-dad indivisible, conformada por momentos -funcio-nes- en continua retroalimentación. Los teóricos de lasciencias de la administración engloban ese proceso enel concepto de "gerencia", y también se usa el término"gesti ón".

Queriendo transmitir metafóricamente esa cualidadintegral de la gerencia y dentro de la gerencia la funcióno momento de la eV~11uacjón, en una de sus brillantes ex-posiciones Paulo Mona" ]a comparó con el caso de unómnibus repleto de pasajeros, donde e] conductor debearreglar defectos del motor sin detener el coche y con to-dos los pasajeros dentro.

Pero aun sabiendo que resulta complicado, si no re-flexionamos sobre la acciÚn que desarrollamos mientraslos programas o proyectos se realizan, si no cuestiona-mos o mirarnos críticamente cÚmo llegamos a dondellegamos, difícilmente podamos responder a la pregun-ta de Alicia: ¿cÚmo seguir desde aquí?, y a 1<1otra, pre-

2. P,ndo Motu es profesor de b I'~scuela Brasileíja dc ¡\dministraciÚnPública WB¡\P), de Ie¡Fundaci{m (:etulio Varg'¡s, y se desemp6ia adem,íscomo consultor internacion,¡l en diversas agencias, I':sa mct,ífor,¡ fue uti-lizada durante un seminario organiz,ado por CI':;\Di·:L, en Buenos ¡\ires,en marzo de 1<)<)2, financi'H!o por la FumbciÚn \\1. K, Kellogg, para losbecarios del I'rograma Internacíonal de Liderazgo,

w

via, que aquí agregamos: ¿cómo fue quc ]legamos hastaaquí?

Una misión relevante de la evaluación en el procesode gestión es justamente ésa: permitir a los conducto-res de programas o proyectos, y a los otros actores es-tratégicos, tomar decisiones acertadas, confiables yfundamentadas acerca de cómo seguir, de cómo dar asus acciones la direccionalidad deseable, basados en lasapreciaciones valorativas sobre lo que se vino haciendoy logrando. No en vano se llama "conductores" a losque dirigen proyectos: porque orientan el camino, im-primen ]a direcciÚn.

En e] sentido apuntado también se dice que el pro-ceso de la evaluación viene a ser como la i¡nagen en unespejo del proceso de la planificación: mientras la plani-ficación mira hacia adelante, plantea previsiones de laacción en los escenarios posibles y deseables, la evalua-ción enfatiza la mirada hacia atrás -más lejos o más cer-ca, pero siempre hacia atrás-, buscando aprender de lohecho, de los errores y los ,]Ciertos, valorando ]0 positi-vo y lo negativo, para poder recomendar giros o refuer-zos en ]a acción futura. Hay un momento en el cual laplanificación y la evaluación tienen su intersección: esjustamente en el punto de las recomendaciones evalua-tivas para ]a acciÚn futura, las que deberán retomarse enel momento de la reprogramación.

Intentando una definición

Llegados a este punto, es posible adelantar la defini-ción de ]0 que consideraremos evaluación y que nos

31,

1

II11

1 !

11

I

OIga Nirenberg, Josette Brawerman, Violeta Ruiz

permitirá destacar algunos de sus elementos esenciales,independientemente de la diversidad de propósitos, ti-pos y abordajes que se puedan encontrar:

Entendemos por evaluación de programas oproyectos sociales una actividad programada derejlexÚ5n sobre la acción, basada en procedimientossistemtiticos de recolecciÓn, análisis e interpreta-ción de información, con ]a finalidad de emitir

juicios valorativo,\' fundamentados y cormmicable.\' so-bre las actividades, resultados e impactos de esosproyectos o programas, y formular recomendacio-nes para tomar decisiones que permitan ajustar laacción presente y mejorar la acción futura,

Desbrocemos brevemente los pasos relevantes de esadefinición preliminar, aunque en los restantes capítulosvolveremos sobre ellos.

• Actividad progrtmzada: quiere decir que la evaluación-con todas las tareas que ella implica- debe ser pre-vista tal como las otras acciones del proyecto o pro-grama, puesto que es una actividad más. De ahí queen muchas guías de formulación de proyectos, en losúltimos tiempos, se ha incluido como ítem a formularel de la evaluación. Decir que la evaluación es progrtl-mable, significa, entre otras cuestiones, que debenatribuírse]e recursos específicos (personas idóneas,momentos y lugares específicos, equipos adecuados,insumos, dinero).

¿Para qué la evaluación?

• RejlexÚ5n .\'Obre la acción: ya se dijo que la evaluaciónconsiste en "detenerse" -no en el sentido absoluta-mente literal sino en el de distanciarse- para analizarqué es ]0 que se está haciendo (o se hizo), de quémodo, si ello se orienta según la direccionalidad de-seab]e, cuáles escollos y qué oportunidades se pre-sentan, y cuáles logros se han obtenido.

• Basada en pnJcedimientos sistC7ntiticos: supone una meto-dología y técnicas para la recolección y el an,)lisis dela información relevante que alimentará ]a reflexión yfundamentará ]os juicios valorativos que se emitanacerca de las actividades, los resultados y los impactosde los cursos de acciÓn implementados.

• Emitir" juicios valomtivos fil17dlrmentados y corml17imbles:" ..

es el núcleo de toda evaluación, e implica atribuir unvalor, medir o apreciar si se ejecutan las actividades deacuerdo con lo programado, si los resultados obteni-dos corresponden a los objetivos y las metas propues-tos, así como en qué medida ha mejorado la situaciónde los destinatarios de las ,lCciones como producto denuestra intervención. De lo dicho se desprende quepara evaluar siempre es necesario hacer comparacionessobre la base de las cuales se emitirán los juicios; cual-quiera que sea el objeto de nuestra evaluación se locontrasta!";) con un par<1metro que constituye lo desea-do, lo previsto, 10 correcto, en suma, la direccionali-dad o las metas que habremos definido previamente.I;~sas son comparaciones contra esdndares, sea comose,l que se los haya definido; pero también hay unacomparación contra sí mismo en el tiempo, que es ]a

))

I

'1

,

:,

!

,

Olp,ll Nirell/!crg, ]osettc BraWeJ711[{11,Violeta Rui-::.

que se reaLiza cuando se comp;lran situaciones o esta-dos actuales de grupos poblacionales, contra sus situa-ciones o estados pasados, para saber qué cambió y po-der emitir un juicio acerca de si la situaciÓn esUí me-jor, peor o igual. Esa comparación contra sí mismo enel tiempo es a veces -sobre todo en los primeros tra-mos de la ejecuciÓn de un programa o proyecto- másrelevante que la otra, contra esdndares, pues aunquese concluya que se está lejos aÚn de lo desea ble -el es-tándar-, la situaciÓn puede haber mejorado muchodebido a la gnlVedad de la situaciÓn inici;ll o punto departida -"línea de base"-, y eso es en sí alt;lInente va-lorable y muy estimulante para los que ejecut;lI1 las ac-ciones, ya que la evaluación les demuestra los logrosobtenidos y les permite programar sobre mejores ba-ses. La fundamentaciÓn de nuestros juicios valorativosdepended de la consistencia y confiabilidad de la in-formaciÓn -cu;ll1titativa y cualitativ;l- que recojamos,al estilo de las "evidencias" que corroboran los testi-monios en un juicio frente a un tribunal. I,os juiciosvalorativos deben poder comunicarse a las audienciasidentificadas, lo que significa que se deben redact;lrinformes comprensibles y programar devoluciones delos h;lllazgos en modalidades adecuadas para la mejorcomprensiÓn por parte de los actores involucrados.

• F07711'lllm"recO'lilelUlacilJlles pam towm" decisiones I/ue pl'/"-rnitan (~j'llstm""y 'lllljol"al" la,l' acciones: la evaluaciÓn tienemúltiples aplicaciones y puede perseguir diferentespropósitos, pero de modo general intereS;l destacarque se trata de pensar sobre el hacer, para identificarerrores y problemas que dificultan la acci(m, para per-

¿Para qué la evalzulcilÍlI ('

feccionar la gestiÓn de un proyecto o programa, paraaprender de lo hecho -haya sido acertado o erróneo-,para introducir correcciones, e incluso para compro-bar que nuestro proyecto produce efectos no previs-tos, algunos de ellos no deseados; y finalmente, ¿porqué no?, para el reconocimiento social del esfuerzoreali7.ado y de los actores participantes que lo llevarona cabo. Sistematizar las lecciones aprendidas y brindar, apartir de ellas, las recomendaciones pertinentes cons-tituye uno de los meollos de la evaluaciÓn, segÚnnuestra perspectiva. Mediante los procedimientos dela evaluaciÓn reconocemos los logros y las fortalezasde la acciÓn desarrollada, así como los obstáculos y lasdebilidades; !as recomendaciones en general debensugerir apoyamos en las fortalezas, a modo de palan-ca, para superar o saltar las dificultades. Y deben ser-vir a todos aquellos que toman decisiones en los dife-rentes niveles, no sÓlo a los "gerentes" o directores delos programas o proyectos, sino también a aquellosque en la tarea cotidiana, en el e,I'ccnm"io donde se baccnlas COSa,I",deben tomar decisione's operativas. Ya se di-jo: el momento de las recomendaciones es la intersec-ciÓn entre la evaluaciÓn y la reprogramaciÓn; de laprofundÍlLHI y pertinencia de las recomendacionesque se formulen depended la utili(bd de la evalua-ciÓn y, por ende, b viabiLidad de su aplicaciÓn poste-rior en la toma de decisiones y en b acciÓn.'

3, ":n el clpÍtulo 3 se ver,j que J:¡ vi'lhili,J:¡d de I<¡,¡plieaci,'JIl posteriorde los h,¡IJ:¡!.~·os ev,¡luativos tamhién depende del involucramiento de losactores dura;lle el proceso miSlllO de b evalu,¡ci{¡n, así COlllO de la COll1-pieL¡ y oportuna devoluci(JIl de los resultados por p,¡rte de los que tienenla responsahilidad de evalu'lr.

35

Olp,a Nirelllierx, .loscttc Bnzwc1711all, Violeta Rui::.

Evaluación e investigación:bastantes similitudes y algunas diferencias

Una evaluación no es equivalente a una investiga-ción, aun cuando comparte muchos de sus procedi-mientos. La investigación busca fundamentalmente in-crementar el cuerpo de conocimiento, estableciendorelaciones entre hechos, fenómenos, situaciones, etc.,mientras que la evaluación se preocupa ante todo por elperfeccionamiento de la acción y compromete esen-cialmente un juicio de valor. En suma, "b evaluacióndebe ocuparse fundament~llmente de los posibles Clm-bios en un programa existente" (llamilton Smith,1981). La investigación termina con conclusiones acer-ca de cómo oculTen los hechos, alimenta la teoría y elcuerpo de conocimiento sobre cierto segmento del sa-ber, mientras que una evaluación debe terminar con re-comendaciones que l1even a modificar lo que se veníahaciendo, o bien a agregar nuevas acciones (lo cual, sinduda, se funda en un "saber" acerca de cómo oCUlTenL1Scosas y en ciertas hipótesis acerca de c(mlO debieranocurrir).

'Emto lo expuesto en el acápite anterior como lo re-cién expresado permiten concluir que son las ¡'I'CO'lI1I''l1(!ff-

ÚI)J7I'.\' para la toma de decisiones las que distinguen laevalu~lción de b investigación; no pareciera lógico pen-sar en una evaluación por el solo hecho de describir yemitir un juicio sobre cómo se hacen bs cosas, si no se leagregan las recomendaciones emergentes para decidirsobre los cursos de acción y cambiar lo que se detecte co-mo mejorable.

,{¡

¿Para qué la evaluacilíll;--

El proceso de explicación o fundamentación de losjuicios evaluativos es similar al de la ciencia; el rigor enlas formas de llegar a emitir aseveraciones certeras escompartido. No se trata sólo de criticar o de elogiar, hayque fundamentar las aseveraciones -para distinguidas delas creencias, las opiniones o los juicios emocionales-,para luego, a partir de esas explicaciones o fundamenta-ciones, poder emitir las recomendaciones que permitansuperar deficiencias o profundizar las ventajas y~l obteni-das con la ~lCción desplegada.

Por lo tanto, no hay límites demasiado precisos entrela evaluación y la investigación; cuando se pone a prue-ba una modalidad de intervención considerada innova-dora, la evaluaci(JIl, en tanto incluye un proceso riguro-so y sistem~ítico de recolección de inf~)fInación paraemitir juicios y recomendaciones, sirve además paraprobar la eficacia de la intervención innovadora, comp~l-rándola con otras formas tradicionales de intervenir enel mismo problema. Pong~lmos como ejemplo los pro-yectos que desarrolLlIl modalidades de comp]emenLl-ción escolar con un abordaje lÚdico e integral, inclusivodel seguimiento del rendimiento del niílo en la escuela,en articulación con maestros o maestras, en lugar del~lIlterior modo de apoyo escobr con clases enfocadas ex-clusivamente a "ayudar a hacer los deberes". La evalua-ción de proyectos con los dos abordajes y la compara-ci(m entre ~lmbos pueden permitir detectar que la nuevamo(blidad es m~ís I'f/Ul2., mostrando evidencias de quelos nifíos cubiertos bajo eS;lnueva forma de intervencióntienen m,lyor rendimiento en la escuela y menor índicede deserción o repitencia que aquellos que se cubrencon el método tradicional, y porque adem~ís b primera

37

OIga Nirenberg, ]osette Brawer71ulfl, Violeta Ruiz

es sinérgica, e, ya que se logran otros resultados no especí-ficos o buscados primariamente, como puede ser la incor-poraciÓn de hábitos positivos de autocuidado, de higiene,de relaciones con los pares y en la t~llnilia, entre otros.

El ejemplo previo es un caso en el que la evaluaciÓnpuede ser vista también como investigaciÓn, ya que posibi-lita el avance del conocimiento a partir de la sistematiza-ción de la práctica. TUllbién permite recomendar mejoraspara la acciÓn (aun dentro de la misma modalidad innov,~-dora), pues se puede descubrir algÚn caso entre los analI-zados donde, además de las actividades IÚdicas y de articu-laciÓn con las maestras de las escuelas, se agrega la interac-ciÓn periÓdica con los padres, para concientizarlos acercade las ventajas de los nuevos modos de llevar a cabo lacomplementaciÓn escolar, lo que redunda en mejores re-sultados. Ese hallazgo implicará recomendar también acti-vidades concretas dirigidas a los bmiliares de los nifíos,promoviendo así enfoques más integrales. Resumiendo: esmuy sutil la distinciÓn entre evaluaciÓn e investigaciÓn.

Cambios en los estilos de evaluación

Las concepciones y los modos de evaluar fueron cam-biando en paralelo con los cambios ocurridos en los pa-

4. Max-NeeF (1 <J¡\(» consider:1 sinérgic1s las :Jeciol1es que, aden"ís deorientarse:¡ la resoluci,')\l de un prohlema puntual, contri huyen a la vez ala resoluci()\l o prevel1ciÓI1 de otros prohlemas. Un ejemplo muy utili,.a-do es el de la laCr,1I1Ci:1materna, que:1 L1ve/'. que contrihuye a la huena nu-triciÓn del hehé, lo preserva inmunolÓgicnnente, y e0l1solid:1 un Ia,.o:lkctivo entre la madre y el hehé que P()(J¡·j contrihuir a su :lpropiado de-

s:lrro\lo posterior.

___ J

¿Para qué la evaluacilíJl(

radigmas de la ciencia, particularmente durante la segun-da mitad de este siglo. El paso de las formas mecanicis-tas, neopositivistas, racionalistas, objetivistas a las con-cepciones fenomenolÓgicas, más relativistas e inclusivasde factores con textuales y que incorporan metodologíasintersubjetivas, al incidir en los modos de conocer yabordar la realidad, influyeron también en las modalida-des de planificaciÓn, gestiÓn y evaluaciÓn de los proyec-tos y programas sociales.

llace unas décadas, la evaluación se planteaba como laÚltima etapa de un proceso lineal de fonuulaciÓnlimple-mentaciÓn de proyectos y programas, por la cual se tra-taba de mir,lr hacia atrás y establecer -siguiendo méto-dos y herramientas especializ'ldos provenientes de la in-vestigaciÓn en ciencias sociales y científicamente válidossegÚn el p'lradigma dominante- si las acciones ejecutadashabían producido los efectos deseados o buscados.

Esto llevÓ a la elaboraciÓn de disefíos de evaluaciÓnbastante sofisticados con el fin de reproducir condiciones"experimentales" o "cuasi experimentales" que pennitie-ran determinar si se proclujeron cambios en 1<1 situaciÓnproblemática inicial que motivÓ la intervenciÓn (proyec-to o programa social) y si esos cambios se debieron a lasacciones desplegadas. No desconocemos la necesidad decontar con elementos de juicio acerca de los impactos deestrategias o cursos de acciÓn de uso difundido, pero locierto es que estos diseíl0s requieren personal técnica-mente capacitado p,lra llevados a cabo, por lo que suelenconvertirse en evaluaciones externas, con escasa o nulaintervenciÓn de los integrantes de los programas o pro-yectos; por otra parte, producen información que puedeser Útil en ciertos niveles decisorios (por ejemplo, para

)Y

II 41 1,1

I ~

L- -~.-~,___ ,,.,., J L

.-----~~-~-_._.-----

Oiga Nin:71/Jc1X, ]osctte BraLVe1771a77,Violeta Ruiz.

decidir la continuidad o no de determinadas líneas deproyectos), pero tal vez menos para quienes están direc-tamente involucrados en la gestión.

Otro camino difundido, dentro de ese modelo de pla-nificación vertical o "de línea recta", consistía en compa-rar, también en la Última etapa de ejecuciÓn o incluso ~lposteriori, las metas previamente establecidas con las quese habían efectivamente alcanzado, complementando estacomparación con una explicación (o justificación ex post)de las discrepancias encontradas. Este camino suponía quelo "planificado" debía traducirse casi mecánicamente enacciones sin tener en cuenta el contexto organizacional ylas racion~llidades de los diversos actores en su ejecución.

En la actualidad, con el amplio desarrollo de las me-todologías de planificación estratégica y/o pan-icipativa(que fueron desplazando lentamente, aÚn no del todo, alos modelos verticales), se reconoce que el proceso deplanifi.cación/program~lción no responde a una racionali-dad lineal, que los actores involucrados en la gestión yejecución reinterpretan perm~ll1entemente los objetivosbuscados a través de su ,lccionar, en síntesis, que todo elproceso de la gestión social está signado por grandes do-sis de incertidumbre, en gran parte COIllOproducto de lan~lturaleza del contexto en que se desarrolla.

Esa incertidumbre es t~l111bién producto de la propianaturaJe¡"l del desarrollo teórico y de las tecnologías uti-lizadas en las disciplinas sociales y en el campo de la ac-ción social, en comparación con las ciencias ex,lct~lS o na-turales y sus campos de aplicación, como la ingeniería ola electrónica. Vale decir: en las cienci,ls sociales no hayuna {¡nicl escuela o un paradigma dominante de formaexcluyente, como ocurre en Ull determinado período his-

-111

¿Pam qué la evaluación?

tonco con la física o la biología, sino que coexisten di-versas corrientes, en algunos casos contradictorias entresí -paradigmas rivales (Khun, 1970)~, en otros con dife-rentes enfoques o énLlsis (caso de las teorías del apren-dizaje y las metodologías para la lectoescritura en psico-pedagogía, o las diferentes corrientes en metodologíaspara la planificación participativa, las diferentes escuelasde la psicología social y la influencia de ellas en la deter-minaciÓn de las técnicas más eficaces para las dinámicasgrupales). Por ende, no existen certezas acerca de cuÚlesson los requerimientos mínimos para la correcta aplica-ción de las diferentes corrientes teóricls.

La evaluación puede verse entonces como una res-puesta a la necesidad de reducir esa incertidumbre en ca-da uno de los momentos de la acción, para reconocer silos esfuert,os esdn "correctamente" encaminados. Es de-cir que se requiere una retroalimentación continua en laimplementación para ir corrigiendo sobre la marcha loscursos de acción teniendo en cuenta las cuestiones quepreocupan a los involucrados en la ejecución (tanto losejecutores como los destinatarios).

Ij~s en el sentido recién apuntado que la evaluación so-cial se distingue de otro tipo de evaluaciones, por ejem-plo, de aquellas que se aplican a proyectos de construc-ción o de infraestructura; hay modelos de evaluación quehan sido traslad~ldos directamente de los proyectos de in-geniería o de obras ,1 los proyectos o programas sociales,lo cual generó muchas dificultades y resistencias por par-te de quienes los ejecutan, puesto que esos modelos, a ve-ces impuestos por algunas agencias de financia miento,son poco adaptables a los escenarios comunitarios dondelos proyectos sociales tienen lugar.

...--------------------~~---------()~g-a Nirenberg, ]osette Bmwerman, Violeta Ruiz.

La evaluación para la transformación

Si bien es cierto que cada vez más frecuentemente sehabla de evalmr los resultados de un proyecto o pro-grama, e] funcionamiento de sus actividades -los pro-cesos- y hasta el uso de sus recursos, también lo es quesigue siendo una actividad poco frecuente y en gener<l]bastante resistida. Aun m<1s,cU<l11dofinalmente se deci-de evaluar un program<l, luego muy raramente se utili-zan sus resultados y recomendaciones para producircambios.

Creemos que ]a resistencia a ]a eva]u<lCión, así comolas dificultades para incorporar bs recomendacionesevalllativas en la gestión, son cuestiones que tienen quever con el fenómeno más general de ]a resistencia <11cambio; pues al fin y al cabo, ]a eva] uación implica cam-bio, tal como la planificación y, en general, tal como bacción social: se formula e implementa un proyecto oprograma para transformar una situación que resulta in-satisfactoria y se evalÚan la gestión y los resultados por-que interesa, por un lado, <lpreciar si se carnbió lo que sedeseaba cambiar, es decir, para saber en qué medida me-joró la situación que se consideró insatisf~lctoria al iniciode L1Sacciones; y, por otro lado, para detectar qué fue loque cooperó a ese logro y qué lo dificultó, es decir, quése hil',o bien, qué se podría hacer mejor y qué se hizomal. '(¡do eso para poder aconsej:lr qué cambios intro-ducir o no en la acción posterior.

Existe una tensión entre la propensión al cambio y losimpulsos a mantener la estabilidad de las cosas que nosrodean y la manera en que ellas funcion<m; lo primerobrinda satisfacción a L1Snecesidades humanas de creativi-

¿Para qué la evaluación?

dad y de enfrentar desafíos probando las propias fuerzas,mientras que lo segundo permite la idea de pertenencia,de seguridad y de continuiclad. Esa tensión sucede tantoen el plano individual o f~l1niliar como en lo microsocialy lo macrosocial (Sztompka, 1993). Como seres huma-nos, como sociedad, siempre han existido fuerzas o im-pulsos tendientes a cambiar ]os modos de re]acionarnos,de mejorar nuestras instituciones, nuestras formas orga-nizativas, nuestras formas de expresión.

Claro está, como se dijo, que esas intencionalidadesno necesariamente son dominantes, y suelen operar encontra o a pesar de otros que tienen posturas opuestas odiferentes, y que prefieren mantener e] statu quo, puesello ]es brinda seguridades de alguna índole (afectivas,de prestigio, de inHuencia, económicas, etc.). En e] cam-po m~1S específico de L1Spolíticas sociales, esta luchapermanente del hombre por operar cambios en las rela-ciones sociales se manifiest<l a través de actividades ten-dientes a mejorar la situación de grupos desprotegidos,con mayores desventajas o que han sufrido algÚn tipo decat<Ístrofe.

Una forma -no la Única- en que pueden operarsecambios sociales de manera no cruenta es a través deldiseño de programas y proyectos que partan de realizarun recorte y describir una realidad -diagnóstico-, paraluego identificar las disconformidades -problerl1as-, y deallí inferir qué queremos modificar -objetivo.r-, lo cual eslo mismo quc pensar en las transformacioncs que espe-ramos obtener -reslllt{ulos-, para lo que se requicre el di-scfío de una estrategia para operar el cambio, que se tra-duce en un plan dc trabajo -actividadcs- ubicado en eltiempo -cnmogra'lllfl- y asociado a los insumos -l·ccur.ms

43

¡

l¡ill

'1

111

IIlli

()~!!,/¡ Nirmbe¡g, ]osette BrtnVer71U!l7, Violeta l?uiz,

17!I'f}{anos,materiales y financieros- requeridos para llevara cabo las acciones,

L1 idea de cambio está implícita desde el inicio de]proyecto o programa que luego será evaluado. El simplehecho de pensar en un proyecto específico est,1 ponien-do de manifiesto una necesidad de que algo cambie. Es-te proceso de transformaciÓn está asociado a la creativi-(hui, ya que ,1demás de querer modificar una realidad so-cial, institueional, personal, a partir de la generaciÓn deun programa, estamos buscando creativamente la alter-nativa de acciÓn m,ís efectiva para transformar esta rea-lidad: es decir, nos interesa el cambio y cÓmo se operaese cambio; ambas cuestiones están relacionadas con eJproceso creatlvo.

En tal sentido, un programa o proyecto social puede servisto como b puesta ,1prueba de estT:1tegias o metodolo-gías innovadoras de intervenciÓn para la tr:msformaciÓn,las que si luego de evaluadas demuestran ser efic1ces, po-drán ser replicad:1s en otros contextos, en cireunstanci,ls ocondiciones similares, o bien con las adaptaciones queconvengan. Además, en el mejor de Jos casos, la modalidadde intervenciÓn podr,í ser adoptad:1 como estrategia de laspolíticas pÚbJic!s, en el nivel local o nacional, para el cam-po soci:1lespecífico. Eso scrÍ:1un ejemplo de cambio socialrelevante y es uno de los impactos m,1S!mscH!os por losque conducen proyectos sociales, pero difícilmente a1c:m-í',ado; podemos ,11Tiesgarque par:! intluir de ese modo enlas políticas p(lblieas no sÓlo deben evaluarse las acciones,sino además deben difundirse los resultados evalu:1tivos, enuna estrategia de ac!voclhY o ¡lwr/,cting social más global. I,:sallí donde se cruzan las acciones eV:1luativascon las de con-ceptualizaciÓn, sistematií',aciÓn y diseminaciÓn.

¿Para qué la evaluacirín?

El propio proceso evaluativo implica transformación.Cuando se comienza a pensar en evaluar un programa enfuncionamiento, o incluso en evaluar la factibilidad derealizaciÓn de otro, en realidad estamos pensando que al-go cambie en la forma como se vienen haciendo las co-sas. De alguna manera esperamos que los resultados de bevaluaciÓn nos brinden elementos para operar ciertasmodificaciones en la estrateg-ia o metodolog'ía de inter-

L L

venciÓn implementada.Pero en este punto se produce el otro fenÓmeno: la

posibilidad de cambiar la forma en que se venía trabajan-do produce resistencias. Frecuentemente, el propÓsitomismo de la evaluación, "ev:1luamos para cambiar", ge-nera oposición o al menos renuencia y entonces, siempreque se puede, se aplaí',a para otro momento la actividadevaluativa.

La posibilidad de cambio evoca con frecuencia elproceso m:ís alto en cuanto a transformación se refiere,que es la revoluciÓn, proceso en que difícilmente algoquede en pie; el impulso hacia adelante que se genera estan arrollador que los viejos cimientos parecen caer de-bido al impacto. Quií',á sea esto lo que genere tanta re-sistencia, sin tener en cuenta que hay muchas posibilida-des de operar tr:l11sformaciones antes de llegar a unaruptura tot'll. De hecho, la historia nos brinda ejemplosde esto constantemente; hay infinidad de cambios adap-tativos, parciales, que van transformando lentamente lasociedad, mientras que, por otra parte, las grandestransformaciones son momentos muy especiales en eldevenir histórico.

Si esto sucede en el abarcativo plano de la historia po-lítico-soci:11, no debe extrañarnos que una evaluación

45

I________________ ----'-L

O~~i! Nirenbcrx, }oj'ctte Brawernum, Violeta Ruiz

-que bien puede terminar en recomendaciones de cortarel desarrollo de un programa o un proyecto, o de introdu-cir ajustes que no convengan o sean traumáticos para a]-gunos individuos o grupos involucrados en él- produzcaa] menos resistencias y que sus resultados sean escasamen-te utilizados (muchas veces porque no son "políticamenteviables", aunque estén técnicamente fundamentados).

Aprendiendo con la evaluación y de ella

E] impacto que produce el hacerse cargo de las cuestio-nes que deben ser transformadas suele interpretarse como"errores cometidos" y esto lJeva casi de inmediato a sentirque n,Hb de ]0 construido sirve y que es necesario empeZ,lrde nuevo. Sin emb,lrgo, la idea que hay por detLls de 1.1evaluaciÓn, en el sentido que le estamos imprimiendo, esintegrar dentro de un nuevo esquema ]0 mejor de las es-tructuras, las actividades y los recursos existentes en cl pro-grama, modificando aquello que ya no resulta Útil, correc-to o eficaz y :lprendiendo de 1.1 experiencia realiz,Hh

La afinnaciÓn anterior nos lleva a 1.1 cuestiÓn delaprcndi:r,aje, que también tiene relaciÓn con 1.1 resistenciaa la evaluaciÓn. No toda fÓrma de aprendizaje -modalidadpedagÓgica- result,l "acept,lble", y por ende eficlz, paralos que intervienen en cl proceso de enseñanza-aprendiza-je. Cll:llquiera sabe que muchas de nuestras resistenciasante ciertas disciplinas tienen m<Ísque ver con la forma enque los profesores la transmitían en Ja escuela que con ca-racterísticlS intrínsecas de la disciplina misma. El evalua-dar, t:l] como lo estamos esbozando aquí, est,l muy lejos derepresentar Ja fIgura del maestro tradicional, el que viene

4(,

¿Pan! qué la evaluación?

a "ensefiar", a transferir su saber a los otros, a los que es-tán haciendo las cosas en terreno, planteando con ellosuna reJacjÓn de tipo asimétrica y "vertica]". Lejos de esafigura se est,l pensando en c1 rol del eva]uador como faci-litador, con un papel importante en cuanto acompaña losprocesos, entrando y saliendo de ellos, conservando la po-sibilidad de una mirada con suficiente distancia aunqueinvoluerada, dcsencHlcnando procesos de reflexiÓn, brin-dando una perspectiva "preguntona" y crítica, invo]ucran-do a todos los actores posibles en esp,lcjos de reHexiÓnconjunta y de debate a partir de preguntas, muchas vecesingenuas, otras veces ríspidas.' No debe o]vj(Jarse que eseev,l]uador también está aprendiendo, también tiene sumente abierta a nuevas formas de actuar. No se tr,lta de unjuez; se tr,lta de alguien a Ja par, con el rasgo distintivo del"preguntÓn", del cuestionador, que juega de ve:r,en cuan-do de ol!t.\·ider, que se pone c1 gorro dc1 abogado del dia-blo, para provoclr y estimuJar la reflexiÓn, a Ja vez queaprende junto con los demás. No ensCl'ía: provoca y esti-mub el aprl~ndi:r,aje conjunto.

Es relevante la contribuciÓn de la evaluaciÓn a losprocesos de aprendizaje institucion,l], puesto que resultaprioritario comprometer a quienes tLlbajan en 10s pro-yectos o programas en un "proceso educativo programa-do que produ:r,cl clInbios" (OrganizaciÓn Panamericanade 1.1 Salud y FU1HJaciÓnW. K. KeIJog, ]99H).

5. S,')er'ltes, en el di;ílogo con Fedro, su alumno, le explie;¡J);l que s(¡-lo a través de pregunt;ls es posible apn;nder. Así, la evalu;lCiÚn puede servista como un proceso de 'lprendiz'lje de estilo "soer,ítieo", pues se centraen formubr preguntas eV;lluativas y responderLls funda1l1entadamente(C:f. I'bt(m, redro).

47

Olga Nirenberx, ]osette BraWer71Utrl,Violeta Rui'::.

Es posible plantear algunos requisitos para que unaevaluaeión aporte elementos en el citado sentido deaprendizaje institucional:

• debe ser Útil a las personas comprometidas en el pro-ceso;

• debe ser viable, es decir, realizable en un tiempo al al-cance de ellas;

• debe re,'jJettlT-Ios vrdon:s de las jJet:l'rma,\'involucradas;• debe estar bien hecha, con procedimientos adecua-

dos, de modo de proveer información cm~flable.

La evaluación es capacitador~l e iluminadora puesbusca en la teoría, la experiencia y el conocimiento, lasargumentaciones que mejor expliquen los resultados yfacilita el crecimiento, el desarrollo y el perfecciona-miento de los que intervienen en un proyecto.

El proceso de la evaluación

Reiteradas veces se dijo que entendemos la evaluacitmcomo un proceso, como una función de LJgerencia o unconjunto de actividades, siendo, por ende, programable.Es lo mismo que afirmar que requiere para Sll desarrolloun proceso o secuencia que le es propio, el cual se esque-matiza a continuación.

ProgrtlTl1acirín de la evaluacirín:• definición del sujeto-ol:jeto de evaluación,• establecimiento de la finalidad,• identificación de las {l/uliencias,• determinación de! nivel de tlTuílixis,

4S

d,

¿ PaTa qué la evaluación?

• clasificación de las dirnensiones de análisis,• definición de las variables,• selección de los indicadores,• determinación de las técnicas e instrumentos para la re-

colección de información,• determinación de la secuencia de actividades,• identificación de re.'jJonsables y actores participantes,• establecimiento de la dumcirín, frecuencia y piTiodicidad,• estimación de los rccm:\'Os necesarios (humanos y mate-

riale.\),• presupuestacirín.

FjecllcÚJ-nde la evaluacirín• nlevrl'miento de infin77lftcÚín medi~l11te e! desarrollo de

las actividades y la aplicacitm de las técnicas e instru-nlentos,

• sistc171fttizacirín, proce.l'flmiento y aruílisis de la infin771fICÚín,• elabomcirín de infin711es (incluyendo amclusÚme,l' y nco-

m erulacione,\),• devolucirín a los a{fon's y dixeminacirín de conclusiones.

EvalUfrcirín de la evalUfrcirín (metaevalrurcirín)• análisis de la utilidad de los halla7.gos,• apreciación sobre la virtlJilidad del proceso eval uativo

y de! uso de sus resultados,• juicio acerca de la pertinencia metodológicJ y ética,• aná tisis de la conflabilidad de los procesos y hallazgos.

Si bien e! proceso evaluativo se ha presentado esque-máticamente de forma aislada y lineal, debe interpretarseque forma parte de un proceso mayor que es e! procesoadministrativo de la gerencia y que como tal retroalimen-

49

'

1

'

'"

L

OIga Nin:nbeig, ]u.I'ette BnnVer'l11ffn, Violeta Rlli::,

ta b toma de decisiones o se integra como componenteeva]uativo del diagnóstico. La secuencia presentada sóloprocura mostrar b lógica del circuito evaluativo, peroesos pasos no son secuenciales en los escenarios concre-tos sino que se producirán superposiciones y retrocesosen medio de los avances.

Nuestra concepción es que la evaluación debería serun jJ1"OCCSOcontinllo que se involucre en la gestión desde suinicio, en el pbnte,l1niento del problema a resolver o et,l-pa diagnóstica, durante los procesos de ]a acción y ,1]fi-nalizar períodos determinados, donde e] énfasis estarápuesto en los resultados o efectos.

Si bien consideramos continua b ev,lluación, de hechosuele requerir algunos cortes específicos P,lL1determina-dos aspectos, como e] estudio de cambios en conductas oactitudes, o situaciones pobbciona1cs (de nutrición, deempleo, de salud, de alL1betización, etc.) que deberánmedirse o apreciarse de forma periódic1, mediante en-cuestas, censos o estudios cuasi experimenta1cs, segÚnsean ]os C1SOS.

Asimismo, como acJaL1remos luego, a menudo oculTeque ]os evaluadores somos convoclllos p,lra IT,lli/,arnuestra t,lrea sólo en la etapa fina], o después que finali-zó el período de ejecución de los program,ls o proyectos.En esos C1SOS,]ejos de recha/,ar esas deman(hs, debemosofrecer nuestras habilidades a los decisores para que enel futuro puedan aprovechar mejor sus propi,ls experien-cias, planteando bs evaluaciones tempranamente, demodo que les sea posib1c consideLlr hs ,lltern,ltivas dis-ponib]es para tomar decisiones futuras.

CAPÍTULO 2Los tipos de evaluación

/,as ciellcias, despl":" de todo, son nuestra pnipitl crCllcilJn,illcluidos todos los sn',TOS estándares que !)({reccll i'lll}io-IlcrllOS, l'~" buello r('(ordar constantemente estc bcc!;o /. ../.;()m: Illeilil'/'ecorda/orio bay que e/ darsc (l/mta de qlle /a;'/('((ÚJII'e/l/Tc tcorías I/ue son suficiente'lllmte generalespan! proporálillar 111/11 concepcÚJndellll/l/l{!o clilllPrcbm-sh'll y ell/re las quc 110bay ClmexirJ/Ie'lllpirim, puedc lle-gar ;1scr llllil cuestilJIl dc gusto?

I'WI. K, FFYFR;\BI:¡";I) (1 iJH4)

Existen muchas formas de evaluar y esto ha dado lu-gar a una profusa y posiblemente confusa terminología,'lcuñada en la literatura sobre el tema, que remite a dis-tinciones (a veces a oposiciones) entre modos, tipos, en-Foques o perspectivas de evaluación. En su mayoría,surgen de la introducción en la práctica de lluevos focosde interés y de los diferentes énfasis que los mismosevaluadores fueron dando al uso de la evaluación. Mu-chas aparecen incJuso para superar restricciones o limi-taciones con que se enfrent;¡ron en el desarrollo de lasmodali(bdes más tradicionales. Sin embargo, como sever,), responden a diferentes necesidades y no son ex-cJuyentes.

Como producto de los intentos de sistematizar la ex-periencia en propuestas conceptuales y metodo]Ógicas,se pueden encontrar innumerables cJasificaciones. Algu-nas han tenido mucha difusión en ]a Iiteratun1 sobre eva-luación y merecen una breve descripción pues alertan

SI

()~f!;a NirclIbC/;f!;, ]oscttc 8rmvcJ7I!1!1l, Violeta Rllie:..

acerca de la mu]tipliciebd de facetas que pueden y debenconsiderarse a la hora de concebir y diseñar un procesode evaluaciÓn. En este sentido, adquieren un valor prác-..nco pues SIrven para pensar, presentar y provocar nuevas

ide,ls y técnicas y para disponer de listados de cuestionesa considerar y recordar.

Los tipos más difundidos suden diferenciarse deacuerdo con los siguientes criterios:

• según el momento en que se re,lliza la evaluaciÓn;• según quiénes realizan, son responsables o intervie-

nen en la ev,lluaciÓn;• segÚn ]os propÓsitos y la índole de las decisiones que

se espera tomar en el futuro en funciÓn de los resul-tados de ]a evaluaciÓn;

• segÚn ]os aspectos a evaluar de] programa o proyecto.

Algunos autores distinguen adem,ís entre eVaht,lCiÓn"informal" y "formal". La primera se refiere a nuestL1sconductas cotidianas que nos llevan ,1emitir juicios so-bre utilidad, convenienci,l, eficacia, compatibilidad deotras person,lS, recursos, procesos o productos sobre lab,lse de supuestos subjetivos e individuales, juicios quenos sirven para elegir diferentes cursos de acciÚn. Se bcontrapone a la evaluaciÚn "fonn,ll" o "en sentido es-tricto", en 1<mtoés1<les pÚblica y las elecciones se basanen esfuerí'.os siste'llltÍticos de definir criterios e):.jJIícito,,"yobtener informaciÚn pn'á.\"(f acerca de las 'llternativas.Nuestro concepto de evaluaciÚn se refiere fundamental-mente ,1este (r!timo tipo.

')2

Los tipos de evaluacilSn

Antes, durante o después: siempre hay que evaluar

Una distinciÓn clásica proveniente de la tradición eco-nÓmica y trasladada a las ciencias sociales es la que sueleefectuarse entre evaluaciÓn cx antc y evaluación ex post.

Como su nombre lo indica, la cvaluación cx ante (a ve-ces denomin,lda también "de predecisiÓn", "de factibili-dad"¡ o "de pertinencia") se emprende antes de iniciar unprograma o proyecto para tomar una decisiÓn relativa asi debe implementarse o no. En términos generalesapunta a "comparar la eficacia o la rentabilidad econÓmi-ca de las diferentes acciones para alcanzar ]os objetivosdeseados" (Pineault y Daveluy, 1987, C1p. 6).

Desde el punto de vista del proceso de intervenciÓnsocia] se tLlta, en b fase de formulaciÚn y diseDo delproyecto, de esta blecer, además de su 'l'clltabilid;ul CC01US-'lIIiC/l, su pcrtincnci/f -es decir, la adecuaciÚn de las solu-ciones que propone a la realidad que se pretende modi-ficar-, su coherencia inter'lla en términos de adecuaciÚnde recursos a objetivos y de éstos a metas y actividades,V su filCtibilid/fd, o sea, ]a disponibiliebd de ]os recursos;'equ'eridos y la existencia de condiciones paL1 desarro-llar las ,1cciones esperadas.

Es el tipo de evaluaciÓn que suelen realizar ¡os orga-nismos financiadores a la hora de decidir aprobar un pro-yecto. Puede servir para mejorar su formulaciÚn y tam-bién para seleccion,lr proyectos, por ejemplo, cu,mdo setrata de un concurso.

1, '!:¡mbién se (!cnomin;¡ha "eosto-bendiÓo", identificíndo!a con laprincipal técnica de ;1I1;ílisis econÓmico para la evalll'lCi(m ex {117ft de pro-

ycctos.

()Z~'(l Nirer!IJel~~, ]o,I'ette Bmwermar!, Violeta Ruiz

La evaluación ex post es la que se realiza una vez con-cluieLJla ejecuciÓn del proyecto. Aquí también se utilizanvarios términos -aunque no con un significado unívoco-para h~lcer referencia a diferentes momentos en los quese reahza, sea apenas concluida la bse de ejecuciÓn (defin de proyecto, a posteriori, terminal), sea varios añosdespués que el proyecto o programa ha tenninado.2 Detodos modos, en general se concentra en los resultadosobtenidos para evaluar en qué medida se alcanzaron losobjetivos previstos (situaciÓn objetivo), euáles han sidolos efectos, buscados y no buscados, atribuiblcs al pro-yecto, sobre la situaciÓn inicial que se pretendía modifi-car; también procura identificar los f~lctores que contri-buyeron a producir estos resultados. Merece destac1rseque un aspecto importante -a menudo descuidado- de~sas evaluaciones es contar con una "línea de base", o in-formaciÓn diagnÚstica de la situaciÚn inicial, p;lra podercontrastarla con ]a situaciÚn final. Aunque acorde con lasmetodologías circulantes de planificaciÚn/programaciÚn~1 formu]aciÚn de un proyecto o programa del~e acompa~]:arse de un chagn{)stico, no cs frecuente que éste se rea-IIcc COI: .~a. mirada puesta en el proceso eva lua tivo, y porende chhcllmente incorpora la inf~mnaciÚn pertinentepar:~ p(~der. apreciar los cunbios producidos después desu fm;llIzaCl{m. Lo dicho mucstra que, pese al camino ya

2. I-:n ,:l,lgunos CISOS, L1evalu:lCi")}l re:1Iiz:HI:1 :llgunos :lfios después dela conclus!on dc un ¡Jrovec!o se denomin') ",1" 1'!1111'IC'('("( , ', )' 'L,' vease, por ejem-plo, Banco Inte,ramenc:lIlo de Desarrollo, sil). Sin ell1b:lrgo, cntendemosque la eV:1Iuac!on de Impacto puede realizarse también en momentos in-termedIOs SI eXIsten hip/'tesis :leeIT:l de la ocurrencia :l mediano ]lla"o delos dectos esperados en la poblaci")}l.

Los tipO,I'de evaluación

recorrido, todavía resulta difícil encontrar traducida enhechos la estrecha rehlciÚn que se requeriría entre laprogramaciÚn y la evaluación.

En las evaluaciones ex post, el foco está colocado en laeficacia, la efectividad y la eficiencia de un proyecto oprograma, conceptos que retomaremos y explicaremosen otro punto de este capítulo (véanse las págs. 69 a 71).Pero es necesario destacar que apuntan fundamenta]-mente a obtener elementos Útiles para decidir si convie-ne seguir implement;l1ldo esta línea de proyectos y, encaso afirmativo, qué ;lspectos pueden mejorarse en futu-ras formulaciones.

A partir del énE1sis en la evaluaciÓn como instrumen-to de gestiÓn estrechamente ligado a las distintas fasesde la planificaciÚn, se introdujo una nueva diferencia-ciÓn relativa a] tipo de evalllacián que se realiza durantela ejecuci{m del proyecto, denominada de muy diversasmaneras: de progre.m o jWOCCSO,de gestián, COnCll'lTente, con-c0771itrmte, intermedia, de opemci()n, etc. Su objetivo b;1sicoes evaluar en qué medida se va cumpliendo el proyectoo programa de acuerdo con la propuest;l inicial, es decir,si se orienta segÚn la direccionalidad descable. GenerainformaciÚn sobre 10s procesos, las actividades y losproductos, y los compara con las met;ls formuladas y lasque se V;l1lreformuLl1ldo a lo largo de] proceso de im-plementaciÚn. Se rClliza dc forma periÚdica de modo dedetectar oportun;lmente las debilidades y los obst;Ículosasí como las fortalezas y las oportunidades. De este mo-do proporciona elemcntos para la toma de decisionesque permiten reforzar o reorientar ;lcciones y corregiraspectos de la gestiÓn, aumentando así las posibilidadesde l1eg;lr a resultados favorables.

55

()Z~ll Nirellbe'lJ!;, ]oJette Brawerma71, Violeta Rui:::.

Aunque se lo distingue, también el seguimiento o 'f'IlO-

nitO'l'eo' se refiere a la evaluación que se realiza durante laejecución de un proyecto. Tia sido definido como

[· .. 1 el examen continuo o pcri(¡dico que efectÚa la administraci(¡n,en todos sus niveles jer[¡rquicos, de la manera en que se est[¡ ejecu-tando una actividad. Con ello se busea asegurar que la entrega deinsumos, los calendarios de trahajo, los productos esperados seconl'()J']]]en a metas estahlecidas y que otras ~1Cciones quc son nece-sarias progresen de acuerdo con el plan tr'lZ'ldo (ONU, 19H4).

Es parte de la función gerencial y responsabilidad delpersonal a cargo de la ejecución, y en este sentido cons-tituye una típica actividad de evaluación interna dentrodclmarco de un programa o proyecto. En general, lasactividades de monitoreo que hemos conocido se cen-tran en la implementación de un sistema de informaciónpara verificar el logro de las metas e identificar desvíos.Este énE1sis en la recolección sistemÚtica de infonnacio-nes útiles para el funcionamiento de programas ha lleva-do erróneamente a diferenciar el monitoreo de la evalu;l-ción propiamente dicha. En efecto, la existencia de unsistema de información no implica necesari;lmente queexista evaluación y, viceversa, puede hacerse una evalu;l-ción sin la existencia previa de dicho sistema ya que pue-de recogerse información en el momento del corte eva-luativo. ¿Pero de qué sirve un sistema de información sino se lo utilií',a para juzgar la adecuación de los procesosde ejecución y proveer elementos de juicio para 1:1intTo-dncción de ajustes y correcciones oportunas? 'ElInbién

3. Los dos términos son C'luiv'llentcs, pucs "monitorco" ha sido tra-ducido literalmcntc del inglés ///OIÚtOlillg.

')6

[,0.1' tipOJ de evaluación

hemos leído o escuchado decir que el punto donde radi-I ]" . "1" " " .' "ca a ( lferenCla entre evauaClOn y m011ltoreo es que

este Último provee información para la gerencia ... ¿yaca-so la eva1uación no Jo hace? Quiere darse a entender queelmonitoreo prende luces de advertencia y/o riesgo enel gerel1ciamiento social del día tras día, para generar ac-ciones correctivas inmediatas, del mismo modo que losmonitores con el paciente internado en las terapias in-tensivas e intermedias; pero es necesario advertir que, enlos proyectos socia1es, la metáfora del paciente monito-rizado no es del todo afortunada, ya que es imposible larecolección de información de forma continua o ininte-rrumpida que permita prender luces de emergencia; só-lo es posible recoger alguna infonn,lción de modo dis-continuo, con cierta periodicidad (a lo sumo mensual,por lo general trimestral). Esa información recogida conperiodicidad frecuente suele ser del tipo cuantitativo (deejecución presupuestaria, de cobertura, de cantidad deprestaciones o servicios brindados), pero raramente in-cluye aspectos de calidad o procedimentales, ya que és-tos requieren periodicidades mayores.

Se dice también que el monitoreo adecuadamenteconceptual izado y puesto en pníctic1 es un

1 ... 1 procedimiento empleado p'lra comprobar la efectividad yefi-cienci,¡ del proceso de eiecuci(¡n de un proyecto, mediante 1.1identificaci(¡n de los aspectos lill1iL1I1tes y/o ventajosos que n¡J-mina recomendando medid:ls correctiv'ls para optimií'.~lr los re-sult'l<los deseados (Ibnco Inter~¡mcriclllO de Dcsarrollo, sil).

Se puede apreciar, según esta definición, la ausenciade diferencias entre el concepto de monitoreo y el deenl nación.

')7

11:

11

1

1

1

1

1:

l!

()~f!,{! Nirenberx, ]osette Brawel'lnan, Violeta Ruiz

Conjugando el verbo evaluar:¿nos evaluamos o nos evalúan?

En funciÓn de quién realiza la evaluaciÓn, se han di-ferenciado dos grandes categorías, la evaluaciÓn externay la evaluación interna, aunque actualmente t<lmbién seha roto esta dicotomía para incluir la evaluaciÓn mixta, laautoevaluaciÓn y la evaluaciÓn participativa.

Se llama evalurrci()n externa a la que realizan evalua-dores que no pertenecen a la organizaciÓn ejecutora delprograma o proyecto que se evalÚa, recurriéndose ge-nera]mente a investigadores o consultores independien-tes, departamentos universitarios y, a veces, incluso aexpertos internacionales. Es posible que la evaluaciÚnexterna se realice por decisión del propio equipo res-ponsable del proyecto, progr~lma u organi/.aciÚn, pero::unbién ocurre que se reali/.a por decisiÓn de la agenciabnanCladora o del organismo del cual depende jen1rqui-camente e! ejecutor; lo cierto es que esas variantes ten-ddn inlluencias en las modalidades V orientaciones eva-luativas ..

La ('7i({lurrción irrtcnllf es b que llevan a clbo personaso grupos pertenecientes ~l la instituciÚn gestora del pro-yecto, no involucr,Hlos direct~lmente en su ejecuciÓn; encambio, Ll autocvfrlurrción serÍ<l aquella reali/.ada por losprop~os actores a cargo de la ejecuciÚn del proyecto. Es-ta diterenciaciÚn en realidad adquiere sentido en e!m,lr-co de organizaciones de cierto tamaño, reLnivamentecompl:jas, en las que puede existir una persona/equi-po/umdad específica de evaluaciÚn, cuasi externa, es de-cir, por fuera del ~lrea de ejecuciÓn del proyecto. En or-ganizaciones m~ís pequeñas, con estructuras indiferen-

Los tipos de evaluación

ciadas, una evaluación interna sería equivalente a unaautoevaluación.

La evaluación ptll~ticipativa aparece como una categoríasumamente difusa, pues no es claro a la participaciÓn dequiénes se refiere, pero apuntaría -y en este sentido apa-rece como modelo ideal- a designar aquella evaluaciónque involucra a los destinatarios y/u otros actores de losproyectos en los distintos momentos del proceso evalua-tivo (es decir, no sÓlo como fuente de informaciÓn sinoademás con protagonismo en su diseño, en la ejecuciÓn,en el análisis de los resultados y en la formulaciÓn deconclusiones y recomendaciones).

En la mayoría de los libros sobre evaluaciÓn que he-mos consultado hay discusiones acerca de las ventajas ydesventajas de cada modalidad: "la organizaciÓn idealsería aquella que se evalÚ,l a sí misma" (Wildavsky,1(72), y nadie mejor que su personal para conocer ycomprender los objetivos, la metodología, los destinata-rios y la dinámica cotidiana de las actividades, en sumapara captar la racionalidad interna del proyecto. El he-cho de que los propios actores realicen la evalu,lciÓn ha-ce m,ls vi,lble la posterior utilizaciÓn de los h,lllazgosevaluativos y la adopciÓn de medidas correctivas reco-mendadas. Pero su principal obstáculo deriva de una ba-ja garantÍ<l de objetividad al ser juez y parte del procesoevaluativo: sus valores, intereses y compromisos perso-nales atentarían contra un~l apreciaciÓn imparcial e in-dependiente de! program~l o proyecto.

Por el contrario, se supone que e! eva]uador externono tiene intereses creados -supuesto que casi nunca esdel todo correcto-, suele traer experiencia en el tema,puede volclr recursos y conocimientos inexistentes en la

59

.1

1,

OIga Nire7l/!erg, ]o,\'ette BmwerrlUm, Violetl! Rui::.

organización y es mayor garantía de objetividad. Sin em-bargo, sus debilidades estarían en las tensiones entreevaluador y evaluado, que pueden incluso generar difi-cultades en el acceso a la información, en las restriccio-nes p,lra G1ptar los factores en juego y la racionalidad in-terna del proyecto y en las probables resistencias de superson,ll a aceptar resultados que podrían cuestionar susobjetivos, metas y líneas de acción.

Por otra parte, en nuestra concepción, el evaluador oequipo de evaluadores externos contratados traen, ademásde sus propias orientaciones y preferencias ideológicas yteóriC1s, compromisos con quienes los contratan y ellopuede incidir sobre 1<1supuesta "objetividad" de su labor.+

La solución salomónica propuesta en alg'unos casoses la eVftlllacirfn mixta, conformando un "equipo" consti-tuido por evaluadores externos e internos con momen-tos de trabjo conjunto y momentos de trabajo indepen-diente.

OtTa forma de preguntar acerca del tema de quiénevalÚa, sobre todo en el caso de org,mizaciones o progl'<l-mas de ciert,l complejidad (con diversos depart,1111entos osubsedes o localizaciones) es ¿en qué nivel evaluamos?En t,ll sentido, si la evaluaci(m es a nivel centT,ll suele ha-blarse de control de p;e.l'tirf,,; en los niveles intermedios sehace énE1sis en la ,wjJervisirf¡¡ y si se realiza en el niveloperativo, donde se hacen concret,ls las ,1cciones (presta-ción de bienes o scrvicios) en relación con la gente (losbeneficiarios o usuarios o elientes), sc h,lbla de eva/l/flci!)"

4, Para un mayor desarrollo de este tem;l.. véase el Clpítulo 3 del pre-sente libro,

{,()

1,0.1' tipo,\, de evaluaciÚn

ojJemtivfl, muy ligada al propio trabajo de los equipos téc-nicos actuantes (por ejemplo, los grupos operativos demejoramiento de calidad o de auditoría médica que lle-van a cabo los grupos profesionales en los estab]ecimien-tos de salud).

La cuestión de quién evalÚa en realidad Ueva implíci-to el problema de la resistencia a la propia pdctica de laevaluación y a las dificultades para utilizar sus resultados.No es inusual que se lleven ,1cabo evaluaciones riguro-sas -sean internas o externas, de procesos o terminales,en uno o en otro nivel de 1:1organización, programa oproyecto- cuya implementación y desarrollo han sidoaceptados por la org,l11i7,ación pero cuyas recomendacio-nes son eSC1samente tenidas en cuenta luego por los pro-pios responsables y ejecutores de proyectos. Su compro-miso personal y emocional con las metas, la poblacióndestinataria y otros aspectos específicos de la organiz,l-ción se puede erigir en una b,11Terapara la aceptación decambios en la orientación de su accionar. En síntesis, co-mo ya se vio en el primer capítulo, existen contr,H!iccio-nes entre los propósitos de la evaluación y la lógica defuncionamiento de las organizaciones. Este tema, recu-rrente en la revisión de las experiencias, nos recuerdaque la programación de una evaluación debe incorporar,1cllerdos y negoci'lciones entre todos los involucrados enel proceso, sobre todo en torno a sus propósitos y a su di-sefío. 'E1mbién es necesario contempL1r la introducciónde mecanismos que permiLln compartir sus diferentesc(,l]1<lS,incluyendo el análisis y la interpretación de la in-formaciÚn y la formulación de las recomendaciones. Só-lo así se podd h,lblar genuinamente de evaluación parti-Clpatlva.

{'1

Olga Nin:71belY" ]o.\'ette Brawerl1um, Violeta R'lliz.

Los múltiples propósitos de la evaluación

Una distinción ya cLlsica y muy difundida es ]a quesuele hacerse entre evalllacÚin formativa y eValllaci(in Sll-'t71tltiV{{' o de resmmn. La primera se refiere al tipo de eva-luación que se emprende con el propósito de mejoraruna intervención en un momento determinado y para ungrupo específico de personas, particularmente aquellasinvo]ucradas en su ejecución. Busca proporcionar infor-mación Útil para ayudar a] program,1 a mejorar su gestióny contribuye a la toma de decisiones acerCl de su desa-rrollo e implementación (modificación, revisión, ajustes,etc.). Brinda inf~>nnación a medÚb que avanza el progra-1na o el proyecto, y se refiere al cumplimiento de metasintermedi,ls y a los problemas de imp1cmentación. Sirvefundamentalmente a] personal del programa.

Un ejemplo de evaluación form,ltiva es la ev,lluacióncurricular en el área educativa, de donde proviene porotra parte esta noción (Scriven, 1967). Utilizando técni-cas tales como seguimiento de su aplicación mediantepruebas de aprendizaje y juicio de expertos, se obtieneinformación que permite evaluar b adecuación de loscontenidos curriculares ,1 bs condiciones de enseíianza-aprendiz,aje y así poder realizar ]os ajustes necesarios.

La evaluación "de resumen" se emprende con el pro-pósito de obtener un juicio global sobre el valor de algu-

S, ESlalraducci,'1Il lilcral ha sido acufíada dcl inglés SiI//llllflti¡'l' y nos 1"1-rccc poco '11(,rtunada, pucs cn castellano inyolucr'l la connotacitlll dc sumao aCUIIIULlCi('JI1.Parccc lIIejor la ITaduccitlll quc LNICI'J' hace dcl términocomo una cy,1Iuacitlll "dc rcsulllcn", pucs cn rcalid'ld, y t,1IC01l!Ola ust, Seri-vcn en su origcn, connot'l UI1,1recapitulacit'l1 dc los cfcct"os dc un cOl1juntode accioncs (progr,ull:l, proyccto) sobrc sus dcstil1a!;lrios (U:\I(:I',F, ] ()()O).

62

Lo," tipos de evaluaciriJl

na intervención o acción humana (proyecto, programa,política, servicio), Debe producir información acerca desu efectividad V de las condiciones en las que puede sereficaz en otras' situaciones, momentos o lugares. Se em-plea frecuentemente para decidir qué programas,~) ac-ciones merecen un,l nueva inversión o la obtenclOn defondos adicionales. Lleva por lo tanto a decisiones re]a-tivas a ]a continuación, finalización, expansión de losprogramas o proyectos y responde princip,~]men:e a l:snecesidades de quienes los formulan o los f1l1anClan. lo,nparticular, contribuye a suministrar e~emen:os de jui.c!osobre la rep]icabilidad de una detenn1l1ada 1l1tervenClOnen diferentes contextos, ampliando de este modo el aba-nico de sus potenciales usuarios. En el G1SOpresentadoanteriormente aCerGl de la aplicación del currículo ela-borado y mejorado, se emprendería una ev,~luaci(~n '>Ieresumen" con el propósito de determinar SI es efectIvopara mejorar las capacidades de los alumnos o ~)ar,a il:-troducir cambios en sus actitudes hacia el aprendIzaJe. I,Jjuicio evaluativo en este caso sirve para decidir la cO~lti-nuación del programa y la generalización de su 'lphca-ción a otros establecimientos cscolares.

Sin embargo, si se tiene en cuenta la íntima relaeiónentre los proLcesos de gestión y el impacto obtenido,puede decirsc quc muchas evaluaciones si~·~en. a aml:ospropósitos. I'~n nuestro ejemplo, la e~,~luacJon tonnatlvadel currículo llevad de hecho a deCIsIones acerca de suaplicabilidad, mientras que la de resumen puede contr~-bu ir a nuevas revisiones y ajustes para aumentar su efl-ClCJa,

Si bien en la pdctica suelen usar distintos tipos de in-formación y criterios de evaluación, en nuestra opinión,

63

~ J....• _

()~~'fl Nirefl{}("lg,]osette Brawerman, Violeta Rui::..

el valor de esta distinción reside en un lJamado de aten-ciÓn a la necesidad de realizar evaluaciones durante to-do e] ciclo vital de un proyecto. En realidad, como se haafin1l<ldo en el primer capítulo, e] propósito de ]a eva-luación es contribuir a un aprendizaje que impulse e]cambio o ]a aplicación de medidas correctivas. Desde es-ta perspectiva, toda evaluación cumple una función for-matlva.

Otra distinción también tradicional en ]a literaturasobre e] tema es ]a que se establece entre ('7)ftluacilín des-criptiva y expliwtiva (Suchman, 19(7), La primera se re-fiere a los estudios que tienen por objetivo pronunciarserespecto de] éxito o fr,lC1SOde un programa a partir de ladescripciÓn cuantitativa o cualitativa de sus actividades,sus procesos o sus resultados y de su comparación con a]-gÚn objetivo, meta o est,lndar preestablecido.

La segunda se propone identificar los factores que ex-p]ican situaciones de éxito o fracaso de los objetivos deun programa. Construye esquemas interpretativos de lamultiplicidad de causas e interdependencia de efectos apartir de marcos conceptuales y teóricos preexistentes obien de la formulación de hipótesis a verificar.

Entendemos que se trata de una distinción artificial.T(¡da evaluación debe de,\'cribil' (y ello posiblemente cons-tituya su primera etapa metodolÓgica), pero su discfíodebe considerar también la identificación de los bctoresque intervienen para e,1jJliwr los logros y los fracasos. Porotra parte, como y,l dijimos, toda intervenciÚn socia] esllna estrategia destinada ,1producir cambios en un con-texto determinado, Implic1 una serie de hipÚtesis acercade los resultados esperados que se traducen cn la fonnu-!ación de objetivos; por cjemplo, si el objetivo de un pro-

Los tipos de evaluación

yecto es producir una mejora en las condiciones de vidade un grupo o una comunidad mediante la puesta enmarcha de un microemprendimiento, existe una hipÓte-sis subyacente de que esta acciÓn será efectiva para pro-ducir cambios en la situación de empleo y en el nivel deingresos de] grupo destinatario. La evaluaciÓn, en Últimainstancia, busca verificar o descchar tal hipÓtesis a travésde la descripciÓn de los resultados alcanzados y explicarlas condiciones en las que se verifica, o en caso contrarioidentificar los flctores -tanto de] contexto o mundo ex-terior significativo como de Sll gestiÓn- que dificultan uobstaculizan los logros previstos.

Énfasis según temas: ¿qué evaluamos?

Una distinción relevante se basa en los aspectos o fa-cetas de un programa o proyecto que se quiere estudiary juzgar. Desde esta perspectiva, existen innumerables ti-po]ogías pero, en general, responden a tres grandes cri-terios clasificatorios.

El primer criterio se basa en las etapas del ciclo de unprograma o proyecto: en este caso se diferencian los as-pectos vinculados a su diseño y conceptualización (evalua-ciÓn de necesidades, evaluación de contexto, evaluacióndel diseño y programación), aquellos vinculados a su de-sarrollo o implol1Cfltacilín (estructura, organización, recur-sos humanos, materiales y econÓmicos, procedimientos,actividades, etc.) y aquelJos vinculados a sus re,\'u!tados(efectos, impactos, rendimiento, etc.).Esta clasificaciónprácticamente coincide con la que distingue los momen-tos de ]a evaluación. Sólo difiere en que pone el acento

6')

Oiga Nirenberg, ]o.\'ette Brawermcm, Violeta Ruiz

en el qué -los contenidos- y no en el cuándo -los mo-mentos- se evalÚa,

El segundo criterio alude más bien a los componentesrelevantes de los programas. En este eje las clasificacio-nes lm15difundidas son: evaluaciones de insumos, proce-sos y productos; de estructura, procesos y resultados oefectos; de procesos y de impactos.

La cvaluación dc itl.\71'f110.1·tiene por objeto describir yanalizar los recursos humanos, materiales y financieroscon que cuenta un programa; la forma en que dichos re-cursos son procesados de acuerdo con criterios de rele-vancia, factibilidad y economía en su uso y las estrategiasde obtención de insumos destinados a implcmentar di-chas estrategias. La cvaluación dc proccsos estudia los me-dios procesales (actividades, procedimientos, prestacio-nes) que se utilizan para llevar a cabo un programa, tantoen su diseño como en el modo como éste se implcmenta.Se trata de emitir un juicio acerca de la capacidad y las es-trategias de procesamiento de insumos que tiene el siste-ma. Sirve para elegir cursos altern<ltivos de acciÚn para laoperacionalización, ejecución y el control del proyecto.La cvaluacián de productos estudia el logro de metas pro-puestas que se expresan en términos de productos espera-dos. Emite un juicio sobre los resultados obtenidos entérminos de productividad, concepto que vincula los pro-ductos alcanzados a los insumos utilizados para el desa-rrollo de las actividades. Esta clasificación proviene delcampo de la economía, de las evaluaciones de emprendi-mientos productivos y de obras físicas.

La clasifIcación en estructums, proccsos y rc.wtltados (oefecto)) proviene del campo de la salud (Donabedian,1990) e incorpora una terminología más adecuada a la ín-

__ ~ .. l

Los tipos de cvaluación

dole de los proyectos sociales. La noción de estructuraalude aquí a la combinación de los recursos y a su organi-zación para la prestación y el desarrollo de determinadosservicios y actividades (procesos) con el objeto de alcan-zar ciertos resultados. Por otra parte, esta clasificaciónvincula la evaluación a la planificación/programación. Enla metodología moderna de planificación se plantean ob-jetivos en términos de resultados, procesos y estructuras,en el entendimiento de que los resultados se obtienen sise desarrollan los procesos programados, los que a su vezse podrán realizar en la medida en que se disponga de lasestructuras necesarias. La evaluación retoma esos compo-nentes y se eV<llúanestructuras, procesos y resultados, enuna secuencia inversa a la de la planificación.

La clasificación relativa a evaluación de proceso.I'y cvalua-cián de impactos es muy utilizada en el campo de los proyec-tos sociales. En este marco terminológico, la primeraapunta a determinar el valor del desempeño actual delproyecto, es decir, el grado en que va cumpliendo con lasactividades previstas, alcanzando los resultados esperadosdentro de los plazos y con los recursos programados, yprocura identificar las causas de los problemas que vansurgiendo de modo de corregir y revisar oportunamente lamarcha del proyecto. La evaluaci6n de impactos pone én-hsis en los resultados logrados en los destinatarios, loscompara con los esperados y procura encontrar las causasde las diferencias. Muchas veces esas causas se encontra-rán con claridad a partir de la evaluación de los procesosrealizados; otras veces tendrán m<1Sque ver con flctorescon textuales que con los proyectos mismos.

La multiplicidad de denominaciones para compo-nentes similares de los proyectos merece aquí un párra-

67 1'1

I

Oiga Nircnberg, ]osette Brawernum, Violeta Ruiz

fo aparte, en particular las que se refieren a sus resulta-dos. "Productos", "efectos", "impactos" son términosquc pueden englobarse dentro del concepto más generalde resultados aunque no son utilizados siempre de formaequivalcnte ni unívoca. Los matices que suelen encon-trarse remiten en Última instancia a distintos tipos de re-sultados o distintos momentos del ciclo de un proyectoen que éstos pueden verificarse, así como a sus diferen-tes ámbitos o espacios de repercusión. Los objetivos delprograma o proyecto constituyen la contra cara de los re-sultados y se los suele denominar también con distintosgrados de generalidad (finalidad, propósito u objetivogeneral, objetivos específicos, objetivos intermedios,etc.). Poden10s ilustrar estos matices mediante un ejem-plo sencillo. TÓmemos un proyecto de capacitación téc-nica de jóvenes no escolarizados de bajos recursos im-plementado con el objetivo de que obtengan una rápidasalida laboral para contribuir a mejorar las condicionesde vida de sus familias. Se suele denominar "productos"a los resultados concretos de las actividades, en este ca-so, los cursos realizados y los jóvcnes capacitados. Losefectos (buscados o programados) se vinculan a los obje-tivos del proyecto, en este caso: la inserciÓn ocupacionalde los jÓvenes capacitados. 'Hllnbién pueden referirse aotros resultados, previstos o no, como el aumento de laautoestima de los jóvenes capacit,Hlos, la mayor integra-ción familiar en sus hogares, etc. El impacto se vincula alos objetivos m,1Sgenerales del proyecto y se refiere a loscambios que se persiguen (a veces no formulados explí-citamente) y que poddn verificarse en las condicionesde vida de la población; en el ejemplo podrían ser impac-tos el mejoramiento del ingreso familiar, la reducciÓn de

________ 0•••••8 J

Los tipos de evaluación

la delincuencia juvenil, entre otros. Es necesario señalarque la evaluación de ilnpacto busca identificar aquelloscambios atribuibles a la acciÓn del proyecto, despejandootros t~lCtores que podrían haber intervenido.6

Finalmente, el tercer criterio de clasificación pone elacento en ciertos atributos de los programas o de suscomponentes: la pertinencia, la idoneidad o suficiencia,la eficacia, la efectividad, el rendimiento la rentabilidad, .. ,la productividad, la eficiencia, etc.,! conceptos que nosiempre son unívocos pero que cuentan con algún con-senso, al menos en cuanto a su significado general.

La pel"tinencia se refiere a la adecuación de un progra-ma o proyecto (o de alguno de sus componentes) para sa-tisbcer necesidades y demandas o para resolver la situa-ciÓn -problema que le dio origen-o En otros términos, serefiere a la adecuación de la formulaciÓn al "estado delarte" en la respectiva rama del saber.

La idoneidad o sldiciencia se refiere a la capacidad de unprograma o proyecto (o, más espedficamente, de suscomponentes) para contribuir a los objetivos y metas pro-gramados. Así, suele hablarse de idoneidad de las activi-dades, suficiencia de los recursos, etc.

La eficacia y la 4ectividlld se refieren a la capacidad de unprograma o proyecto para alcanzar los objetivos progra-mados que, como se ha mencionado, no son sino la expre-siÓn de los resultados buscados. Si bien los dos términossuelen usarse como sinÓnimos, es muy Útil establecer una

6. Se volver,í sobre la cuestiÓn de los distintos tipos de resultados enel capítulo 5 de este libro.

7. Se pueden agregar otros atributos a est<1 list,], como accesibilidad,equidad, sustem'lbilillad. Nos detendremos nuevamente en estos concep-tos al abordar nuestra propuesta de "modelo evaluativo".

69

Oiga Nirenberg, ]osette Brawernzan, Violeta Ruiz

distinción entre ambos (Pineault y Daveluy, 1987). La efi-cacia se refiere a la capacidad de un proyecto o de algunode sus componentes para alcanzar sus objetivos en condi-cioncs ideales, es decir, si se dan las condiciones prefijadasy aplicando las normas tal como se han formulado para ]aaplicación de las técnicas cspecíficas, mientras que la efec-tividad se refIere a la comparación de los resultados obte-nidos respecto de los esperados, teniendo en cuenta lascondiciones concretas de ejecución, en las circunstanciasreales del contexto de] proyecto o programa y con aplica-ciones distantes en mayor o menor medida de las normasfonl1uladas. Los autores citados hablan por un lado de efi-cacia potencial y por otro de efIcacia real (o efectividad) ysus explicaciones se refIeren a programas de atención desalud, los cuales suelen estar más nonnatizados quc la ma-yoría de los progr,lmas y proyectos del campo social.

Como puede lograrse una multiplicidad de resultados(expresados en objetivos de distinto nivel de especificidad),la evaluación de la efIcacia o la efectividad de los proyectossociales suele enEltizar sus fines Últimos en términos de lassoluciones a los problemas sociales o del mejoramiento dela situaciÚn del grupo humano al que van dirigidos. Unproyecto pucde no ser eficaz, aunque alcance sus metas entérminos de los servicios o actividades a realizar, aunquehaga un uso adecuado de los recursos, aunque tenga unaestructura que ElVorezca la realizaciÚn de las tareas progr:1-madas, si no logra producir los cambios dese,ldos en lascondiciones de vida de la pob]aciÚn a la que se dirige.

En este punto es necesario reiterar la importancia quetiene contar con buenos diagnÚsticos acerca de las caracte-rísticas, y agregamos también de la magnitud, del proble-ma específico que se pretende resolver medi,mte la inter-

Lo.\·tipos de evaluaci6n

vención social determinada; habrá que responder entoncesa las preguntas siguientes: ¿en qué consiste el problema?,¿qué consecuencias habrá si no se lo resuelve?, ¿cuántas delas personas en la población del territorio considerado pa-decen el problema a resolver? Al responderlas conocere-mos la relevancia y magnitud del problema. Y algo muy im-portante: tendremos los "denominadores" apropiados parapoder estimar luego ]a cobertura del programa o proyectoya partir de allí su dlcacia real o efectividad. Se entenderámejor con un ejemplo: se trata de un centro donde se brin-da complementaciÚn escolar para niños con bajo rendi-miento que asisten a las escuelas de un determinado barrio.Para poder establecer la eficacia de ese centro hay que co-nocer la magnitud del problema en las escuelas del barrio;desde un punto de vista restringido, puede decirse que elcentro es efIcaz pues los chicos que asistieron a él mejora-ron su rendimiento y promovieron al grado posterior, pe-ro desde un punto de vista más general, si la cantidad de ni-ños atendidos es muy baja respecto de la cantidad de niílosque padecen el problema en las escuelas del barrio, ]a in-tervenciÚn no est,l siendo del todo dicaz pues alcanza a re-solver sÚlo una pequeña parte de] problema, y por endeuna conclusiÚn es que par3 mejorar la efic3cia debería 3U-ment3rse la escala de la intervenciÚn en ese barrio.

El rendimiento, ]a rentabilid3d, la productividad y laefIciencia constituyen conceptos asociados generalmentea la evaluación económica de un proyecto. El término másgeneral y relev3nte es el de eficiencitl. f~sta se defIne comola relaciÚn entre los productos o resultados esperados deun pr~)yecto y los costos de los insumos o procesos de apo-yo o funcionamiento que implica. Esta relación puede es-t,lblecerse de di feren tes formas y utilizando diversas técni-

71

I!

I

________________ J ..J.

Oiga Nirer¡berg, ]osette Bmwernull7, Violeta Ruiz

cas procedentes del análisis económico (costo-beneficio,costo-eficacia o efectividad). Las ::tproximaciones a uncálculo de costo-beneficio en el campo de lo social sonmuy complejas por la dificultad de valorar y traducir enunidades comparables -monet::trias o no-los beneficios oresult::tdos muchas veces "intangibles" de intervencionessociales, en relación con los costos de los recursos que in-sumen las posibles alternativas de inversión (ex tl11te). Laevaluación de la eficiencia de un proyecto debe brindarelementos de juicio para identificar altern::ttivas de acciónque permit::tn obtener mejores resultados con igual canti-dad de recursos o bien los mismos resultados con unamejor combinación o utilización de los recursos existen-tes. En el campo de la salud y de la educación se han de-sarrollado instrumentos para la eva]u,lción de la eficien-cia de servicios y programas. En el campo más amplio delas intervenciones sociales destinadas a incidir en las con-diciones de vida de la población queda aÚn mucho cami-no por recorrer. Pero a] transitado, debería tenerse encuenta que lo que es necesario mejorar es la 4lciencill delo.\'pl~oyectos cjlC/las, lejos de perseguir la eficiencia comoun fin en sí mismo o como valor absoluto. Esta Última si-tuación es frecuente cuando el campo de ]a acción sociales "invadido" por criterios lneramente economicistas.

Los distintos objetos posibles de evaluación:¿tipos o niveles de análisis?

Existe una multiplicidad de unidades diferentes quehan sido y son objeto de evaluación: desde un conjuntode organiz::tciones (por ejemplo, e] sistema educativo, los

72

Los tipos de evaluación

sistemas locales de salud), una organización (escuela,hospital, organiz::tción comunitaria), una política, unprograma o un proyecto hasta productos específicos oservicios brind::tdos por una organización o por un con-junto de organizaciones. Cabe aclarar que se entiendepor programa o proyecto social una intervención socialp]anific::td::tdestinada a obtener determj¡lados resultadosen un segmento de población. A1.nbos suelen diferenciar-se entre sí por su escala y su duración. El programa alu-de más a un conjunto de actividades integradas con con-tinuidad temporal, mientras que un proyecto constituye~~na unidad menor desde el punto de vista de su comple-JIdad y ]a cantidad de componentes, y se diferencia de]programa porque tiene una duración limit::tda y atiendeuna demanda o una necesidad social puntual. En ellen-guaje de la programación tradicional, solía considerarseproyectos a los componentes de un programa.

Cada una de las unidades mencionadas tiene algun::tse~pecitI.cidades en términos de criterios de evaluación ydunenslOnes de amílisis, pero muchos aspectos en comÚn.Asimismo, pueden requerir algunas técnicas específIcas(por ejemplo, en e! caso de organizaciones se utilizarán lasque son m,ís propias de! ::tnálisisorganizacional). La expe-~-iencia acumulada en la evaluación de algunos de estos ob-Jetos ha lIev,H\o a] desarrollo de subáreas que se lnanejancon criterios y técnicas propias: por ejemplo, la evaluaciónde activid,H\es, proyectos o programas de capacitación oeducativos, o bien la evaluación de servicios de salud.

Desde e! punto de vista conceptual no constituyen depor sí tipos diferentes de evaluación: cualquiera de lasclasitlcaciones anteriormente mencionadas puede apli-carse a estos diferentes objetos de evaluación.

73

Olua Nircnbcrg Jos'etteBrawerman, Violeta Ruizó . <-'.

hnporta más bien distinguir los niveles de análisis orecortes de la realidad cuyas especificidades deben tener-se en cuenta en el diseño de la evaluación de modo deutilizar encuadres metodológicos, formas de abordaje ytécnicas adecuadas. Los riesgos m<ls frecuentes en elabordaje y el anc1lisisson la transposición del nivel -fala-cia del nivel equivocado- y la utilización inadecuada detécnicas que no se corresponden con el nivel de aplica-ción para el que fueron concebidas.

Para dar un ejemplo del cmnpo de salud, es frecuenteque se trasladen las variables vinculadas a la relación mé-dico-paciente (o equipo de salud-paciente) a la evalua-ción de progrclInas de salud o del desempefio de estable-cimientos, o más aÚn a la evaluación de sistemas localesde salud, cuando cada uno de estos niveles tiene especi-ficidades que le son propias.

La estratq!,'ia de evaluación de clUStCl'S,H desarrolladaen los Último~ clños en respuesta a iniciativas de gran es-cala financiadas por fundaciones privadas y agencias pÚ-blicas americanas y de varios países europeos (Worthen ySchmitz, 1997), constituye un ejemplo de cómo los dise-ños de evaluación deben adecuarse al nivel de anc11isisdonde se concretar<Ín.Fsta estrategia se aplica a determi-nadas líneas de programas con ejecución descentralizadadentro de las que se identifican conjuntos de proyectosconsiderados "agrupaciones" porque tienen en cOlnÚn yasea SLl ideario o misión, su modalid;HI de intervención oel tipo de población destinataria (los niños, los jóvenes,etc.), y adicional mente, aunque no exclusivamente, el

8. Cflls!"l' signillca, en inglés, racimo, ramillete, 11'11:, enjam1,rc, 'lgTU-pamicnto, constclacit'm.

74

Los tipo.\'de evaluación

origen del tlnanciamiento. En esos casos, la evaluación seorienta, mediante un diseño particular, a obtener apre-ciaciones sobre el desempeño global del conjunto así co-mo sobre el desempeilo de cada proyecto integrante delconjunto. Se trata por lo tanto de un abordaje específicopara un nivel de análisis particular: un grupo de proyec-tos que comparten determinadas características. En elcapítulo 5 se encontrarán referencias a la evaluación declustcr.\' o programas complejos.

Para concluir, cabe aclarar que nuestra conceptualiza-ción de la evaluación se aplica a cualquiera de los nivelesmencionados; lo que podrá variar es el foco, así como al-gunas de las técnicas que se seleccionen para recolectar yanalizar la información relevante. Sin embargo, pondre-mos el ént~lsis y utilizaremos ejemplos de programas oproyectos, términos que usaremos indistintamente.

Para evaluar las evaluaciones

La 711ctacvaluaÚón puede considerarse un caso parti-cular de b clasitlcación previa, pues se distingue por suobjeto, a la vez que constituye un nivel de evaluación;desde otro punto de vista puede ser también catalogadacomo una evaluación externa. Se realiza con el propósi-to de juzgar aspectos centrales del propio proceso eva-luativo: apreciar su viabilidad y la del uso de sus resulta-dos, analizar la utilidad de los haJJazgos, emitir un juicioacerca de la pertinencia metodológica y ética así comode la confiabilidad del proceso evaluativo realizado y delos haJlazgos, la adecuación de las conclusiones y las re-comendaciones que se formularon.

75

~ , ""IIiiiiiIiiIIiiI~ ""' _

OIga Nirenberg, ]o.,·ette Brawernum, Violeta Ruiz

Si son pocos los programas o proyectos sociales quese evalÚan de forma integral y continua, son menos aunaquellos casos en los que se llevan a cabo procesos demetaevaluaciÓn propiamente dichos. La literatura refie-re algunas experiencias, la mayoría de ellas del campoeducativo y en los Estados Unidos.

La metaevaluaciÓn se distingue de la evaluaciÓn en ge-neral por su objeto, pero los pasos metodo]Ógicos son losmismos: requiere del diseño previo de un modelo inclusi-vo de las dimensiones y variables que se considerarán, lastécnicas elegiebs, ]os instrumentos y las pautas que uni-formen los criterios del equipo metaevaluador.

Se diferencia de esa otra acciÓn de las oficinas de eva-luaciÓn de las agencias financiadoras o de cooperaciÓn,cuando formuLlJ1 observaciones o comentarios genera-les sobre los informes y Jas metodologías de evaluaciÓnenviados por los programas o proyectos apoyados.

Conforme se anticipÓ, ]a metaevaluaciÓn constituyeun nivel de la evaluaciÓn, cuyo objeto es el propio mode-lo y proceso evaluativo. Dado que ese nivel está "por en-cima" de la evaluaciÓn propiamente dicha, hay ciertas re-comendaciones a tener en cuenta, para que los resultadosde esa actividad sean realmente aplicables y Útiles.

• En el diseilo dd modelo para la met,levaluaciÓn debedarse intervenciÓn a los miembros del equipo de eva]ua-ción (ya que será en gran parte el "objeto" a evaluar).

• Los integrantes de] equipo de la metaevaluaciÓn de-ben acreditar perfiles de mayor experiencia, idonei-dad y prestigio que los del equipo de la evaluaciÓn,dado que evaluarán e] desempeño, los informes y lasconclusiones de esos Últimos.

76

..,L

L)s tipos de evaluación

• Es conveniente que la metaevaluación acompañe lasdiferentes etapas del proceso de evaluación, para per-mitir realizar ajustes oportunos a la direccionalidaddel proceso evaluativo, tal como se aconseja para esteúltimo en cuanto a acompañar el proceso de gestiÓnde los programas o proyectos.

• Deberá ponerse especial cuidado en las formas de efec-tuar las recomendaciones y la "devolución" de los ha-llazgos, ofreciendo momentos y espacios para que losevaluadores evaluados puedan discutir e introducir mo-difIcaciones y ajustes a los informes de la metaevalua-ciÓn (tal como se aconseja para todas las evaluaciones).

Por lo demás, las metodologías coinciden con las dela evaluaciÓn en general.

La multidimensionalidad de la evaluación

Una conclusiÓn que puede extraerse de las clasificacio-nes anteriores es que ponen el acento en aspectos simila-res desde perspectivas diferentes. Así, resulta difícil dife-renciar en la práctica la evaluaciÓn ex post de la sumativa ode la de impacto, o bien la evaluaciÓn de procesos de laformativa o del monitoreo. En realidad, abarcan duniver-so de aplicaciÓn de la evaluaciÓn, organizándolo para res-ponder alternativamente a diferentes preguntas: p,lra quése evalÚa, quién evalÚa, cuándo evaluar y qué se evalúa.

Los desafíos que el desarrollo de la pdctica fue plan-teando frente a Jas limitaciones de las modalidades mástradicionales de evaluación contribuyeron a su enrique-cirniento. Ahora se presta mayor atención a las caracte-

77

OIga Nirenber:g, ]o.\'ette Brawerman, Violeta Ruiz

rísticas de los potenciales usuarios de los hallazgos eva-luativos. La incorporación de diferentes perspectivas-clientes, financiadores, la misma comunidad- ha am-pliado el horizonte de aspectos a considerar; se concibela evaluación cada vez más como un proccso continuo deautoaprendizaje, considerando tanto los procesos comolos rcsultados, y se procura involucrar de forma periódi-ca a quienes están vinculados con la ejecución.

Los ejes que dieron sentido originalmente a la con-ceptualización de los distintos tipos de evaluación se vanborrando y se tiende a cncarada como una actividad lwísintegral.

En los Últimos cien ~lños la evaluaciÓn ha evolucionado dcsde !Inenf()que unidimensionalllevado ~1 caho por un solo evaluador, quegeneralmente provenía del campo técnico que se est'lha evaluando,hasta convertirse en una actividad multidimensional concentr~]daen mÚltiples niveles de un proyecto, en la que participa una granvariedad de gener~Hlores de productos de evaluaciÓn, así comousuarios de los resultados de una evaltwciÓn. En la actualidad, enlugar de hasarse Únicamente cn los puntos de vista de un solo eva-luador en distintas et;lpas, un grupo mucho mayor de involucradosayuda a dar f()rma ~] la evaluaciÓn y ~1 interpretar sus haJlazgos 1 ... 1

comien/,a a evolucion;lr de un~l actividad en su mayor p'lrte ex post

para convertirse en una herramienta utiliz~H¡a cada vez con más frc-cucncia para fines dc monitoreo. L1 meta de la evaluaciÓn ha pasa-do de la auditoría y culpahilidad ;1 la meta actual del entendimien-to y el aprendizaje en funciÓn de cxpericncias adquiridas (Bancolnteramericano de Desarrollo, sil).

El mayor desafío en la actualidad consiste entonces enadoptar abordajes mctodológicos y diseños que sean a lavez rigurosos e integrales, compatibles con los requeri-mientos derivados de la multiplicidad de perspectivasque se ponen en juego durante el proceso evaluativo.

78

CAPÍTULO 3Los abordajes metodológicos

Que "sflber" signifique algo tlltÍ.\' que "ntflr cierto", supo-

Jl(' ¡lila SiWflcirJlI CO'ltl1l1zitflrifl en que varios sujetos, o yomi.\'Jllo C11varios 1110t11entos,puedan comprobflr lo nÚ\'77lO,

EII la flctualidl1l1 im'timttÍnci/ de 77/i conciencia propia-

'lllente l){Ulfl '''':, srilo tengo ceneZ,flS, Pilra saber fllgo, nece-sito salit, de mi y cO'lnpartil~ otro punto de vi.\,tfl, El sflber

lTqlÚcre lfl CO'lHllilidfld de Ul1 sujeto con otros,LUIS VILLORO (19%)

La diversidad está a la orden del día. Así como existendiferentes tipos de evaluación segÚn cuándo, para qué,qué y quién evalÚa, ha proliferado en las Últimas décadasuna multiplicidad de prescripciones, denominadas "mo-dclos evaluativos"¡ acerca de qué es y cómo debe hacer-se la evaluación, enfatizando diferentes aspectos segÚnlas prioridades y preferencias de los autores. El origen decstos modelos, abordajes o enfoqucs (como también selos denomina) pucde rastrearse directamente a partir delas diferentes visiones de sus proponentes acerca de lanaturaleza de la evaluación. Sus orientaciones filosóficas

1. Briones (19')1) denomina "modelo de e.;valuación" a "un esquemao disCÍlo general que.; cuactcri/.a la forma de la invcstigación evaluativaque ha de rcalizarse, las técnicas o procedimientos para 1<1 recolección y'l11,ílisis de la información, el conocimiento final que sc dese,] ohtener ylos usuarios prineip'lks de los resultados del estudio". Como se despren-de del eapítu]o 5, ese significado no es tan diferente.; del que nosotras'HloptarenH)s.

79

()Z~ll Nirenberg, ]oxette Brawerman, Violeta Ruiz

e ideológicas, sus predilecciones metodológicas y suspreferencias pdcticas los llevan a proponer diseños, mé-todos de recolección y an~llisis, y técnicas interpretativasdiferentes.

Evaluación cuantitativa y cualitativa.Un debate histórico

Uno de los ejes de los abordajes metodológicos queha generado mayor discusión, como veremos no del to-do cerrada, es el quc se refiere al uso de los métodoscuantitativos o cualitativos. Merece que nos detengamosen este debate pues ha atravesado la historia de la meto-dología de la investigación en ciencias sociales e impreg-nado fuertemente la de ]a evaluación, tanto desde elpunto de vista conceptual como en ]a práctica. De he-cho, se han llegado a identificar directamente los abor-dajes con la índole de los métodos de investigación ap]i-culos denominándo]os, de modo poco afortunado ennuestra opinión, "evaluación cuantit~ltiva" y "evaluacióncua litativa".

Esquemáticamente, suele asociarse la evaluación oinvestigación cuantitativa al paradigma positivista dela ciencia y se la identifica con el enfoque hipotético-deductivo. Generalmente se centra en verificlr hipóte-sis específicas (parte de una teoría mayor) a través depruebas empíricas y privilegia la explicación de los fenó-menos desde el punto de vista de los investigadores/eva-luadores. Utiliza discfíos experimentales o cuasi expe-rimentales. Enfatiza la estandarización, Ja precisión, la

so

Lo,\'abordajes metodológicox

objetividad y la confiabilidad de la medición así comola replicabilidad y la generalización de los resultados.Predomina el uso de los métodos de análisis estadísti-co, Se preocupa no sólo por producir datos numéricossino por generar nÚmeros adecuados a pruebas esta-dísticas,

Por su parte, los enrolados en la evaluación o investi-gación cualitativa intentan recuperar el contexto y las di-mensiones humanas del fenómeno en estudio. General-mente esa evaluación se realiza en medios "naturales"(investigación naturalista) como escuelas o vecindarios;el investigador/evaluador es el principal "instrumento"de recolección y el que analiza los datos; ent~ltiza la des-cripción "gruesa", aquella que ilumina los patrones coti-dianos de conducta y su significado desde la perspectivade quiénes se estudian; se orienta a los procesos socialesy no sólo se concentra en los resultados; emplea mÚlti-ples técnicas de recolección de datos, algunas más otrasmenos estructuradas; y fundamentalmente utiliza ellen-guaje de las palabras y un enfoque inductivo en el amlli-sis de ebtos,

Se plantean a continuación, en forma esquemática ya modo de contrapunto, las principales diferencias quesuelen destacarse entre estos abordajes evaluativos,

81

Oiga NircllbelX, ]o.\'ette BraWe777ltI17, Violeta Ruiz

EVALUACIÓN CUANTITATIVA EVALUACIÓN CUALITATIVA

Paradigma positivista/empírico Paradigmafcn ol11cnolÓgieo/ e(mstruetivi sta

Predominio de deducciÓn Predominio de inducciÓn,comprensiÓn, interpretaciÓn

Dis6íos experimentales InvestigaciÓn naturalistao cuasi experimentales

Perspectiva desde ;1fuera Perspectiva desde adentro(punto de vista de] observador) (punto de vista de los actores)

Lenguaje numérico Lenguaje verbal

Énfasis en los aspectos (:nbsis en los aspectos subjetivos:"objetivos",observ;lbles captaciÓn y comprensi{¡n dey cuantificlbles actitudes, conduct;ls, valores y

motivaciones internas

An,ílisis estadístico An;ílisis de contenido,estudio de casos

Resultados gener;lliz;lbles Resultados limitados ensu generalizaci{¡n

Los desacuerdos entre los defensores de ]a "evalua-ción cuantitativa" y los de ]a "eva]uación cualitativa" sehan centrado en cuestionarse mutuamente el uso de de-terminados métodos y técnicas y la capacidad de los da-tos relevados por una u otra para explorar, explicar, com-prender y predecir ]os fenómenos sociales.

De todos modos, merece destacarse que estos des;l-cuerdos son en parte producto de la evolución de la me-todología de investigación socia] en e] Último medio si-glo, dentro del marco de los paradigmas científicos pre-valecientes en cada momento.

Los paradigma.I' constituyen perspectivas gcnerales oteorías explicativ;ls dc la realidad que determinan cómo

\'7(~

Los abordaje.\' metodológicos

percibir c intentar comprender la verdad. Incluyen ycombinan creencias ontológicas (¿qué tipo de sujeto es elser humano?, ¿cuál es la naturaleza de ]a realidad?, ¿exis-te en los hechos o en e] pensamiento?), epistemológicas(¿cuál es la relación entre el investigador y e] sujet%b-jeto estudiado?) y metodológicas (¿cómo aprehendemosel mundo y avanzamos en su conocimicnto?).

Un par;Hligma científIco puede definirse como un principio dedistinciones-relaciones-()posici<mes fllll<hmenta les entre algunasnociones m;1!Tices que generan y contro!;¡n el pensamiento, esdecir la constituci{¡n de teorí;IS y h producci{¡n de los discursosde los miembros de un;1 comunidad científica determinada [...].Se convierte así en un principio rector del conocimiento y de lacxistenci;1 humana. Ilay que considerar!o como un mapa ÚtiJ, co-mo una aproximaci{¡n adecuad;1 y como un modelo para h orga-nizaci{¡n de h inform;1Ci{¡n conocida (iVbrtínez Miguelez, 1993,p;ígs. 62-3).

Reiteramos entonces que la práctica de la evaluaciónestuvo fuertemente intluenciada por el paradigma o losparadigmas científicos predominantes que establecenqué es lo importante, lo legítimo y lo razonable en cadaépoca.

Ila sta fines de ]os sesenta, 1.1 formación en materia deinvestigación de quienes se desempeñaban como evalua-dores provocó 1111 claro predominio del enfoque experi-menta] considerado como e] Único que podía respondera los requerimientos de] método científico, entendido se-gÚn e] enfoque clásico como ;¡cumulación del conoci-

.. " ] .. "miento por investig;lciones suceSIVas, formas o ))etlvasde conocer, y con énfasis en la medición como sinónimode precisión y en la comprobación de hipótesis median-te pruebas empíricas. El rigor en los procedimientos es

83

OIga Nirenberp;, Josette Bra7verman, Violeta Rlliz

aquí condición para encontrar la "verdad". Ello llevó a laaplicación de diseños cuasi experimentales para captar larelación causal cntre programa y resultado, es decir, pa-ra evaluar si las metas y los impactos logrados por losprogramas y proyectos sociales son imputables a ellos oson consecuencia de otros factores. Estos diseños requie-ren como mínimo una mcdición de la situación en el ini-cio -línea de base- y otra al final del programa -ex PO,I't-

o del uso de grupos de control. Tnvolucran una serie desupuestos de homogeneidad, estabilidad y racionalidaden la implelnentación, así como de confiabilidad de losregistros, difíciles de verificarse o mantenerse duranteperíodos prolongados en el contexto de los programas yproyectos sociales. 'También pueden plantearse proble-mas éticos al requerir la creación de condiciones experi-mentales para contar con un grupo de control, lo quepuede significar la exc\usiÚn de individuos de los benefi-cios de un programa o proyecto social.

Sin embargo, en los años setenta comenzó a tener ma-yor aceptación una variedad de métodos y técnicas cuali-tativas que en los sesenta habían sido considerados ina-cepta blemente "blandos" y no científicos. TTubo avancesen la l1mltidisciplinariedad, ya que se multiplicaron losmétodos y las estrategias de investigaciÚn alimentadospor diversas disciplinas, como la historia, la etnogr<lfía, lasemiótica, la antrop010gía, la sociología. Los evaluadoresadoptaron cada vez más las formas subjetivas de conocer,incorporando valores pluralísticos y utilizando métodoscualitativos. Por un lado, se produjo una especie de des-lumbramiento sin reconocer cabalmente la complejidadde esas modalidades y las competencias requeridas porparte de quienes las utilizaban, con lo cual también hubo

84

Los abordaje,,, metodológicos

una "malversación" de tales métodos y técnicas. Y, porotro lado, sus detractores cuestionaron el abandono de loque ellos suponían objetividad y rigor científico.

Es a fines de la década del setenta cuando comenza-ron a percibirse los beneficios de la integración o lacomplementación de ambos enfoques dentro de un mis-mo estudio evaluativo aunque, como veremos enseguida,fueron diversas las formas en que se dio ese enlace. En laÚltima mitad de la década del noventa el debate parecehaber perdido intensidad, al menos entre los expertos.La mayoría de los evaluadores acepta hoy ambos enfo-ques (cuantitativo y cualitativo) como válidos. El énfasisque se ponga en uno u otro depende de la situación o delos momentos de evolución de un proyecto o programay pueden complementarse o integrarse en un mismo di-seño. Es así que se admiten mÚltiples combinaciones po-sibles, que se potencian y pueden aumentar la confiabi-Jidad y credibilidad de los resultados.

En realidad, pareciera que cada momento histórico enla evoluciÚn de la investigación social y la evaluación aÚnoperara en el presente, básicamente como un conjuntode pnícticas que los evaluado res toman o no en funciónde los diferentes intereses o propósitos y de las particu-lares situaciones o circunstancias.

¿Evaluación cuantitativa o cualitativa?Ésa no es la cuestión

Una de las críticas más severas a la utilización exclusi-va de enfoques cuantitativos es que sólo miran aquellasvariables que se pueden medir y así pierden de vista el

85

OZr¿;aNirenberg, }oxette Brawernuln, Violeta Ruiz

"1 " 1)osque a que pertenecen y que les da sentido.2 Si bien,como dijimos anteriormente, la discusión entre evaluado-res parece estar superada y la corriente actual se orientahacia la legitimación de la diversidad, el problema sevuelve a suscitar fi-ente a quienes demandan las evaluacio-nes: los gerentes de programas o proyectos, los decisorespolíticos, los financiadores; ellos siguen solicitando a losevaluado res que usen diseJ10s cuasi experimentales, técni-cas cuantitativas "que muestren cifras concretas y gráficosclaros", mientras que el análisis de la estructura del pro-grama o proyecto, sus mecanismos de funcionamicntolas opiniones y demandas de los beneficiarios son toma~das con recelo, o incluso no tenidas en cuenta como h,l-lIazgos de una evaluación. Desearían -y es lícito- tener enmuy pocas páginas (dos o tres) y unos pocos cuadros concifras muy resumidas, el reflejo de los resultados de unprograma o proyecto, la visión de los logros, el éxito de lagestión y también, por qué no, los fi-acasos u obstáculosque signaron el desempeño, pero raramente les interesanlos procesos y las explicaciones. Dcbemos reconocer quemuy pocas veces los evaluadores cumplimos en satisfacerlas necesidades de nuestros demandantes. Lejos de deses-timar sus pretensiones, ellos nos dan un motivo impor-tante para incluir en el diseJ10 de las evaluaciones los en-foques cuantitativos y cualitativos, considerando tanto los

2. Rcsulta IJluy ilustrativa :11 respecto una nota sin finn:1 aparecida enel diario Clrn-fn, del 30 dc mayo de 1999, cn rclaciÓn con la cV:llu,lciÓn dela calidad educativa y los consecuentes mJ7kill.~~\' de las escuelas. Dice unsubtítu]o de la nota: "Medir o eV'lluar. [... ) Cuando se mide se :lsigna unpuntaJe o valor en una escala; evaluar supone elaborar un juicio acerca delporqué de ese puntaje [... 1 en general, las pruebas que toma LI Nación po_nen m(¡s el acento cn medir que en evaluar".

86

Los abordajes 71zetodológicos

procesos como los resultados, brindando indicadores sin-téticos y numéricos sobre resultados, así como explicacio-nes que reflejen los procesos.

La cuestión sobre qué es mejor y cuándo usar métodoscualitativos y euándo cuantitativos, entendiendo por talesel conjunto de procedimientos y técnicas para la recolec-ción de la información y el procesamiento y análisis de losdatos, no pasa en realidad por la defensa de uno en desme-dro del otro: cada uno tiene sus potencialidades y sus limi-taciones y éstas se abordarán brevemente en el capítulo so-bre técnicas. Se tr,lta más bien de reflexionar acerca de suutilidad y de los bendicios y costos de combinarlos e inte-grados en el diseño evaluativo que se plantee. Sin preten-sión de agotar los argumentos, podemos señalar al menosque esta combinación permite la consecución de objetivosmÚltiples atendiendo tanto a los procesos como a los resul-tados del programa, enriquece los hallazgos evaluativosprofundií',ando en los motivos de las asociaciones que pue-den encontrarse entre variables cuantitativas y sugiriendohipótesis para explicar la variabilidad entre individuos ogrupos, permite abordar la cuestión de las creencias, moti-vaciones o actitudes de la población, difíciles de ser refle-jadas cuantitativamente, dando vida a los datos. Tuubiénf~lcilita la triangulación (véase ]a pág. 95) y acrecienta la co-municabilidad de los resultados. Por otro lado, no puededesconocerse que esta combinación tiene requerimientosen ténninos de tiempos y costos y, sobre todo, de habilida-des para el análisis que no siempre son Hciles de alcanzar.Sin embargo, como veremos en los Últimos capítulos deeste libro, mediante un proceso de construcción participa-tiva del modelo de evaluación, es posible instalar las capa-cidades necesarias a tal efecto en la organización ejecutora

87

Oiga Nirenberg, Josette BraLvernzan, Violeta Ruiz

del proyecto. De todos modos es tarea de los evaluadorespresentar diseños integradores y demostrar la pertinenciade la combinación de técnicas cuantitativas y cualitativasen un proceso evaluativo.

Al decir de Michael Patton (1987):

El arte de la evaluacjÓn implica crear un diseño y relevar la infor-maciÓn que es 'lpropiada en una determinada situaciÓn y en elmarco de una política determinada.

o sea que no hay una "receta" que en sí misma deter-mine qué abordaje o qué método US~1r.Ante cada evalua-ción se deberán tener en cuenta las demandas de quienescontratan la evaluación, las necesidades de los decisores, lasde quienes flnancian el programa o proyecto, las de los téc-nicos que lo llevan adelante y las de los beneficiarios, asícomo la propia visión del evaluador acerca del problema ySLlexperiencia -preferencia- en el uso de determinadas téc-nicas. Así será posible construir un diseño evaluativo quedé respuesta apropiada a ese determinado contexto. DichodiseIío, por otra parte, seguramente será diferente en lapróxima evaluación que asuma ese mismo evaluador.

Por lo tanto, el abordaje metodológico no se limita auna cuestión de métodos.

Las metodología s de evaluaciÓn constituyen marcos de referen-cia coordinados de supucstos filosÓlicos (acerca del mundo, bnaturaleza humana, el conocimiento, la ética), integrados a pers-peetivas ideolÓgicas sobre el rol y propÓsito de b investigaciÓnsocial en los procesos decisorios de programas y políticas socia-les, acomp,lihHlos por posturas valo1'<ltivas acerca de los fines de-seados de los programas y de la investig;lciÓn y fin,llmentc -y eslo menos- por preferencias acerca de métodos complementarios(Greene, 1994:(31).

88

Los abordajes 7netodológicos

De este modo sería preferible reservar los atributosde cuantitativo y cualitativo para referimos a diferenciasentre técnicas de recolección, métodos de análisis e ín-dole de los datos' que se obtienen, más que a distintasformas de abordajes evaluativos. rEm1bién sería conve-niente utilizar, como Patton, el término "estrategia" pa-ra aludir a la naturaleza de los métodos y las técnicas autilizar. En su forma ideal una estrategia cuantitativa se-ría aquella que apunte a obtener datos numéricos sus-ceptibles de ser sometidos a análisis estadístico y una e.\'-trategia cualitativa sería aquella que recurra fundamen-talmente a otro tipo de técnicas de recolección4 (como laobservación en terreno, el análisis de documentación, lasentrevistas en profundidad y, en general, todo tipo detécnicas participa tivas), dando lugar a información sus-ceptible de análisis de contenido o histórico, o de casos).Las estrategias mixtas serían aquellas que utilizan com-binaciones de ambos grupos de técnicas y métodos enuna misma evaluación.

En el sentido amplio que se ha dado al término "abor-daje evaluativo", nuestro énLlsis, como se verá más ade-lante, es acorde con la concepción de evaluación que he-mos presentado en el primer capítulo: apunta a aco~pa-ñar el proceso de gestión en todas SLlSetapas, contnbu-

3. Si consideramos, como Caltung, que un dato es la t<Jrlna de regis-trar un,l respuest'l, el d:lto sed cuantitativo o cualitativo seg'Ún cÓmo se laregistre. Así, una opiniÚn (respuesta) se convierte en un dato eu:mtltatlvosi se la registra sobre la base de categorías preestableeldas para luego est:1-hlecer frecuencias, ves un d:lto cualit:ltivo si se la registra en Sll expreslOlltextual. Así, un llliS¡'u o instrumento (por ejemplo, un cuestionario con pre-guntas ahiertas y cerradas) puede recoger (btos cuantit:ltivos y cualitatIvos.

4. Véase el capítulo 4 de este lihro,

89

1 -....-- _

0Zf!;a Nircnberg, .losette Bra7Vel7nan, Violeta Ruiz

yendo al aprendizaje institucional y a una retroalimenta-ción permanente entre evaluación y programación, In-cluye el uso de una multiplicidad de técnicas, tanto cua-litativas como cuantitativas, predominando aquellas quepermiten incorporar la perspectiva de los actores involu-crados en los procesos de programación y de ejecución,incluyendo a los beneficiarios, usuarios o destinatarios delas acciones,

Veremos en el capítulo 5 que un paso crucial en la cons-trucción del modelo evaluativo, en el sentido de diseiloque le damos en este libro, es la elección de las dimensio-nes evaluativas, mientras que las variables, los indicadoresy las técnicas y los instrumentos a utilizar son elementossubordinados, dependientes de cu~lIes sean esas dimensio-nes, La detcrminación de las dimensiones del modelo esuna parte muy cre~Jtiva del proceso evaluativo, pues es loque divide conceptualmente el todo que se pretende eva-luar, en una forma diferente, para encontrar un nuevo sen-tido que posibilite otra comprensión y permita la transfor-mación de ]a realidad considerada; eso no puede lograrseeligiendo variables e indicadores sino con otro nivel deabstracción, m~ís global, que abarque el todo mediante lasdimensiones que lo integran, )';1 no se trata sólo de acer-camos a los fenómenos con variables medibles o aprecia-bles mediante indicadores; se trata de eu~íl es la concep-ción del todo en sus partes, para entonces interesarnos porcuáles variables ]0 representan y explican. Diciendo lomismo en otras palabras: para afiont~lr una evaluación no~astará c:m "elegir los indicadores apropiados", aunqueese constItuya un paso necesario; se requerirá tener unaC >' / "t /'" I 1" 1, d 1 I 'oncepCIon eonca acerca ( e o )Jeto e a eva uaCIón"y sobre la realidad donde éste se ubica.

';lO

Los abordaje,l' metodológicos

Una cuestión central: el rigor metodológico

Es importante recordar aquí que el resultado de todaevaluación debería acrecentar el conocimiento que setiene sobre el programa o proyecto, sobre el problemaque dio origen a la existencia del mismo y sobre las mo-dalidades adecuadas para la resolución de este problema.Como hemos dicho anteriormente, la evaluación debeser una instancia de aprendizaje más que de control. Enese sentido podríamos enfocar entonces el tema delabordaje evaluativo alrededor de cómo logramos cono-cer más y de qué modo incorporamos el saber.s

Ello remite a la cuestión del rigor metodológico, esdecir, a los panímetros vigentes relativos al proceso deproducción de conocimiento para que el que se obtengasea considerado científico.

La evaluación fundamenta sus juicios en el análisis deun conjunto sistemático de datos, los cuales no existen nisurgen de forma natural o espontánea. Primero hay queponer en claro cuáles serán las dimensiones o los grandesaspectos a considerar; luego, definir las variables y los in-dicadores correspondientes, y sólo entonces deben obte-nerse los datos pertinentes usando determinadas técnicase instrumentos. Para recoger evidencia válida y con fiable,es muy import~l1lte la decisión de cuáles técnicas e instru-

S. "La ciencia no tiene que esta!' limitada fo!'zosamente a medicionesy an<Ílisis cuantitativos. Debemos considerar científica cldquier manerade abordar el conocimiento siempre que satisfaga dos condiciones: que elconocimiento se hase completamente en observaciones sistem<Íticas y quese exprese desde el punto de vista de modelos coherentes, aunque sean li-mitados y :lProxim:ltivos" (Martínez Miguelez, 1993: 17S),

97

-----¡.~-~---_ ...--- ..

L

OIga Nirenlmx, Josette Brawerman, Violeta Ruiz

mentos se utilizarán en función de las respectivas variablese indicadores seleccionados. Se requiere utilizar técnicas einstrumentos adecuados y a la vez poner sumo cuidado enlos procesos de aplicación, de modo que la informacióntenga validez interna y exte777a,r' o sea que se rcfJera a las di-mensiones y variables que nos interesan y no a otras, quemidan aquello que procuran medir en el caso de cuantif-J-caciones, y que permitan apreciar y emitir juicios funda-mentados sobre aqueIJo que se procura comprender o ex-plicar en el caso de cuali6caciones. Se requiere precisir5n enlos instrumentos, es decir que deben estar diseÍlados deforma tal que pueda asegurarse que se re6eran a lo queimporta que se refieran, dejando de lado lo no relevante.Se requiere asimismo que el instrumento sea suficiente-mente c()r~fiable, es decir que tenga la capacidad de ofrecerresultados similares o comparables al ser aplicado reitera-das veces y por diferentes evaluadores. Sin duda que paraasegurar todo eso deben pautarse procedimientos ajusta-dos en los diseños así como en las aplicaciones. Surge en-tonces la necesidad de capacitar y adiestrar a los actoresque intervendrán en las etapas de diseño y que aplicaránlos procedimientos e instrumentos evaluativos.

Sin embargo, el rigor no tiene que ver exclusivamen-te con la pertinencia dc1 LISO de determinada técnica pa-ra apreciar o medir determinado fenómeno ni con el gra-do de conf-Jabilidad y precisión de los datos obtenidos.

6. "La diferencia principal entre validez interna y externa es que laprimera expresa una relaciÓn I()gica, mientras que la segunda expresa unarelaciÓn empírica; la validez externa consiste en poner a prueba una hipÓ-tesis" (Zetterberg, 1(65). En la primenl se trata de coherencia y en la se-gunda se tnlLl de ]a posibilidad de extrapolar o genemlizar.

'~--,-.,.",.,. , , ""_--Los abordaje.\' metodolrSgicos

Por un lado, el rigor metodológico en la evaluaciónde un programa o proyecto va más allá de la decisiónacerca de las técnicas y los instrumentos a usar: importadesde la propia identificación del problema que se abor-dad, de la adecuada determinación de los principalesejes o dimensiones que lo componen, de la selección delas variables relevantes en el marco de cada dimensión yde los indicadores apropiados para retlejar las variableselegidas; ese rigor en la etapa de la formulación deberáluego ser reforzado en los pasos de la aplicación, conprocedimientos apropiados y lo más estandarizados quesea posible, lo cual supone actividades concretas de nive-lación y homogeneización de los equipos evaluativos, so-bre todo de los que intervienen en el trabajo de campo.Además, deberá mantenerse el rigor en el momento deprocesar, sistematizar y analizar la información obtenida,así como en ]a preparación de los informes para la devo-lución de los resultados.

Por otro lado, uno de los aspectos positivos que intro-dujo la discusión entre métodos cuantitativos y cualitati-vos ha sido la resignificaciÓn de las cuestiones de la vali-dez y confiabilidad, asociando éstas a los instrumentosutilizados y agregando la consideración de otros aspectosvinculados a los valores de los investigadores/evaluado-res y de los "investigados", incluyendo así el contexto deproducción de] conocimiento, y la ética. En síntesis, sehan sometido a revisión los criterios tradicionales de ri-gor y se est<1nincorporando otros.

Es necesario comprender quc los métodos cualitati-vos pueden asegurar el rigor aunque de modo diferentedel de los métodos cuantitativos. La eXplicitación de loscriterios de selecciÓn de participantes e informantes (más

93

0Z~'a NirenlJC7X, .losette Bn17vennan, Violeta Ruiz

que la búsqueda de representatividad estadística), la ex-plicitación de los valores e intereses del evaluador y delmodo en que el contexto incide en ellos, ]a socializacióndel proceso de análisis e interpretación, constituyen for-mas de asegurar el rigor. El consentimiento informado (laaceptación de la gente a responder o participar de unainvestigación o evaluación y además la transparencia encuanto a los procedimientos y los derechos y deberes detodos los que se involucran en el proceso), el {moni'll1trto(más que la confidencialidad) y el cuidado en minimizarlas a.fi'lnetrÍfrs en la relación entre evaluador y otros acto-res, son formas de introducir la ética en los procesos deproducción de información.

Cualesquiera que sean los métodos que se utilicen, losevaluadores son actores privilegiados, y por lo tanto lavalidez, la precisir}n y la c()J~/I{rbilid{rd de los datos dependenen gran medida de su capacidad, sensibilidad e integri-dad, lo cual nos lleva a la cuestión de la subjetividad en elproceso eva1uativo.

j\1ás adelante proponemos que ]a corrección de lasubjetividad individual -que produce distintas aprecia-ciones sobre los mismos eventos- se encuentra en la "in-tenubjetividad",7 lograda mediante la incorporación delos diferentes actores en distintos momentos del procesoevaluativo -n/ltltiactorrrlidad-, lo cual genera espacios de

7. Habermas (I'.iN2) menciona proeedimielltos de "creaei{)1] de C:lm-pos epistemolÓgieos de intersubjetividad", contraponiendo este tipo degeneraciÓn de conocimiento al que se reali"a de forma aislada o indivi-dual)l. que corre el riesgo de la subjetividad individu,lI, no sometida a crí-tica, El, como otros muchos ,¡utores, sostiene que la ciencia, aun en elenfoque positivista, carece de objetividad absolut'l, lo cU'll no impideprocuLlr el rigor.

LO,I' abordajes /netodológicoj-

confrontación y ref1exión conjuntas, para permitir acuer-dos o consensos sobre distintos aspectos y, en particular,sobre los juicios valorativos fundamentados.

Por otra parte, si consideramos la evaluación como laaplicación de ciencia y conocimiento para valorar la cali-dad de determinado programa o proyecto, los aportes dediferentes disciplinas en e] proceso eva]uativo incremen-tan su poder explicativo y resolutivo, por lo cual es rele-vante la conformación de equipos evaluativos rmrltidi.l·ci-pláurrio,l'.

Una estr;1tegia actualmente muy difundida para ase-gurar el rigor y corregir la subjetividad es la trirmgula-ción,H Ello supone la utilizaciÓn de diferentes técnicas yfuentes para evaluar los mismos fenÓmenos o aspectos dela realidad a través de operaciones convergentes, en elsentido de síntesis y complementación metodológica.'Eunbién se habla de triangulaciÓn cuando la evaluaciónes realizada por un grupo en el que "se cruzan" los crite-rios y puntos de vista de cada uno de los evaluadores.Con ello se procura mayor clm/labilidad de la informaciÓnobtenida, mayor entendániento de los fenÓmenos bajo es-tudio, reducción de se.lgo,l"propios de Cflda técnica, fZlente y pro-fesiol1trl, y la v{rlidacil}11de las apreciaciones evaluativas.

En síntesis, entendemos que el rigor no se limita a laelecciÓn de las técnicas o a determinar los pesos relativos

N. La met¡ífora de la tri,mgulaci{)1] se deriva del uso -con flnes milita-res o de naveg,¡ciÓn- de mCiltiples puntos de referencia para identificar conmayor precisi{)1] la posici'")1] de un objeto ,¡lejado. En las ciencias socialesse intenta algo similar: mcjorar la exactitud o precisiÓn de los juicios y au-mcntar]¡¡ conliabilidad de los resultados a través de la rccolecciÓn de da-tos sobrc el mismo fenÓmeno, desde diferentes perspectivas o técnic¡s.

9)

OZga Nirenhe1-g, ]osette BmWerllUl1Z, Violeta Ruiz

de los métodos cualitativos y cuantitativos, sino que de-pende más de la calidad de las decisiones y conductas quelos investigadores/evaluadores adoptan a lo largo de losdiferentes momentos por los que se atraviesa en el pro-ceso de investigar o de evaluar. Es así que las decisionesy el rigor que se aplique en los momentos de:

• defInición del problema a evaluar,• elección y explicitación del marco conceptual,• generación de hipótesis,• selección de técnicas,• trabajo de campo,• procesamiento, análisis e interpretación de los datos y

resultados obtenidos,

influirán en la validez de los juicios apreciativos para co-rroborar, precisar o rechazar las hipótesis explicativas/e-valuativas, en la comprensión del objeto de estudio y, endefinitiva, en las posibilidades de intervenciones adeClla-das que permitan transfonnar la situación evaluada.

Actores y audiencias

Si aceptamos que los programas y proyectos socialesson el resultado de un conjunto de decisiones, podemostambién aceptar que la evaluación de programas est,latravesada por decisiones políticas en términos de defi-nición de prioridades sociales, distribución de recursosy, en última instancia, de poder. Es en esta línea de pen-samiento que las preguntas evaluativas sobre la impor-tancia de un programa o proyecto, su significado, el de

Los ahonl{~je.\ metodológicos

sus logros y de la efectividad alcanzada, reflejan un pro-ceso de toma de decisiones y establecimiento de priori-dades. uunbién los resultados evaluativos forman partede definiciones técnico-políticas y no son simples de-ducciones o conclusiones abstractas, descontextualiza-das de la realidad en la que el programa o proyecto sedesarrolla.

El equipo evaluador describe, infiere y transmite unconocimiento pdctico adaptado a cada situación. Pero,antc todo, su tarea es valorar y, hasta la selección de es-tándares o parámetros que se usarán para contrastar, es-tará determinada por un contexto. De ese contexto par-ticipa una variedad de actores con diferentes intereses yperspectivas acerca del programa.

1,0 que diferencia un aborcbje evaluatÍvo de otro no son ]os mé-todos sino más bien las preguntas, quiénes plantean esas pregun-tas y qué valores se promueven (Crcene, ]994:533).

Nosotros agregamos a eso la relevancia que tiene ladeterminación de las dimensiones de la evaluación, esdecir, cuáles ejes conceptuales serán los que estructura-rán el modelo a utilizar, pues son tales dimensiones lasque defInen la "teoría" subyacente del programa o pro-yecto a evaluar.

Los actores participantes en el diseño de una evalua-ción yel rol que desempeñan en la determinación de talesdimensiones y la formulación de las principales preguntasevaluativas es lo que influir,l en las distintas formas deabordar la evaluación de un proyecto.

El primer paso de cualquier evaluación estad dadopor una "negociación inicial" en la que el evaluadoracordará sus límites y alcances con los decisores políticos

97

OZg"a Nirenbcrg, .lo.\"ctte BnlWC17lJfn7, Violcta Ruiz

o responsables máximos del programa o proyecto y conlos representantes de los entes financiadores (en e] casode que puedan distinguirse) teniendo en cuenta diversosfactores, en particular los fondos que se ]e asignen. Sonestos {{am·c.\' los que detenninadn el contexto específicoen e] que comienza el proceso evaluativo.

A partir de allí, e] cadcter de1 abordaje metodológico]0 da en primera instancia el punto de vista del eva]ua-dor,'J cuyo rol como actor es relevante. Son importantesen ese sentido su ubicaciÓn, su concepciÓn, su origen ytrayectoria disciplinaria, sus vincubciones con otros ac-tores, etc. Cada eva]uador, de acuerdo con su particularcosmovisiÓn, ubicación, actitudes, experiencia e intere-ses, releva aquellos aspectos que considera significativosy ti'ente a los cuales est,í sensibi]ií',ado. Como ViUlOS,esointroduce la cuestión de la subjetividad en el procesoevalu,¡tivo, sohre todo en el caso de que se trate de uneva]uador individua] y no de un equipo. Esta considera-ción de la carga ideológica que el evaluador trae consigoest,í hastante alejada del paradigm,¡ clásico que apela alsupuesto de la objetividad y la neutralidad valorativa de]investigador, evalu,¡dor u observador, como alguien si-tuado afuera del fenómeno o realidad en estudio, no"contaminado" por esa realidad. Ya tales cuestiones noson materia de discusión seria en la filosofía de bs cien-cias, puesto que en las propias ciencias físicas y naturales

9. Cuando se menei0!1'1 ,11"evalu'Hlor" debcr,í tenerse en cuenta queéste puede ser un individuo o bien (rat'1rse de un equipo, en cuyo caso il1-tercsar,ín los 1'1Ctores mcncion'1dos p'1ra CHL1 uno dc sus micmbros, asícomo L1s c1raeterísticas multiproFcsionaks y n1ldti'1ctor'1ks dcl grupo ySllS modalidadcs de funcionamicnto.

98

Lo.\"abordajc.\" nzetodológico.\

se reconoce ]a influencia del observador en el campo deexperimentación y viceversa.

Sin embargo, aÚn subsisten formas de encarar losprocesos evaluativos vinculadas a las modalidades tradi-cionales de evaluación, que ponen el énfasis en la supues-ta objetividad científica, sobre cuya base el eva]llador"llega" al proyecto con un modelo predeterminado, rele-

1 . t· " 1 . "" ]va. a m onnaClOn que e l11tcresa, se va para ana izar ]osresultados y presentar sus conclusiones, luanteniéndose

ti ",. "t' 11en oe o momento aseptlcamente .Tlera e e programa.Sin ir tan lejos, est,í el evaluador que, si bien se involucraactivamente en el funcionamiento del proyecto o progra-ma, intentando entender su dinámica, elabora aislada-mente tanto su modelo eomo sus instrumentos de reco-lecciÓn y sus conclusiones, es decir, se reserva el rol de laevaluación exclusivamente para sí, ya que es el "experto".

Otra posihiliebd, a ]a que adherimos y que estaría vin-culada a la aceptación de la suhjetividad intrínseca de losactores participantes, se encuentra en ]a construcción deespacios y momentos de "intersubjetividad" mediante laparticipación de los distintos actores comprometidos conel programa o proyecto ohjeto de análisis, en todas lasetapas de la evaluación. Es en ese sentido que se hablabaanteriormente de la evaluaciÓn multiactoral y multidisci-p]inar.

Consideramos que la forma de compensar el peso delequipo eva]uador y sus puntos de vista (por más multidis-ciplinar que sea), y a ]a vez hacer viable la aplicaciÓn delos procesos evalw¡tivos para luego lograr la aceptación yb ,¡propiaciÓn de ]os resultados y recomendaciones porparte de los miembros del programa o proyecto, es jus-tamente a través del involucramiento en e1 proceso eva-

99

j,

0Zr;a Ná-enberg, }o.rette BraWe77JU177, Violeta Ruiz.

luativo de todos los actores intervinientes y significati-vos. Todos ellos deben tener posibilidades reales de in-tervenir en las decisiones relativas a qué dimensiones yvariables tener en cuenta, cuáles indicadores son los másrelevantes, qué técnicas e instrumentos de recolecciónutilizar, así como en la implementación de la evaluación,en sus correcciones y cambios, en e] an,llisis y seguimien-to de sus resultados, en las conclusiones extraídas de dIosy en formular (o corregir) las recomendaciones.

Es importante, entonces, realizar un exhaustivo re]e-vamiento de quiénes son los actores clave en la toma dedecisiones y en ]a ejecución del programa/proyecto, paraincluidos desde el inicio en el proceso de la evaluación.

En las tem<lticas sociales, los usuarios, destinatarios obeneficiarios, así como ]a comunidad en general, son ac-tores de ineludib]e consideración en el proceso evaluativo.

En términos generales podemos distinguir al menoscuatro tipos de actores, que en principio deberían ser te-nidos en cuenta, aunque en cada caso se deberá procedcra identificar y caracterizar a los que sean relevantes paracada proyecto o programa.

• Los funcionarios de las agencias financiadoras.• Los responsables de la conducción político-técnica.• El personal profesion<J] y administrativo que lleva

adelante ]a ejecución.• Los miembros de las organizaciones intervinientes.• La población objetivo, beneficiaria o Llsuaria.

Si bien el rol del evaluador sigue siendo chJVe, sólo apartir de] trabajo mancomunado con los distintos actoresnos parece posible llevar adelante una evaluación que 10-

100

Lo.\· abordaje.l· metodológico.r

gre superar los temores, las desconfianzas y las barrerasque normalmente surgen en la organización o en el equi-po del programa/proyecto que se pretende evaluar anteel hecho concreto de "sentirse evaluados". Además, co-mo ya se ha visto en el capítulo anterior, los miembros deesos equipos están involucrados en distintos aspectos dela marcha y es natural que se resistan a aceptar cambiosaun cuando surjan de las recomendaciones de evaluacio-nes ngurosas.

La evaluaci6n y b organiz,¡ciÓn pueden ser términos contradicto-rios. La cstructura dc la organi;r,aci6n implica est,¡bili(bd, en t,lll-to quc cl proceso de evaluaci6n inculca el cscepticismo. La eva-IU'lci6n se refiere a b relaci6n entre la acci6n y los objetivos, entanto que la organizaci6n relaciona sus actividades con su progra-m,¡ y clientela (Wildavsky, 1972).

Por ]0 tanto, en la fase inicia] será imprescindible elesfuerzo de] equipo evaluador por conocer a los actorescon quienes interactuará, así como su historia en tantoindividuos y como miembros de un grupo u organiza-ción. Tnnbién será fundamental e] desarrollo de capaci-dades y habiliebdes específicas en los participantes, através de ]a capacitación, el entrenamiento, el asesora-miento y la asistencia técnica, para facilitar la miradaevaluativa y el conocimiento del proyecto o programadesde esta perspectiva.

Podemos decir, en c] sentido que venimos desplegan-do, que d ro] del evaluador no es solamente generar ca-pacidades en los actores del programa o proyecto parafJcilitar la instalación de una "cultura organizaciona]evaluativa" sino que, simultáneamente, irá aprendiendo eincorporando la información necesaria para la construc-

101

Olua Nire71beru Jo.\ette Brawerrmm, Violeta RuizÓ Ó'.

ción del modelo evaluativo. Para que ref1eje lo más aca-badamente posible las necesidades y los requerimientosde los actores y del programa o proyecto, el evaluadordesarrollad las grandes líneas, conceptua]izará las di-mensiones de ]a evaluación y sus principales aspectos,pero dad intervención a los actores en el disefío especí-fico de dichas dimensiones. Pondd sus habilidades me-todológicas a] servicio de] conocimiento que los actorestienen de] ]ug,lr y ]a realidad donde se desempefian. Enun proceso así encarado, los distintos actores expresaránlos diferentes objetivos y metas que cada uno persiguecon ]a evaluaciÓn, quedando explicitados sus propiospuntos de vista.

Por ejemplo, en un proyecto que evalÚa la caLidad dela atenciÓn en ]os servicios de salud, los profesion,l]esasistencia]es suelen poner el énbsis en los aspectos cien-tífico-técnicos de ]a atenciÓn, y consideran el acto médi-co en rehlciÓn con cada paciente; paralelamente suelendejar de lado los aspectos de eficiencia (o de costos de laatenciÓn). Asimismo, serán heterogéneos dichos ént~lsissegÚn las disciplinas y especializaciones profesionales.

En cambio, los gerentes o funcionarios de los nivelesde conducciÓn de los sistemas de salud enfatizan los as-pectos de resultados a niveles pob]aciona]es y ]a eficien-cia, o sea, ]a relaciÓn de esos resultados con los costos (la-mentab]emente, a veces sÓlo consideran importantes loscostos, o tan sÓlo los gastos).

Por su parte, los usuarios de los servicios hacen hin-capié en ]os aspectos de trato interperson,ll, de accesibi-lidad y de resu]t,Hlos concretos en la mejoría del estadode salud y bienestar a corto plazo (lo cual no es estricta-mente ]0 mismo que enf~ltizar en aspectos científico-téc-

102

Lox abonl{~jex 717etodol~gico.\

nicos), pero casi no consideran los aspectos de costos oeficiencia (aunque sí los de gastos en el caso de que ten-gan que realizados de su bolsillo). También debe tenerseen cuenta que habrá heterogeneidades en las expectativas(y, por ende, en ]a satisfacciÓn/aceptabilidad), de acuerdocon las características culturales y socioeconÓmicas -losestratos de pertenencia- de ]os usuarios.

'1()(]os deben ser incluidos en el proceso evaluativo.Cada uno de esos actores procurad orientar la evaluaciónhacia los aspectos que considera relevantes; la síntesis a ]aque pueda arribarse a partir de las instancias de confron-taciones y de cOl1senso!1Iotorgará mayor riqueza a ]a eva-]uaciÓn y colaborará en e] uso posterior de sus hallazgospara Ll mejora de] desempefío del proyecto/programa.

En resumen: ]a especificidad y la parte "noble" de ]atarea que recae en el eva]uador es ]a de aportar su expe-riencia metodo]Ógica a los demás ,lctores, a la vez querealizar una síntesis superadora y creativ,l a partir de ]0

que ellos brindan.Por otra parte, es necesario diferenciar a los lleton,·

participantes en ]a evaluaciÓn de las (llldicnáll.\" interesa-das en sus resultados. Algunos coincididn, pero ello noes así necesariamente. E] modo de preparar ]os informes,organizar las presentaciones de los resultados y las for-mas de difusión de las conclusiones e incluso de especifi-car recomendaciones, seguramente deber,í realizarse di-ferenciando y enLltizando distintos aspectos, puesto que

1 o. I<~n el capítulo sobre técnic1s se sintetiz:lI1 :llgunas f<Jr111aSp:lnlefectuar confrontaciones y arribar a consensos, pero deber:í profundizar-se con técnicas específicas de dinámicas grupaJcs y de negociaci6n, entreotras.

103

0Ze;aNirenberg, ]osette Brawennmz, Violeta Ruiz

las inquietudes y preocupaciones de cada tipo de audien-cia son distintas. Es relevante reconocer esa diversidadde intereses por parte de las audiencias, pues ello incidi-rá también en su aceptación de los resultados evaluativosy las recomendaciones.

Sin duda, los actores que se involucraron en los pro-cesos evaluativos serán audiencias ineludibles, a las quehabrá que efectuar "devolución" de los resultados paraque puedan tener "derecho a réplica", es decir, a modifi-car las conclusiones y recomendaciones así como las fun-damentaciones. Pero las audiencias son más amplias, porejemplo:

• los pobladores o actores de la comuni(lad no directa-mente afectados por la implementación del proyectoo programa;

• las autoridades políticas inmediatas y mediatas;• los responsables de programas similares en el mismo

o en otros contextos;• los funcionarios de la agencia que financia e] progra-

ma (en los casos de que se trate de un programa sub-sidiado u apoyado por una agencia);

• la comunidad académica.

No deber:in descuidarse los procesos de socializaciónde los hallazgos de ]a evaluación, particularizando segÚnlas diferentes expectativas e intereses de las audiencias.

104