eEL PROCESO DE EVALUACIÓN INSTITUCIONAL

SEBASTIÁN RODRÍGUEZ ESPINAR (*)

LA EVALUACIÓN INSTITUCIONAL:CONCEPTOS Y TIPOLOGÍA

En los últimos años la evaluación de lacalidad de los servicios que prestan las ins-tituciones universitarias se ha convertidoen un tema prioritario de la política univer-sitaria en numerosos países. El crecienteinterés por la calidad ha derivado en unapreocupación generalizada por la evalua-ción que ha generado una situación bauti-zada por Neave (1988) como el estadoevaluativo de las universidades europeas.En las dos últimas décadas los gobiernosde los estados han venido emprendiendodiversas acciones, directas o indirectas, enorden al control de calidad y a la eficienciade las instituciones públicas; introducien-do sistemas de indicadores de rendimientoque no siempre han sido bien aceptadospor las instituciones (Boyer et al., 1987).Por su parte, las instituciones pusieron enmarcha mecanismos de evaluación de supropio funcionamiento así como de pla-neamiento estratégico, dando lugar a unpanorama evaluativo definido por muy di-ferentes tipos de evaluación.

En primer lugar, existe unanimidad enadmitir que toda práctica científica de laevaluación consiste en obtener evidencia(información objetiva de índole cuantitati-

va y cualitativa) de modo sistemático parainformar algún tipo de decisión. En el con-texto de la enseñanza superior se ha prac-ticado la evaluación a través de:

• Revisión y permiso de los estados.• Acreditación por agencias regionales.• Autoestudios.• Indicadores de rendimiento.

En el apartado de programas:

• Pruebas estatales la validación de tí-tulos profesionales.

• Revisiones cíclicas de programas (concarácter obligatorio o voluntario).

• Acreditaciones especializadas paralos programas profesionales.

En anteriores trabajos (Rodríguez,1995; 1997) hemos examinado con deteni-miento los tipos de evaluación más usados(Acreditación, Revisión de Programas, In-dicadores de rendimiento, Peer Review).En ocasiones los modelos de evaluacióninstitucional combinan el uso de diferentestipos. Las diferencias más significativas quepodemos encontrar en la práctica de laevaluación universitaria radican en las di-ferentes combinaciones resultantes.

Para adentrarse en los enfoques de laevaluación institucional, el lector es invitadoa la consulta, entre otras, de la obra del pro-fesor Mora (1991) Calidad y rendimiento en

(*) Universidad de Barcelona. Miembro del Comité Técnico del Plan Nacional de Evaluación de la Calidadde las Universidades.

Revista de Educación, núm. 315 (1998), pp. 45-65

45

las instituciones universitarias, o de la inte-resante publicación Peer Review and Perfo-mance Indicators (Goeclegebuure et al.1990) o del compendio internacional publi-cado por el Consejo de Universidades Laevaluación de las instituciones universitarias(De Miguel eta!. eds. 1991) y en la que serecogen trabajos de ámbito internacional ycon enfoques y temáticas diferentes. Final-mente, la compilación del especialista M. Ko-gan 1993) Evaluating Higher Educationes ya un clásico en el tema que nos ocupa.

El debate sobre los modelos de evalua-ción institucional está centrado, fundamen-talmente, en la confrontación de dosdimensiones o criterios: evaluación internaversus evaluación externa, y evaluación ba-sada en juicios de expertos versus evalua-ción basada en indicadores de rendimiento.Si queremos un esquema más simple, pode-mos decir que en el fondo esta la confronta-ción entre el modelo autorregulado(self-regulation) y el modelo de control ex-terno gubernamental (Vroejenstijn y Acher-man, 1990). Aunque tal vez sea unaaclaración innecesaria, conviene señalar quela autoevaluación institucional debe incluirla presencia de expertos ajenos a la propiauniversidad si se desea una correcta evalua-ción de la calidad intrínseca (bien sean nopertenecientes a la misma universidad quese autoevalúa o, y para determinados aspec-tos, ajenos a los estamentos universitarios).

El término evaluación institucional noes muy utilizado en la práctica norteameri-cana, sí el término Autoestudio como deno-minación del proceso interno de evaluación,bien de un programa o, mas genéricamente,del global de la institución. Su uso se extiendeen el contexto europeo como consecuenciadel carácter público —en su titularidad y finan-ciación— del sistema universitario y tienecomo nota distintiva la implicación de unconjunto de audiencias intra y extra insti-tución. La autoridad educativa gubernamen-tal, en su doble función de garante de lacalidad y de la financiación, desempeña unpapel específico en el proceso.

La evaluación institucional se caracte-riza por tener una doble orientación; es de-cir, atiende tanto a la eficacia como a laeficiencia. Por otra parte, no sólo atiende ainputs y outputs, sino que debe atendertambién a los procesos. Así mismo, ha deconjugar las perspectivas intrínseca (disci-plina) y extrínseca (pertinencia) de la cali-dad de la educación universitaria.

ALGUNOS CONCEPTOS QUE SE HAN

DE PRECISAR

El uso del término evaluation o reviewof quality es propuesto por van Vught(1996), siguiendo a Trow (1994), como elmás libre de las matizaciones o especifica-ciones añadidas en la práctica de cada unode los países o sistemas establecidos. Asímismo se considera que la Evaluación ins-titucional forma parte de la gestión de fialcalidad: Quality management es definidocomo: that aspect of the overall manage-ment function that determines and imple-monis tbe quality policy [i.e. intentions anddirection of the organisationl (ISO 8402).

Desde la perspectiva de la práctica britá-nica, dos dimensiones —en cuanto a la res-ponsabilidad de ejecución— y cuatroprocedimientos definen un modelo integralde evaluación institucional (DES, 1991):

• Dimensión interna: la responsabili-dad en la iniciativa y ejecución recaeen la propia institución universitaria.Los dos procedimientos que se de-ben realizar son realizar son:—Quality Assurance (ISO 8402):

•all those planned and systematicactions necessary to provide ade-cuate confidence...».

—Quality Control: «the operationaltechniques and activities thatare used to fulfil the requeri-ments for quality•.

• Dimensión externa: La responsa-bilidad de ejecución descansa en ór-

46

gafos externos a la institución. Dosprocedimientos:— Quality Audit (Dependiente del

Higher Education Quality Coun-cil): «externa] scrutiny aimed atprovicling guarantees that institu-tions have suitable quality controlmechanisms in place».

— Quality Assessment (Dependien-te del Founding Council).Este término no es definido en laISO 8402, a diferencia del dequality audit. Sin embargo, qua-lity assessment es más común enel marco de la educación supe-rior definiéndose como: a syste-matic examination to determinewhether qua/uy actieities complywitb planned an-angements andwhetber ¡be ,product• (i.e. ¡heeducational process) is imple-mented ellectively and is s'atablelo achieve objectives. Este proce-dimiento de evaluación no essino an externa! reviere of andfi tdgement aboitt, the T'ah ty of tea-cbing and learning in institutions.

La diferencia importante entre qua/uyassessment y quality audit está en que la pri-mera está directamente relacionada con lacalidad de la enseñanza o de la investigaciónmientras que la segunda centra su atenciónen la forma en que la calidad (de la enseñan-za o de la investigación) está gestionada porla institución. Quality audit es una parte delmanagement review, por usar otro términoya popular (van Vught, 1996, p. 191).

Con alguna frecuencia se observa unacierta confusión al identificar como sinóni-mos estos dos procedimientos externos Elprimero hace referencia a la auditoría deadecuación. Sin embargo, y desde nuestropunto de vista, el término y concepto deQuality assessuze plt responde plenamenteal concepto y procedimiento de la auditoríade eficacia. No es de extrañar, por tanto, queen la reciente modificación británica esteprocedimiento caiga bajo la jurisdicción

del Consejo de Financiación. La distinciónde los dos términos es obvia y se impone,como señalan Dochy el al. (1990), distin-guir entre garantía de la calidad y medidade la calidad en la educación superior. Laprimera reclama un proceso continuo deevaluación; es decir, la periodicidad en laobtención de medidas de la calidad, quedeben ser establecidas con anterioridad yconocidas públicamente.

EL CONTINUUM DE LOS MODELOS

EUROPEOS DE EVALUACIÓN

El análisis cle los trabajos de Dahllsf elal. (1990), Godegebuure el al. (1990), De Mi-guel el al. (1991), Kells (1993) y el informede la CEE (1993) pone de manifiesto dosgrandes tipos de cuestiones presentes en laevaluación institucional. La primera de ellashace referencia a la base conceptual-ideoló-gica que subyace en el propio planteamientode la evaluación; la segunda se relaciona conlos inodus operandi adoptados.

Se ha repetido hasta la saciedad que laevaluación institucional no es una prácticaaséptica; bien al contrario, está claramenteinfluida por el marco ideológico en el que seenmarca el propio sistema universitario.Como señalábamos al comienzo de este tra-bajo, ha sido M. Bauer (1988, 1991) quien hapuesto de manifiesto el enfrentamientoideológico que está presente en algunos sis-temas europeos. La cuestión que se planteaes si superar tal enfrentamiento medianteuna síntesis operativa y justa es posible:

• Igualdad de tratamiento a las insti-tuciones. Financiación basada ensus necesidades y que asegureigualdad de oportunidades a losalumnos y equivalencia en la ca-lidad de los programas. En con-secuencia, deben darse sistemassemejantes que garanticen la ca-lidad como forma de lograr queningún programa está por debajo

47

de los estándares mínimos re-queridos.

• Se admite la variabilidad de calidaden las diferentes instituciones y pro-gramas. Se estimula la diferencia-ción (competitividad) y se aplicauna financiación selectiva. En con-secuencia, deben darse juicios com-parativos sobre la calidad deprogramas e instituciones.

Una vez más habrá de recurrirse alanálisis de la realidad de cada sistema uni-versitario para comprender la pertinenciade uno u otro enfoque. Como queda pa-tente en la obra de Craft (1992), el modelode evaluación que se adopte ha de estarenraizado con la realidad de cada sistemauniversitario.

UN HACER CON MÚLTIPLES MATICES

Todo proceso de evaluación institucio-nal, tal y como de practica en el contextoeuropeo y propone el programa español,se articula en dos grandes fases: Autoeva-luación y Evaluación externa, exigiéndosepreviamente la existencia de una serie dedatos estadísticos de gestión y para la ges-tión, es decir, datos de carácter cuantitativoo cualitativo orientados a informar los jui-cios de valor consustanciales a todo proce-so evaluativo.

Un pertinente y efectivo modelo deevaluación ha de estar diseñado de talforma que permita recorrer de maneraprogresiva tres estadios o niveles, generan-do en cada uno de ellos productos especí-ficos de utilidad. El intento de lograr unode ellos sin tener conseguido el anteriores tanto como condenar al fracaso la prác-tica evaluadora. Difícilmente podrá abor-darse una correcta evaluación sipreviamente no se ha logrado una fiabley válida base de datos de gestión sobre laque poder armar tanto el proceso de au-toevaluación como el de evaluación ex-

terna. El siguiente esquema ejemplifica lastres fases de un proceso de evaluación ins-titucional:

DATOS ESTADÍSTICOS DE GESTIÓN

AUTOEVALUACIÓN

EVALUACIÓN EXTERNA(Incluyendo las Auditorías de

adecuación, conformidad y eficacia)

En consecuencia:

• Todo sistema de Enseñanza Supe-rior necesita consensuar una Basede Datos Estadísticos de Gestiónque permita la comunicación intra eintersistemas. Es obligado el asensoa la hora de determinar dicha base,así como es pertinente distinguir losdiferentes niveles de intercomuni-cación: interno de una universidad,universidad-sociedacl, interuniversi-dades, universidad-gobierno, siste-ma universitario-sociedad e inter-sistemas universitarios.

• Los propios Centros de EnseñanzaSuperior, asumiendo su responsabi-lidad institucional para con la socie-dad deben asegurar la calidad desus actividades, ofreciendo clarosindicadores del logro de sus objeti-vos y cumplimiento de su misión.

• El mecanismo de Autovaluacióndebe ser complementado con los in-formes de expertos externos, desa-rrollando mecanismos cle mutuacooperación entre instituciones.

• Las Agencias Centrales de Evalua-ción, independientes de Universi-dades y Gobierno, a fin de asegurarsu credibilidad, deben ejercer lafunción de Auditoras de los procedi-mientos y mecanismos adoptadospor las instituciones para asegurar lacalidad de sus actividades.

48

luada que deberá tener la adecuaday pertinente difusión y publicidad.

• Metaevaluación: En toda evaluación,pero de modo especial en las orienta-das a la mejora de la calidad (con lasconsiguientes decisiones sobre diver-sos tipos de acciones), es necesariauna fase de análisis y reflexión sobreel propio proceso de evaluación. Suobjetivo es el de validar la evaluaciónrealizada y analizar el contexto ycondiciones en el que se ha de gene-rar el plan de mejora que natural-mente seguirá a la fase evaluativa.

• Plan de mejora. Un modelo de eva-luación institucional orientado a lamejora de la calidad ha de incluir eldiseño de las acciones que se consi-deran pertinentes para eliminar oaminorar las debilidades detectadasen la evaluación. La expresión de losobjetivos, acciones e indicadores delogro, así como de los responsablesde su ejecución, son algunas de lasexigencias de un plan de mejora.

• Seguimiento y evaluación del plande mejora. Esta fase permitirá valo-rar los cambios reales acontecidos(mejora de la calidad) en la unidadevaluada. Se inicia así, unido a loscambios acontecidos en el contextoexterno e interno de la unidad, unnuevo ciclo de evaluación continuade la calidad en la referida unidad.

Las características del Plan Nacional deEvaluación de la Calidad de las Universi-dades adoptan este marco de referenciasi bien es cierto que su planteamientoformal se circunscribe a las cuatro prime-ras fases, dejando a la autonomía de lasuniversidades las fases correspondientes alos planes de mejora y su seguimiento yevaluación. Por ello, a continuación abor-daremos la descripción de cada una de lasprimeras cuatro fases tal y como han sido di-señadas en el mencionado Plan y cuya formade desarrollo queda reflejada en los docu-mentos institucionales:

EL PROCESO GLOBAL DE EVALUACIÓNDE LA CALIDAD

El modelo de evaluación holandés(Vroeijenstijn,1994; Westerheijden, 1996)ha constituido un claro y seguido referentepara los modelos emergentes de evalua-ción en la Europa continental. En la figura Ipuede observarse la adaptación que he-mos realizado de the quality assessment spi-ral(Westerheijden, 1996, p. 274) y en la quese recoge el proceso circular y cíclico (seisarios en el caso holandés) de la evaluación delas titulaciones (unidad de análisis). Las fasesdel proceso aparecen claramente explicadas:

• Evaluación interna. Se inicia con larecogida y sistematización de la in-formación referida a la unidadobjeto de evaluación (realidad).Esta información está compuestade estadísticas, datos de gestióne indicadores sobre los inputs,procesos y resultados de la acti-vidad de la propia unidad. El Au-toestudio elaborado por el Comitéinterno de evaluación integrará estainformación con las nuevas observa-ciones, opiniones y valoracionesgeneradas en el propio proceso.

• Evaluación externa: Un Comité ex-terno de evaluación (Peer Review)analiza el Autoestudio y realizauna visita in situ a la unidad eva-luada. A partir de sus propias ob-servaciones y de las informaciones,opiniones y valoraciones recogidasen el contacto con las diferentes au-diencias entrevistadas emitirá un In-forme externo. Este informe serásometido a la consideración de lapropia unidad evaluada a fin deque presente las alegaciones o con-sideraciones pertinentes.

• Informe de evaluación: La síntesisponderada y comprensiva del Autoes-tuclio y del Informe externo dará lugaral definitivo informe de la unidad eva-

49

ESTADIsricAs

AUTOESTUDIO

•011INFORME EXTERNO

OBSERVACIONES

OPINIONES

VALORACIONES

REACCIÓN

- Plan Nacional de Evaluación de laCalidad de las Universidades. Guíade Evaluación.

- Plan Nacional de Evaluación de la

Calidad de las Universidades. Guíade los Evahradores Externos.

- Informe Anual del Plan Nacional deEvaluación de la Calidad de lasUniversidades (1997).

FIGURA 1

La espiral de la evaluación de la calidad

• CONSENSO DIAGNÓSTICO• CALIDAD DE LA EVIDENCIA• FORTALEZAS-DEBILIDADES• PROPUESTAS MEJORA• PARTICIPACIÓN-PUBLICIDAD

EVALUACIÓNDEI. PIAN

I.A REALII/AI)

PLAN DE MEJORA

MII*AINALUACIÓN

• AUDITORÍA DEADECUACIÓN

• SEGUIMIENTODE PLANES

• COMPROMISO• ACEPTACIÓN• FINANCIACIÓN• INDICADORES

INDICADORES DATOS

• VALIDACIÓN AUTOEST.

- FORTALEZAS-DEBI U DA DES- EVIDENCIA Y CONSENSO- PROPUESTAS DE MEJORA

INFORMEEVALUACIÓN

• PUBLICIDADY DIFUSIÓN

50

EVALUACIÓN INTERNA

La Evaluación Interna o Autoevalua-ción, como primera fase del proceso globalde Evaluación Institucional es liderada yejecutada en el seno de las unidades obje-to de evaluación y, de manera especial, enla titulación.

El Autoestuclio que ha de elaborarse,corno consecuencia y producto de la au-toevaluación, no ha de entenderse como lasimple descripción de la realidad presentede la titulación, a través de una masivaaportación de información. Por el contra-rio, ha de constituir un ejercicio participati-vo de reflexión profunda a partir del cualaflore una visión valorativa de las fortale-zas y debilidades de la titulación y, sobretodo, la manifestación de los objetivos yacciones pertinentes para mejorar la situa-ción presente. En el logro de este objetivoradica la utilidad de este primer documen-to-producto del proceso de evaluación.

La voluntariedad con la que se iniciauna evaluación regulada internamente porla propia institución, contrasta con losmandatos gubernamentales que tan erró-neamente se han impuesto con el exclusivofin de control presupuestario. En ocasio-nes el término autoestudio se aplica a laevaluación global de la institución, deno-minándose revisión de programas cuandode evalúa específicamente un programa-titu-ladón-departamento. No es necesario que seconfronte con criterios previamente fijados,sino que se pretende describir y valorar losantecedentes de la unidad o programa, surendimiento actual así como sus planes futu-ros de mejora. La filosofía que subyace esclaramente la de una evaluación orientadaa la mejora de la calidad. Algunas de lasnotas que definen el Autoestudio son:

• Se da una motivación interna deemprender una evaluación con elobjetivo claro de mejora y con ma-nifiesta aceptación por parte de suslíderes.

• Ha de verse la institución como unorganismo vivo en el que el análisisde la relación entre metas y logrospasa por el marco de las relacionesen el sistema.

• El potencial humano de la institu-ción debe ser puesto al servicio delautoestudio.

• El autoestudio deberá desembocaren la manifestación de una serie derecomendaciones de mejora y susestrategias de logro.

• El proceso debe estar adecuada-mente planeado y debidamente di-rigido a través de una Guía deEvaluación Interna que tomará enconsideración la realidad de lainstitución.

• Los procedimientos que se adoptenhan de permitir recoger la opiniónde los diferentes agentes y nivelesde la organización.

LAS UNIDADES DE EVALUACIÓN

-

La propuesta recogida en el Plan Na-cional de Evaluación de la Calidad de lasUniversidades propone la evaluación con-junta de las dimensiones de enseñanza, in-vestigación y gestión, con la Titulacióncomo referente en cuanto a la delimitaciónde los diferentes conjuntos o unidades or-gánicas que serán objeto de evaluación.

La experiencia de la primera convoca-toria de evaluación ya desarrollada hapuesto de manifiesto la problemática deintegrar adecuadamente, dada la constata-da variabilidad organizativa, de volumen yde amplitud del proyecto de cada universi-dad, las interrelaciones diferenciales quesegún la dimensión que se vaya a evaluar(Enseñanza-Investigacuón-Gestión-) sedan entre Titulación —Departamento— Áreade Conocimiento —Centro— Servicio. Deaquí la necesidad de posibilitar la adop-ción de un modelo que se adapte al pro-

51

yecto institucional de cada universidadpero manteniendo la homogeneidad en elcontenido y proceso de evaluación, unavez elegida(s) la(s) unidad(es) que se vana evaluar.

LA unnAción, UNIDAD DE EVALUACIÓN DEJA ENSEÑANZA

La Titulación, entendida como referen-te de formación para el alumno, constituyela unidad significativa en la que puedenanalizarse el conjunto de inputs, procesosy actividades conducentes a la obtención deun graduado/a universitario/a. El Programade Formación —diseño, organización, desa-rrollo y resultados— constituirá el núcleocentral del contenido que se van a evaluar.

Ahora bien, el marco jurídico de laLRU considera al Departamento como elórgano proveedor de los inputs más signifi-cativos y responsable en la ejecución debuena parte de los procesos centralespara la producción de un determinado titu-lado/a. Puede darse una alta variabilidaden cuanto a la intensidad-magnitud de lapresencia de un Departamento en las dife-rentes Titulaciones en la que participa.

De los dos aspectos señalados se de-duce una doble alternativa:

• Considerar que la participación—como unidad orgánica— del De-partamento en la Evaluación Inter-na tiene el carácter de facilitador delas evidencias necesarias y origina-das enen su seno. Los componentes delmismo —con participación en la titula-ción— participarán como integrantesde la comunidad de dicha Titulación.La Guía de Evaluación de la Ense-ñanza utilizada está estructuradadesde esta perspectiva.

• Considerar que, dada la alta aporta-ción de los recursos y actividad delDepartamento a una Titulación, o

que el conjunto de Titulaciones quese evalúan agotan su marco de refe-rencia, es pertinente a los planes dela institución que el Departamentose constituya en unidad de evalua-ción, con las consecuencias de ge-nerar en su seno el proceso internode evaluación y la realización delcorrespondiente Autoestudio com-prensivo, que tomará en considera-ción no solo la dimensión de laenseñanza, sino también las de inves-tigación y gestión. En este caso, laelaboración de una Guía de Evalua-ción Departamental debería permitirla mecanización del proceso desdeesta perspectiva. Si bien las directri-ces internas de la Universidad habránde velar para que el Autoestudio de laTitulación sea lo suficientementecomprensivo y globalizador y noquede desfigurado el sentido deunidad de referencia que la titula-ción tiene para buena parte de lasaudiencias de la evaluación.

EL ÁREA DE CONOCIMIENTO/DEPARTAMENTO,UNIDAD DE EVALUACIÓN EN LA INVESTIGACIÓN

Dado que en esta misma publicaciónse aborda de forma específica la evalua-ción de la investigación, sólo señalaremosque si bien el Área de Conocimiento es elreferente científico a efectos de la evalua-ción de individuos (acceso-sexenios) y queen el Departamento se integran dichos in-dividuos, bien es cierto que se dan situa-ciones como las de:

• Equipos/Grupos de investigaciónde carácter interáreas y/o interde-partamental.

• Existencia de Institutos con organi-zación propia.

• Departamentos que integran Areasde Conocimiento diversas (en oca-

52

siones con metodologías de investi-gación muy diferentes)

Estas situaciones, junto a la transversa-lidad de la docencia de un Departamentoen diversas titulaciones, aconseja fijar cier-tos criterios a la hora de establecer las per-tinentes unidades de evaluación de lainvestigación:

• Incluir todas las Áreas de Conoci-miento integradas en un Departa-mento.

• Seleccionar los Departamentos conmayor participación docente enla(s) titulación(nes) evaluada(s)

MULTIPLICIDAD DE UNIDADES EN LAEVALUACIÓN DE LA GESTIÓN

La decisión sobre la(s) unidad (es) másadecuadas para la evaluación de la Gestiónno se puede tomar sin tener presente:

• Las Titulaciones que son objeto deevaluación.

• Las relaciones de adscripción de lasTitulaciones a Centro(s).

• El marco estatutario que tienen Ti-tulaciones y Centros, específica-mente por lo que se refiere a laautonomía de decisiones y organi-zación de la propia gestión.

• Si se realiza o no evaluación global dedeterminados Servicios o Procesos.

• Si se ha considerado o no al Departa-mento como unidad de evaluación.

• La existencia o no en curso de pla-nes de mejora de la gestión.

• La adopción de un enfoque más orien-tado a la evaluación estructural de lagestión o a la gestión de la calidad.

Si a todo lo anterior unimos el carácterinstrumental y/o final de los diferentes ti-pos de Servicios universitario/a, así comola doble condición de receptor y genera-

dor de decisiones y procesos que se clanen los diferentes niveles-órganos de deci-sión y gestión, varias pueden ser las unida-des de referencia en la Evaluación de laGestión:

LA TITULACIÓN

Pese a la posible consideración de uni-dad virtual de gestión (dependiendo de laexistencia o no de órganos propios y com-petencias específicas), la Titulación es lareceptora final de múltiples decisiones y ac-tividades generadas en las unidades orgáni-cas (Departamento-Centro-Servicios- Equipode Gobierno). Por tanto, no se puede obviarsu consideración como unidad de referen-cia en el análisis de la gestión.

EL CENTRO

La posible identificación de Titulacióny Centro hace transferibles los plantea-mientos generales de evaluación de la titu-lación con los específicos añadidos que sederivan de la naturaleza especial del cen-tro o de la singularidad organizativa de launiversidad.

La existencia de varias Titulacionesadscritas a un mismo Centro y no evalua-das simultáneamente, y cuando el poderde decisión y gestión radica en el Centro,puede desvirtuar tomar a la Titulacióncorno la unidad adecuada para la evalua-ción de la gestión. En este supuesto seríamás pertinente considerar al Centro comounidad de referencia. Un paso previo y ne-cesario sería la adecuación-adaptación de laGuía de evaluación de la Gestión a la reali-dad organizativa del Centro.

EL DEPARTAMENTO

En el supuesto de adoptar al Departa-mento comunidad de evaluación, la Guía

53

de evaluación de Departamento deberíatomar en consideración la integración deesta dimensión como contenido específicodentro del proceso de evaluación.

EL SERVICIO

La toma de consideración de un Servi-cio como unidad independiente de evalua-ción está justificada principalmente en doscasos:

• Cuando el Servicio tiene un carácterterminal, pese a que no abarque ala totalidad de la institución (p.e. ElServicio de Biblioteca en la Facultadde Derecho, en la División de Hu-manidades, o en el campus norte).

• Cuando el Servicio tiene un carácterinstrumental y transversal y queabarca a la totalidad de la institu-ción (p.e. El Servicio de GestiónAcadémica).

En ambos casos, y si se quiere mante-ner el espíritu de la fase de Evaluación In-terna, habrá de diseñarse ad boc, tanto laGuía de evaluación del Servicio y la cons-titución de su Comité Interno de Evalua-ción, como los mecanismos de integraciónde sus aportaciones a las otras unidadesobjeto de evaluación.

EL PROCESO DE ELABORACIÓN DELAUTOESTUDIO

El Autoestuclio constituye la pieza cla-ve del modelo de evaluación adoptado enel Plan Nacional. De aquí la importanciadel cumplimiento de toda una serie de re-quisitos formales y de la calidad del conte-nido objeto de evaluación de cada una delas dimensiones (enseñanza, investigacióny gestión) y en cada una de las titulacionesevaluadas.

La responsabilidad de su elaboraciónrecae en el Comité Interno de Evaluaciónde la Unidad (Titulación). Dicho Comité, ya través de lo especificado en la Guía deEvaluación, pondrá a disposición públicasu Autoestudio, que será validado por lacomunidad de la unidad y puesto a dispo-sición del Comité Externo de Evaluación.

LOS COMITÉS INTERNOS DE EVALUACIÓN

EL COMITÉM- DE UNIVERSIDAD

En el proyecto presentado por la Uni-versidad queda explicada la composicióndel Comité de Evaluación de la Universi-dad, así como su organigrama de relacionescon el mapa de unidades a evaluar y con losórganos de gobierno y representación almás alto nivel de la institución.

EL COMITÉ DE TITULACIÓN

Se constituirá Comité ad boc en elseno de cada Titulación que reportará alComité cle Universidad y que asumirá laresponsabilidad de elaboración del Au-toestudio. La implicación de agentes signi-ficativos de la Titulación de los ámbitos dela Dirección, Profesorado, Personal de Ad-ministración y Servicios y Alumnaclo. : es unrequisito si se desea dar credibilidad al proce-so. la práctica pone de manifiesto que un nú-mero total de ocho miembros (cuatro por laparte académica, dos por la parte de la ad-ministración y servicios y dos por parte delalumnado) es suficiente para cubrir los ob-jetivos de representatividad y operatividad.

EL COMITÉ DE DEPARTAMENTO/ÁREA DECONOCIMIENTO

La composición y funciones de esteComité presenta diferencias significativassegún sea la perspectiva adoptada de par-

54

ticipación del Departamento en el procesode evaluación y que queda reflejada en elapartado de unidades de evaluación.

OTROS TIPOS DE COMITÉS

La elección del Centro o los Servicioscomo unidades de evaluación reclamacomposiciones ad boc. En el caso del Cen-tro, y a efectos de evitar la dispersión deesfuerzos, el Comité de Titulación deberíade dar cabida a esta opción (presencia delDirector/a y Administrador/a de Centro osus equivalentes). En el Caso de los Servi-cios, y dada la gran variabilidad existenteen cuanto a su naturaleza, estructura y di-mensión, el buen criterio del Comité deUniversidad determinará su composición.

MECANISMOS DE PUBLICIDAD Y

PARTICIPACIÓN

Los procedimientos que se adoptenhan de permitir recoger la opinión de losdiferentes agentes y niveles de la organiza-ción. Desde la propia Universidad, a travésde su Comité, han de realizarse las oportu-nas acciones que permitan dar a conocer atoda la comunidad universitaria no sólo elcompromiso con la evaluación sino tam-bién el plan de la propia constitución y losapoyos técnicos y logísticos de que dis-pondrán las diferentes unidades implica-das en procesos de evaluación interna.

Así mismo se llevarán acciones de in-formación específica en el seno de las unida-des en proceso de evaluación que aseguren elconocimiento del propio proceso de eva-luación. La publicidad del Autoestudio y suremisión a los órganos significativos (de-partamentos, comisiones, asociaciones deestudiantes, servicios) es condición indis-pensable para la validación interna delpropio proceso.

NIVELES DE INFORMACIÓN EN ELAUTOESTUDIO

Como se ha señalado anteriormente, laobtención de información constituye elprimer paso de toda evaluación. La diversanaturaleza de los objetos de evaluación aconsiderar pone de manifiesto la necesariadiversidad informativa con la que deberátratar el Comité de evaluación. Dicha di-versidad traerá como consecuencia dife-rentes niveles de evidencia en el apoyo delos juicios evaluativos que se emitan. Así,puede aportarse:

• Información objetiva cuantitativao cualitativa debidamente docu-mentada.

• Información documentada perobasada en opiniones de diferen-tes agentes de la comunidad uni-versitaria.

• Inferecnias, juicios de valor del pro-pio Comité basados en la evidenciade la información y opiniones reca-badas.

• Inferecnias, juicios de valor del pro-pio Comité basados en sus propiasopiniones.

Para cada uno de los aspectos (conte-nidos) de evaluación se reclama una apor-tación mínima de los dos primeros tipos deinformación. En la redacción del autoestu-dio debe hacerse el esfuerzo de matizarlos juicios evaluativos en virtud del tipo deinformación-evidencia aportados.

DESTINATARIOS DEL AUTOESTUDIO

Los primeros destinatarios y validado-res del Autoestudio (Autoestudios en lossupuestos contemplados en el apartadode las unidades de evaluación) son losintegrantes de las unidades de refer-encia (Titulación-Departamentos-Centros-Servicios).

55

Destinatarios específicos serán todoslos integrantes cle las diferentes audienciascon las ha de contactar el Comité de Ex-pertos Externos en la fase de EvaluaciónExterna. El Comité de Universidad, salvodirectrices en contra de la propia institu-ción, será receptor de los mismos.

Posteriormente constituirá una de laspiezas (la otra será el Informe del Comitéde Expertos Externos) que servirán paraconstruir el informe final de evaluación dela Titulación.

LA ESTRUCTURA DEL AUTOESTUDIO

El índice del documento público delAutoestudio responderá al de cada unode los capítulos que conforman el conte-nido de la Guía de Evaluación de las di-ferentes dimensiones y/o unidades deevaluación, con un capítulo introductorio(0) dedicado al análisis y valoración delpropio proceso de Evaluación Interna.En el cuadro I se presenta el índice delcontenido que se aborda en la Dimen-sión de Enseñanza.

Las cuestiones planteadas en dichaGuía habrán de considerarse como reactivaspara la construcción de un discurso evalua-tivo, no como cuestiones aisladas que exi-gen respuestas puntuales. La argumentaciónde los juicios de valor, en la medida de loposible, debería aportar la información es-pecífica o la cita de remisión a los clocu-memos complementarios: anexos, tablasu otra información pública institucional(especialmente propuestos en la propiaGuía de Evaluación).

El análisis de cada apartado contem-plado en la Guía de Evaluación deberíaconcluir con una síntesis de los puntosfuertes y débiles así como de la presenta-ción de los objetivos y acciones pertinen-tes para mejorar la calidad. En el anexo se

incluye una Guía para la elaboración dela Síntesis evaluativa de la dimensión dela Enseñanza. Su cumplimentación permi-tirá poner de manifiesto, de una forma fácilcle observar, los aspectos de mayor interéspara ser considerados objeto de atención y

Los posibles anexos que se van a incluirdeben ser pertinentes y sintéticos. Otra cues-tión son las fuentes de datos o compendiosinformativos que en todo momento pue-den ser consultados por los miembros dela comunidad de la titulación o por el Co-mité de Expertos Externos. De especial inte-rés se considera la presencia de lossiguientes documentos:

• Listado nominal del profesoradoimplicado en la enseñanza de latitulación (nombre, títulos, posi-ción académica, antigüedad,asignaturas y grupos a su cargoy tipo de docencia —teórica, práctica,etc.).

• Plan de Estudios y Programas de lasAsignaturas ( tal y como se hacenpúblicos a los estudiantes).

• Protocolos de exámenes del últi-mo año en cada una de las asig-naturas.

• Listado de las publicaciones perió-dicas que versan sobre el campodisciplinar de la titulación y queestá a disposición pública de la to-talidad de alumnos y profesores.

• Liquidación del capítulo 2 del pre-supuesto del año anterior y presu-puesto del capítulo 2 del año encurso del centro que tiene adscritala Titulación.

La extensión de Autoestudio debe serrazonable. Podría decirse que lo breve ybien expuesto, doblemente bien expresa-do (30-50 páginas), sin contar tablas, ane-xos y relaciones documentales.

56

CUADRO 1El contenido del autoestudio

(Dimensión de la Enseñanza.)

O. EL PROCESO DE EVALUACIÓN

1. EL CONTEXTO INSTITUCIONAL

1.1. los datos cuantitativos globales.

1.2. Las grandes etapas en el desarrollo de la titulación.

1.3. La estructura formal y dinámica de gestión de la torna de decisiones.

2. METAS, OBJETIVOS Y PLANIFICACIÓN

2.1. Análisis y valoración de los objetivos.

2.2. Datos de acceso y de matrícula.

2.3. Análisis de la demanda y empleo en la titulación

3. EL PROGRAMA DE FORMACIÓN

3.1. Estructura del Plan de Estudios.

3.2. Programas de las asignaturas del Plan de Estudios.

3.3. Organización de la Enseñanza.

3.3.1. Órganos responsables de la organización de la enseñanza.

3.3.2. El periodo de docencia.

3.3.3. El horario semanal de docencia.

3.3.4. Planificación de exámenes finales.

3.3.5. Distribución departamental de la docencia.3.3.6. Tipología del profesorado implicado en la docencia.3.3.7. Las prácticas en el Plan de Estudios.3.3.8. Distribución total de alumnos.

4. DESARROLLO DE LA ENSEÑANZA4.1. Atención tutorial.4.2. Metodología docente.4.3. Evaluación de los aprendizajes.

4.4. Resultados de la enseñanza.Tasa de abandono.

Tasa de presentados.

Tasa de éxito.Tasa de rendimiento.

Diferidos.

Tasa de empleo a corto y medio plazo.Grado de satisfacción de graduados y empleadores.

5. ALUMNADO

— Específicas políticas de acceso (potenciación de la vía de FP, por ejemplo).— Atención especial a los alumnos de nuevo ingreso.

— Los Servicios específicos de atención.— Nivel de participación de los alumnos.

— Calidad de los alumnos de nuevo ingreso.

6. PROFESORADO Y PERSONAI. INVESTIGADOR6.1. Política de contratación.6.2. Política de plantillas.6.3. Política de movilidad del PDI.

57

CUADRO I. (Continuación)

6.4. Política de innovación y ayuda a la docencia.

7. INSTALACIONES

- Aulas, laboratorios y biblioteca adquieren especial significación.

8. GESTIÓN DE LA CALIDAD

8.1. Mecanismos de seguimiento y evaluación de la enseñanza.

8.2. Política de evaluación del profesorado.

9. RELACIONES EXTERNAS

- Proyección académica y de representatividad en el seno de la universidad.

- Proyección en el contexto académico nacional e internacional.

- Proyección social en el contexto social próximo.

- Proyección en el contexto económico próximo.

- Acciones específicas de análisis de la imagen de la titulación.

10. ruNTos FUERTES Y 1)ÉBILES

EVALUACIÓN [DUERNA

La credibilidad y validez del Autoestu-dio realizado por una unidad-universidadha de ser confirmada por la pertinente eva-luación externa, fundamentalmente reali-zada a través de un Comité de expertosexternos (peer review). Los remotos oríge-nes de este tipo de evaluación los pode-mos situar en los comités de acreditacióncle programas , en los referees de las revis-tas científicas y en las asesoras de los fondosde investigación. Como lógica consecuenciade estos orígenes, la orientación científico,académica y disciplinar —con alta reputa-ción— constituyen las notas distintivas delexperto. Así mismo, la cultura del grupo depertenencia del experto será un factor me-diador, explícito o no, de sus juicios, en losque inevitablemente habrá un componen-te de subjetividad.

La validez y fiabilidad de este tipo deevaluación es motivo de controversia. Las

ventajas cle la evaluación basada en exper-tos son, por una parte, su mayor validez decontenido al contar con la observación yestudio directo de la realidad que se va aevaluar mediante la visita in situ a la uni-dad-universidad evaluada, teniendo la po-sibilidad de precisar y contextualizar lainformación que se va a examinar. La ri-queza que supone la interacción personalde los expertos con agentes significativosdel sistema que se va a evaluar permiteque el informe de evaluación no sea algofrío o impersonal. Por otra parte, es posi-ble abarcar todas las dimensiones del con-cepto de calidad siempre y cuando, claroestá, la correspondiente Guía de Evalua-ción las contemple.

Si la validez puede ser alta, la fiabili-dad de los juicios de expertos está condicio-nada, en gran medida, por las evidencias(información objetiva) aportadas en el au-toestuclio o recogidas por el propio comitéexterno así como a la metódica cumpli-

58

mentación de la Guía de Evaluación Exter-na diseñada para tal fin. En la citada Guíase señala que el objetivo general de la Eva-luación Externa es el de:

Formular juicios de valor sobre el diseño, laorganización, el desarrollo de los procesos ylos resultados de la enseñanza, la investiga-ción y la gestión, en relación con los objeti-vas propios de las unidades avaluadas, conel fin de estimar su calidad .yproponer accio-nes de mora. Es decir, analizar cómo unainstitución gestiona la calidad e su ofertaeducatit a (p. 5).

EL PROCESO DE ELABORACIÓN DELINFORME EXTERNO

COMPOSICIÓN DE LOS COMITÉS DEEXPERTOS EXTERNOS (CEE)

Su composición deberá ser equilibrada yconjugar experiencias de tipo académico, inves-tigiclor, profesional y evaluativa. Los miembrosdel Comité (3) deben cubrir los perfiles de:

• Experto académico: amplia experien-cia y prestigio en el campo disciplinarde la unidad que se va a evaluar.

• Experto profesional: amplia experien-cia y prestigio en el campo profesionalreferente a la titulación evaluada.

• Experto en evaluación institucional:Profesional del ámbito universita-rio, o externo al mismo, con cono-cimientos y experiencia en lametodología de evaluación cle pro-gramas o instituciones.

Los miembros de los Comités son nom-brados desde el órgano de Gestión delPlan, ostentando uno cle ellos la condiciónde Presidente del Comité.

ANÁLISIS Y VALORACIÓN DEL AUTOESTUDIO

La primera tarea del CEE es la de ana-lizar y valorar el documento del Autoestuclioremitido por la unidad evaluada (titulación).Para tal análisis, la Guía de Evaluación Ex-terna plantea (p. 8) una serie cle cuestioneso indicaciones que deberán tener presentelos miembros del CEE. En el cuadro ll sepresenta un esquema más detallado de lospuntos que se han de tener presentes endicho análisis.

CUADRO IIAnálisis del Autoestudio

EL MARCO DE REFERENCIA

Guía dc AutocvaluacIón

• Contenido de evaluación

• Factores de calidad

• Datos // Indicadores

— Evidencia cuantitativa

— Evidencia cualitativa

— Opiniones sistemáticas

— Opiniones ad bac— Del Comité Interno

— Otros agentes

• Ausencia de estándares

59

CUADRO II. (Continuación)

Concepciones propias- Comité Interno- Comunidad de la titulación

• Comité de Expertos Externos

EL PROCESO DE ANÁLISISSobre el contenido presente- Información que avala el juicio

• Validez

• Fiabilidad

- Inferencia sobre el estándar

• Razonable vs. arbitrarlo- Nivel de atribución causal

• Externo vs. Interno

• Sistema - Centro• Universidad - Dpto. / Individuos

• Estable vs. variable

- Adecuación de la evaluación• Centralidad del diagnóstico• Identificación de mejoras• Factibilidad de las mejoras

Sobre el contenido ausente- Factores no evaluados

- Falta de información• Subsanable (Petición)• No subsanable (Mejora)

- Ausencia de evaluación (Sólo Desc.)

VALIDACIÓN DEL AUIOESTUDIO (Criterios del CEE + Visita in situ)El proceso del Autoestudio- Liderazgo (Interno y externo)

- Publicidad- Participación

- Las fuentes de evidencia y su uso

- El compromiso de evaluarLas debilidad - fortalezas evaluativas

- Contenido

• Presencias y ausencias- La calidad de la evidencia

• Triangulación de la información- Adecuación de los criterios implícitos- Pertinencia de las atribuciones- Identificación y prospectiva de las mejoras

60

LA VISITA IN SI7V

Su duración es de tres días (cubre cuatrofechas), estado previamente concertada ycon un espacio de al menos tres semanasentre la recepción del Autoestudio y la visitaa la institución-unidad que se va a evaluar.

Se inicia con un encuentro del ComitéExterno en la tarde del primer día que ser-virá para hacer una valoración individualdel Autoestudio y preparar el enfoque deactuación con cada una de las audienciaspreviamente concertadas. A continuaciónse sugiere un encuentro social (cena) conel Comité de Universidad, máximos repre-sentantes de la Institución y miembros delCIE de la unidad (titulación).

A partir del segundo día se inicia elcontacto con:

— Comité Interno de Evaluación.— Equipo Directivo del Centro/titulación.— Profesorado (8-15 miembros).

Personal de Administración y Servi-cios (8-10).

—Alumnado (8-10 alumnos/as de primero/cido y de último curso/segundo ciclo).

— Graduados ( 8-10 de los últimos años).— Visitas a instalaciones

L-1 visita concluye (mañana del 41/4 día)con un encuentro final con el Comité Internode Evaluación y en el que el CEE presentaoralmente un borrador de informe.

ESTRUCTURA DEL INFORME EXTERNO

En un plazo no superior a las 4-6 se-manas, el Presidente del CEE deberá remi-tir al Presidente del CIE el Informe Externode Evaluación. Su estructura queda recogi-da en la Guía de Evaluación Externa (p.27)y sus epígrafes hacen referencia a:

• Introducción.Objetivos, composición del Comi-té, plan de trabajo e incidencias.

• Análisis del Proceso de EvaluaciónExterna.— Dinámica del proceso.— Contenido del Autoinforme.

• Valoración del Comité Externo.— Enseñanza.— Investigación.— Gestión.

• Valoración general.— Fortalezas y debilidades.— Conclusiones y recomendaciones.

• Valoración del proceso de Evalua-ción Externa.

REACCIÓN DE IA UNIDAD EVALUADA

Una nota distintiva del proceso de eva-luación institucional asumido en el PlanNacional es de la transparencia en el pro-pio proceso de evaluación. Frente al anoni-mato presente en otros procesos evaluativoso a la consideración cle última palabra de ladecisión de un comité de evaluación, aquíse considera que la unidad evaluada ha detener la posibilidad de reaccionar (mati-zando o alegando) al Informe externo. Ellono significa que haya de darse plenoacuerdo entre ambos Comités (interno yexterno), sino que se establece el procedi-miento formal para que quede constanciade las argumentaciones valorativas que seaportan por parte de ambos Comités.

Consignadas las conformidades y dis-conformidades, el CEE elevará a definitivosu informe y se dará por finalizada la fasede evaluación externa. Se iniciará así lafase de redacción de los informes definiti-vos de evaluación.

LOS INFORMES FINALES DEEVALUACIÓN

Será necesario un período de expe-riencia para que se ajusten y clarifiquen lasdirectrices que sobre la elaboración de los

61

Informes finales de evaluación apare-cen en la Guía de Evaluación. Será ne-cesario definir con mayor precisióntanto las audiencias destinatarias de losInformes como el contenido cle los mis-mos, así corno sus niveles de publicidady difusión.

INFORME FINAL DE LA UNIDAD EVALUADA

Corresponde al Comité Interno deEvaluación realizar el Informe Final a par-tir cle las dos piezas evahtativas que obranen su poder: Autoestudio e Informe Exter-no. Dicho informe debería contener unasíntesis de la valoración de las diferentesdimensiones y su contenido de evaluación,una relación de los puntos fuertes y débi-les y, como elemento fundamental del do-cumento, una identificación de las accionesque han de ponerse en marcha y que per-mitirán profundizar en los puntos fuertes yresolver o mejorar los puntos débiles de-tectados.

Este Informe Final será difundido am-pliamente en la comunidad de la unidadevaluada y remitido al Comité de Universi-dad. De esta manera se cumplirán cuatrofunciones:

• Rendir cuentas ante el órgano supe-rior (Comité de Universidad) deldesarrollo y resultados del procesode evaluación.

• Servir de referencia para que el Co-mité cle Universidad elabore el Infor-me Global del Proyecto presentado.

• Comprometer a la comunidad de launidad para que ejecute adecuada-mente el conjunto de acciones pro-puestas en el informe.

• Conseguir que la Institución asumelas propuestas de mejora propues-tas y de apoyo a las medidas nece-sarias para su ejecución.

Desde esta perspectiva el contenidodel Informe Final se articula en los siguien-tes apartados:

• Introducción: Descripción de losmecanismos y estructuras formalesadoptadas.

• Valoración del proceso de evalua-ción interna.

• Valoración del proceso de evalua-ción externa.

• Principales puntos fuertes y débiles.• Acciones estratégicas de mejora.

Dado el modelo organizativo y de go-bierno de la universidad, la inclusión clelas propuestas de mejora en el informe fi-nal reclama fina previa fase de interacciónunidad evaluada institución (Comité cleEvaluación cle la Universidad). De lo con-trario se correría el riegos de procesos pa-ralelos que no llegan a encontrarse. Deaquí que podamos hablar de dos fases enel Informe Final: La primera, es aquellaque concluye con el claro y preciso diag-nóstico de la situación y una primera apro-ximación a las acciones que se han deemprender; la segunda, aquella que con-creta, tras el correspondiente proceso ne-gociador, el Plan de mejora de la unidadevaluada.

Es evidente que desde la perspectivadel usuario externo (sociedad - futurosclientes) aparece una indefinición en cuantoa la disponibilidad (publicidad y difusión) dedicho informe, así como cle la pertinencia lainformación recogida en el mismo. ¿Qué da-tos interesan al futuro alumnado de una ti-tulación? ¿Qué datos interesan a unaposible financiador de investigación? ¿Quédatos interesan a los empleadores?

Debería consensuarse el diseño y con-tenido del Informe Final destinado a dichousuario externo. La experiencia en paísescomo Holanda nos dice que el modelo cleevaluación alcanzará plena credibilidadcuando la universidad sea capaz de esta-blecer un perfil informativo (contenido clel

62

El Informe de Universidad ha de serun documento fundamental para extendery profundizar en la cultura evaluativa de lainstitución y para dar credibilidad al proce-so de evaluación institucional.

informe de evaluación) que satisfaga lasnecesidades de ese usuario.

INFORME FINAL DE UNIVERSIDAD

Una de las características del Plan Na-cional es el de la voluntariedad de partici-pación de las Universidades y la necesidadde presentar un proyecto de evaluación sideciden su participación. La concesión dedicho proyecto (y su correspondiente sub-vención) exige la presentación de un bi-forme de Universidad sobre el desarrollodel mencionado proyecto.

En este informe es dónde deben con-cretarse las acciones de mejora asumidaspara cada unidad evaluada así como el di-seño de su seguimiento y evaluación. ElComité de Universidad, como comité decalidad institucional, ha de exigir que so-bre los aspectos más débiles de la titula-ción con relación a cada uno de loscapítulos que conforman el contenido deevaluación aparezcan:

• La fiabilidad de la evidencia queapoya las debilidades.

• La relación de las debilidades conlos objetivos de calidad.

• Precisión-claridad en la explicaciónde las debilidades (causas).

• Adecuación en los niveles de atri-bución de las debilidades (quién hade cambiar).

Por lo que respecta a las propuestas demejora deberá valorarse:

• Pertinencia de las mejoras en re-lación con las debilidades detec-tadas.— Relevancia (prioridad) de las me-

joras.— Precisión-claridad en los objeti-

vos de mejora.— Viabilidad de las mejoras (con

relación al nivel que las asume).

INFORME ANUAL DEL PLAN NACIONAL DEEVALUACIÓN

Corresponde al Pleno del Consejo deUniversidades aprobar el Informe Anualdel Plan Nacional de Evaluación de la Ca-lidad de las Universidades. Dicho informees elaborado por el Secretario General DelConsejo de Universidades, con la colabora-ción del Comité Técnico del Plan y oídoslos miembros de la Comisión Ejecutiva delPlan. En diciembre de 1997 el Pleno delConsejo de Universidades aprobaba el pri-mer Informe Anual del Plan de Evaluación.La estructura de dicho Informe responde alesquema general que orienta la elabora-ción de los otros informes anteriormentereferidos:

• Introducción: marco jurídico y pro-cedimental del Informe.

• El Plan Nacional de Evaluación.— El Procedimiento de evaluación.— Balance de la participación en la

primera convocatoria.— Valoración del desarrollo cle la

evaluación.— El proceso de Evaluación

Interna.— El proceso de Evaluación

Externa.• Situación de la Universidad española.

Conclusiones evaluativas sobre lasdimensiones de:— Enseñanza.— Investigación.— Organización universitaria.

• Propuestas para mejorar la calidadpara cada una de las anteriores di-mensiones:

63

—Medidas internas de la Universi-dad.

—Medidas de carácter general.• Propuestas de mejora del Plan Na-

cional de Evaluación

UN COMENTARIO FINAL

En el período de un quinquenio se harecorrido un largo camino en el desarrollodel modelo de evaluación institucional de!a calidad de las universidades españolas.

Plan Experimental de 1992 apostó porun enfoque de nula tradición y experien-cia, pero que estaba siendo desarrolladoen los países de la UE. La participación enel Proyecto Piloto Europeo confirmó queno se había elegido una ruta equivocada.El contenido del Informe Anual del Plan deEvaluación ratifica la idoneidad del proce-so adoptado. La UE confirma la bondaddel planteamiento. Pero nuestra impacien-cia por saber lo que deberíamos saber porotros medios o por que no sale o resultaaquello que cada uno cle los diferentes ac-tores del sistema cree que debe salir de unproceso de evaluación institucional puedecrear incertidumbres. Hemos de asumirque con relación a la evaluación, y tenien-do presente lo acontecido en países comoHolanda en su primera fase de experienciaevaluadora, todos deberíamos armarnoscon un poco de paciencia (Vroeijenstijn,1994, p. 99) señala:

During the first fuv e .years (1988-1993) allefforts were aimed at detelopment and im-plementation of the system of externa! qua-¡Uy assessment. Also, it was necessary toprotect the improtement fitriction againstthe goverments wishes lo emphasise thecontrol function. 71)e coming period of thesecond cycle Oil be characterised by ¡hequestion whether it is possible lo satisfy ¡heexpectations of ¡he goternment and the ex-pectations of ¡he universities bt a singlesystem of quality assessment.

BIBLIOGRAFÍA

BOYER, C. M.; EWEL, P. T.; FINNEY,J, E. y MIN-

GLE, J. R.: «Assessment and OutcomesMeasurement. A View from the States...AAHE Bulletin, 39 (7), pp. 8-12, 1987.

BAUER, M.: «Evaluation in Sweelish HigherEducation: recent trends and the outli-nes of a mode!». European journal ofEducation, 23,(1-2), pp. 25-36, 1988.

- «National Evaluation Systems: TheSweelish Case«. Paperpresented al Pro-ject Columbus Workshop on NationalEvahiation Systems. Sao Paolo, pp. 26-28 November, 1991.

CONIMISION OF THE EUROPEAN COMMUNITIES:Quality management and quality as-surance in European higher educa-tion: Methods and nzechanisms.Luxembourg, Office for Official Publi-cations of the European Cornmunities,1993.

CRAFT, A. (Ecl.): Quality Assurance in Hig-her Education, Lonclon, Falmer, 1992.

DAHLLOF, W.: •Towards a new moclel forthe evaluation of teaching: An interac-tive process-centered approach». EnDAIILLF, U. et al. Report of the IMHEStudy Group on Evaluation in HigherEducation. OCDE. Tenth General Con-ference of Members Institutions. París,junio, 1990.

DE MIGUEL, M., MORA, J. G.y RODRIGUEZ,

S.(als): La evaluación de las institu-ciones universitarias. Madrid, Consejocle Universidades. Secretaría General.1991.

DOCHY, F., SEGERS, M., WIJEN, W.: -SeleCtingPerfomance Inclicators. A proposal asa result of research«. En: L. GOEDEGE-

BUURE, P. MAASSEN & D. WESTERHEUDEN

(als) Peer Review and Perfomance In-dicators. Utrecht, Lemma. B.V. pp.135-153, 1990.

GODEGEBUURE, L., MAASSEN, P. & WESTERHEIJ-

DEN, D.: «Quality Assessment in HighercitiOn•. En: L GOEDEGEBUURE, P. MAASSEN

64

& D. WESTERHEIJDEN (eds): Peer Reviewand Perfonzance Indicators. Utrecht,Lemma. B.V., pp. 15-36, 1990.

KEus, H. R. (Ed.): 713e Development of Per-fomance Indicators for Higher Educa-tiign. A Conwendium for Turlve Con ntries.(2nd. ed.) París, OCDE, 1993.

MORA, J. G.: Calidad y rendimiento en lasInstituciones universitarias. Madrid,Consejo de Universidades, SecretaríaGeneral, 1991.

NEAVE, G.: »On the Cultivation of Quality,Efficiency and Enterprise: an overviewof recent trencls in Higher education inWestern Europe, 1986-1988». Euro-pean Journal of Education, 23, (1/2),pp. 7-23, 1988.

RODRÍGUEZ, S.: »Evaluación de la Enseñan-za Universitaria». En: E. OROVAL (Ed.)Planificación, Evaluación y Financia-ción de Sistemas Educativos. Madrid,Civitas, pp. 99-131, 1995.

— »La evaluación institucional universita-ria». Revista de Investigación Educativa(En prensa).

TROW, M.: Academic Reviews and the Cul-ture of Excellence, Studies of HigherEducation and Research, 1994, 2,

Stockholm, The Council of HigherEducation, 1994.

VROEJENSTINJN, T. I., ACHERMAN, H.: -Con-trol-Oriented Quality Assessmentversus Improvement-Orientecl Qua-lity Assessmenh. En: L. GOEDEGEBUU-RE, P. MAASSEN & D. WESTERHEIJDEN(Eds.) Peer Review and Perfomance In-dicators Utrecht, Lemma. B.V., pp. 81-101,1990.

VROEJENSTINJN, T.: Improvement and Ac-countability: navigating betweenScylla and Charybdis: guide for exter-nal quality assessment in higher edu-cation, London, Jessica Kingsley, 1994,

WESTERHEIJDEN, D. F.: -Use of Quality As-sessment in Dutch Universities». En P.M. A. MAASSEN y F. A. VAN VUGHT(eds.) Inside Academia. New challen-ges for the academic profession. Ens-chede, CHEPS, pp. 269-289, 1996.

VuGirr, F. van: «The Flumboldtian Univer-sity uncler Pressure: new forms of qua-lity review in Western European highereclucation». En: P. M. A. MAASSEN y F. A.VAN VUGt-rr (eds.) Inside Academia.New challenges for the academic pro-fession. Enschede, CHEPS, pp. 185-226,1996.

65