icfesojo

Tomo No. 4

SEMINARIO PERMANENTE DEFORMACIÓN DOCENTE EN EVALUACIÓN

MEMORIASINSTITUTO COLOMBIANO PARA EL

FOMENTO DE LA EDUCACIÓN SUPERIORBogotá

Marzo - Agosto 2005

Colección Memorias de Seminarios Permanentes de Formación Docente en Evaluación

SEMINARIO PERMANENTE DEFORMACIÓN DOCENTE EN EVALUACIÓN

MEMORIASINSTITUTO COLOMBIANO PARA EL

FOMENTO DE LA EDUCACIÓN SUPERIORBogotá

Marzo - Agosto 2005

Colección Memorias de Seminarios Permanentes de Formación Docente en Evaluación

INSTITUTO COLOMBIANO PARAEL FOMENTO DE LA EDUCACIÓN SUPERIOR

“Memorias Seminario permanente de formacióndocente en evaluación.Instituto Colombiano para el Fomento de la Educación Superior”

Sara Esperanza Bohórquez RodríguezColaboradores

María Luisa Miranda MirandaCorrector de Estilo

Giovanni CamachoDiagramación y Diseño

ColombiaFebrero de 2007

ALVARO URIBE VÉLEZPresidente de la República

FRANCISCO SANTOS CALDERÓNVicepresidente de la República

CECILIA MARÍA VÉLEZ WHITEMinistra de Educación Nacional

INSTITUTO COLOMBIANO PARA EL FOMENTO DELA EDUCACIÓN SUPERIOR

Director General Secretario General DANIEL BOGOYA MALDONADO GENISBERTO LÓPEZ CONDE

Subdirector Académico Subdirector de Fomento NELSON ERNESTO LÓPEZ JIMÉNEZ LUIS ALFREDO POSADA DELGADO

Subdirector de Logística Oficina Asesora Jurídica FRANCISCO ERNESTO REYES JIMÉNEZ WILLIAM CABALLERO RESTREPO

Oficina Asesora de Planeación Comité Académico del seminario ALVARO DÍAZ NIÑO Daniel Bogoya Maldonado Genisberto López Conde Oficina de Control Interno Nelson E. López Jiménez LUIS ALBERTO CAMELO CRISTANCHO Fabio Jurado Valencia Claudia L. Sáenz Blanco Sara E. Bohórquez Rodríguez

�

TABLA DE CONTENIDO

Presentación Serie Memorias de seminarios de FormaciónPermanente en Evaluación 9

Introducción 10

Participantes en el seminario 11

Capítulo 1: 14A. De la evaluación de aptitudes a la evaluación de competenciasB. Exámenes de Estado: una propuesta de Evaluación por Competencias

Capítulo 2: 30A. El diseño de pruebas para los Exámenes de Estado: un proceso de investigación permanenteB. Evaluar las evaluaciones. Encuentros y desencuentros con los procesos de evaluación de la calidad educativa en América LatinaC. Límites de la lectura periodística de resultados educacionales. Indicadores u usos en educación: una tensión no resuelta

� SEMINARIOS PERMANENTES DE FORMACIÓN DOCENTE EN EVALUACIÓN

Capítulo 3: 52A. La evaluación como fetiche. ¿Qué pretendemos evaluar, qué evaluamos y qué conclusiones podemos extraer de la evaluación?B. Una mirada a la evaluación. Las tensiones de la evaluación y la evaluación como formación hacia el balance de una experiencia

Capítulo 4: 68A. ¿Es posible evaluar objetivamente?. ¿Es posible evaluar objetivamente? Una aproximación crítica.B. La evaluación por competencias en lenguaje: contextos y horizontes. La evaluación en el aula de matemáticas.

Capítulo 5: 82A. Diseño, construcción y documentación de ítems politómicos desde el enfoque de competenciasB. Implicaciones de la construcción de ítems utilizando la metodología de colegiaturasC. De-construcción de las pruebas: A partir de su fundamentación conceptual, especificaciones de prueba, construcción de ítems, análisis y procesamiento de resultados • SABER • Exámenes de Estado para ingreso a la educación superior • Exámenes de Calidad de la Educación Superior ECAESAnexo 1 Formulación de preguntas de selección múltiple: construcción de preguntas dicótomasAnexo 2 Construcción de preguntas polítomas

�

PRESENTACIÓN COLECCIÓN MEMORIAS DE SEMINARIOS DEFORMACIÓN DOCENTE EN EVALUACIÓN

La evaluación se ha posicionado como uno de los más reconocidos centros de la controversia sobre los factores que pueden decidir en la solución de la crisis de la calidad de la educación. Cada día, convergen más las opiniones de que, en el fondo, los factores que no favorecen la formación de colombianos, hunde sus raíces en la ausencia de información sobre los resultados del sector educativo. Se trata pues, de producir un cambio de algunos paradigmas predominantes que la sociedad educativa, en su conjunto, haga suyos alrededor de la evaluación un sistema de valores de información, calidad, instrumentos optimizados y esta tarea colosal, no puede ser afrontada de otro modo que mediante un profundo proceso evaluativo.

Los Seminarios de Formación en Evaluación propuestos y coordinados por el ICFES, en colaboración con importantes universidades del país son el primer gran esfuerzo colectivo por ir más allá del diagnóstico sobre la calidad de la educación impartida y proponer estrategias investigativas, formativas, científicas y de políticas al respecto. Los Seminarios son la culminación de una etapa de intenso debate y elaboración, en torno a problemas de la

evaluación de la calidad de la educación que se consideran decisivos para ser afrontados por métodos y protocolos reconocidos. En efecto, lo que hemos denominado en los últimos años Evaluar para Construir, no es otra cosa que la expresión institucional que hace parte de una revolución educativa que apenas comienza.

Los Seminarios de Evaluación superaron todas las expectativas, al reunir en igualdad de condiciones, profesores y directivos universitarios, investigadores nacionales, conferencistas y representantes del ICFES, quienes participaron amplia y respetuosamente durante las ocho sesiones de cada seminario, experiencias que recogemos en estas memorias. Se destaca como resultado de los Seminarios, la conformación de varios grupos de investigación, que han venido enriqueciendo y nutriendo de posibilidades los procesos de la evaluación en nuestro país.

Evaluar la calidad de la educación es un compromiso de todos.

GENISBERTO LÓPEZ CONDESecretario General

10 SEMINARIOS PERMANENTES DE FORMACIÓN DOCENTE EN EVALUACIÓN

NELSON ERNESTO LÓPEZ JIMÉNEZ Ex- Subdirector Académico

Ph.D. en Educación

INTRODUCCIÓN

La problemática que comporta el proceso de evaluación de la calidad de la educación en Colombia y, muy seguramente en el contexto de América Latina, viene siendo objeto de estudio y preocupación por parte de las agencias estatales y la comunidad educativa en general, en la medida que se trata de indagar por la calidad y la excelencia educativa que se alcanza como producto de la labor de las instituciones educativas que hacen parte de la educación formal. El ICFES conciente del papel estelar que en materia de la evaluación de la calidad de la educación en Colombia desempeña, ha decidido asumir de manera seria, responsable y creativa, la formación y actualización de sus funcionarios y académicos responsables de sus diferentes procesos y acciones misionales. Dentro de este marco debe entenderse la presente publicación, que recoge el resultado de los análisis, discusiones, acuerdos y propuestas, generadas a partir del desarrollo del Seminario Permanente1 sobre “La problemática de la Evaluación por competencias”

Reflexiones, discusiones y puntos de vista diversos sobre la fundamentación teórica y conceptual de las diferentes pruebas evaluativas, su estructura y especificación, la construcción y naturaleza de los items, sus procesos de aplicación, el procesamiento y la difusión de los resultados y la sostenibilidad de los Planes de Mejoramiento diseñados a partir de los comportamientos encontrados, se convierten en el objeto central de esta publicación, que tiene el sólido propósito de ser considerada como un referente serio y consistente de consulta por parte de la comunidad académica nacional e internacional.

Sobre la evaluación se presentan diferentes posturas teóricas y conceptuales, que dan señales irrefutables de su complejidad, esto obliga a una discusión permanente sobre la pertenencia social y la pertinencia académica de los diferentes procesos, procedimientos, acciones y operativos presentes en el acto evaluativo. Si asumimos a nuestros evaluados como “proyectos de vida”, la responsabilidad social, académica, política, humana y cultural de la evaluación se convierte en un imperativo ético, que permite ubicar en su real dimensión, los aplicativos y desarrollos logísticos presentes en las diferentes aplicaciones.

El Seminario Permanente sobre “Problemática de la evaluación por competencias”, avanzó en el proceso de visibilidad y empoderamiento académico de los colegas que hacen parte del ICFES, y demuestra de manera irrefutable, que en la medida que se permitan y se creen escenarios de reflexión, análisis y discusión sobre nuestro “quehacer laboral y profesional”, se podrán alcanzar los niveles de calidad y excelencia académica necesarios para consolidar la comunidad nacional que avale y respalde las diferentes decisiones que sobre política evaluativa se hayan de tomar.

El Seminario Permanente no se obliga a construir últimas palabras, por el contrario, en la medida que las diferentes posiciones, argumentos y afirmaciones contenidas en esta publicación, susciten reacciones de naturaleza divergente, se verá alcanzado el propósito central de su realización. Nada está culminado, por el contrario, el camino es largo, avancemos.

1 Estrategia pedagógica que permite unir la docencia con la investigación de manera inextricable, y que tiene como fin último, dotar de “sentido y de palabra” a los diferentes participantes en él

11

PARTICIPANTES EN EL SEMINARIO

NOMBRES DEPENDENCIA

Alvarez Llinas Margarita Rosa Grupo Administrativo y de Talento Humano

Barrera Díaz Libardo Subdirección Académica

Becerra Aponte Emperatriz Grupo de Procesamiento

Bernal de Rodríguez Carmen Inés Grupo de procesos Editoriales

Bohórquez Rodríguez Sara Esperanza Subdirección Académica

Buitrago Quintero Wilma Afiffe Grupo Administrativo y de Talento Humano

Caballero Restrepo William Alberto Oficina Asesora Jurídica

Cárdenas Mendoza Nancy Consuelo Oficina de Control Interno

Cardona García Liliana Patricia Grupo Administrativo y de Talento Humano

Castillo Ballen Martha Jeanet Grupo Evaluación de Educación Media y Básica

Contreras González Carlos Arturo Grupo de Informática

Díaz Niño Alvaro Oficina Asesora de Planeación

Díaz Ramírez Hector Orlando Grupo Evaluación de la Educación Superior

Dulce Delgado Alicia del Rosario Subdirección de Fomento

Gómez Clavijo Lucila Oficina Asesora de Planeación

González Pelaez Moravia Elizabeth Grupo Evaluación de Educación Media y Básica


NOMBRES DEPENDENCIA

Hernández Botia José Vicente Grupo Financiero

Herrera Veloza Holman Mauricio Oficina de Control Interno

López Jiménez Nelson Ernesto Subdirección Académica

López Conde Genisberto Bernardo Secretaria General

Mendez Acevedo Martha Emilia Grupo Evaluación de Educación Media y Básica

Mendoza Peña María Jimel Oficina de Atención Integral al Ciudadano

Mora Monje Araceli Subdirección de Fomento

Olarte de Moreno Elizabeth Grupo Administrativo y de Talento Humano

Ortiz Alvarez Susana Grupo de Procesamiento

Paez García Edna del Pilar Oficina de Atención Integral al Ciudadano

Pardo Adames Carlos Antonio Grupo Evaluación de Educación Media y Básica

Parra Niño Zandra Astrid Grupo Evaluación de la Educación Superior

Pedraza Daza Flor Patricia Grupo Evaluación de la Educación Superior

Peraza Fernández Amanda Felisa Dirección General

Pinzón Rozo Jorge Enrique Oficina Asesora Jurídica

Posada Delgado Luis Alfredo Subdirección de Fomento

Quiroga Ballen Javier Grupo de Informática

Ramírez Giraldo Bertha del Socorro Oficina Asesora Jurídica

13

NOMBRES DEPENDENCIA

Rocha Gaona Martha Cecilia Grupo Evaluación de la Educación Superior

Rodríguez Bejarano Diana Lorena Grupo de Administración y Operaciones

Rodríguez Chacón Nelson Oficina Asesora Jurídica

Rubio Saénz Martín Eulises Oficina Asesora Jurídica

Saénz Blanco Claudia Lucia Grupo Evaluación de la Educación Superior

Salamanca Duran Jacqueline Grupo Evaluación de Educación Media y Básica

Silva de Robledo Martha Cecilia Oficina Asesora Jurídica

Sosa Neira Rosa Helena Subdirección Logística

Talero Castañeda Libia Aurora Grupo de Informática

Toro Baquero Luis Javier Grupo Evaluación de Educación Media y Básica

Vargas Loaiza Luz Yolanda Subdirección Logística

Varón Hector Ignacio Grupo Administrativo

Vásquez Barrero Martha Yaneth Dirección general

Vega Ortiz Sara Leonor Subdirección de Fomento

Velandia Moreno Luis Jesús Subdirección Logística

Vesga Bravo Grace Judith Grupo Evaluación de Educación Media y Básica

Wilches Casas Mercedes Grupo Financiero

Cabrera Eraso Jaime Hernán Vicerrector Académico. U. de Nariño

Miranda Cárdenas Ana Cristina Vicerrectoria Académica. U. Javeriana


CAPÍTULO 1SESIÓN 1

A. De la evaluación de aptitudes a laevaluación de competencias.

María Cristina Torrado. Serie Investigación y Evaluación Educativa.

Tomo 8. ICFES. 1998

SESIÓN 2C. Exámenes de Estado: una propuesta de Evaluación

por Competencias.Carlos Augusto Hernández, Alfredo Rocha de la Torre y Leonardo Verano.

Serie Investigación y Evaluación Educativa. Tomo 9. ICFES. 1998

10 de Marzo de 2005

15

SESIÓN 1: “DE LA EVALUACIÓN DE APTITUDES A LA EVALUACIÓN DE COMPETENCIAS”1

CAPÍTULO 1

INSTALACIÓN Y APERTURA DEL SEMINARIOEl Director General (e) del ICFES, Dr. Genisberto López Conde, se ocupa de la instalación y precisa en su intervención que el propósito central del seminario está directamente relacionado con la posibilidad de crear las condiciones básicas para contribuir a la construcción de la palabra institucional sobre la problemática de la evaluación de la calidad de la educación, con base en la argumentación crítica y razonada.

DESARROLLO PRIMERA SESIÓNEl Coordinador General del Seminario sobre Problemática de la Evaluación por Competencias, doctor Nelson López Jiménez, Subdirector Académico, dio apertura al Seminario señalando que éste se denomina “Problemática de la Evaluación” por cuanto son problemas que debemos afrontar y asumir para construir una voz institucional sobre la evaluación. Manifiesta que el seminario es un pretexto para analizar y expresarnos como académicos de cara a los diferentes conflictos y tensiones que subyacen en el proceso evaluativo. Define la organización de la sesión de trabajo, dando la palabra a la Relatoría.

1 El texto de referencia manejado por el grupo para la sesión fue escrito por la Dra. María Cristina Torrado. Serie Investigación y Evaluación Educativa. Tomo 8. ICFES 1998. La Dra. Torrado es Psicóloga de la Universidad Nacional de Colombia. Estudios de Maestría en Psicología de la Universidad del Valle, especialista en Ciencias de la Educación de la Universidad de París. Desde 1986 es profesora de tiempo completo del Departamento de Psicología de la Universidad Nacional de Colombia.


• DESARROLLO DE LA RELATORÍALa Dra. Martha Vásquez soporta su presentación a partir del desarrollo de las siguientes inquietudes y planteamientos:• La historia de la evaluación es el resultado de la tensión entre la tradición y la innovación.• Los elementos estructurantes de los planteamientos de la Dra. María Cristina Torrado. • La concepción única del instrumento de evaluación y su aplicación a poblaciones heterogéneas.• Se cuestiona si la evaluación de aptitudes y la evaluación por competencias son realidades

diferentes.• Plantea que la formación del ser humano no se agota en lo escolar.• Finaliza con la enunciación del siguiente interrogante: ¿Qué evaluamos cuando hablamos de evaluar por competencias?

• CORRELATORÍALa Dra. Araceli Mora complementa la relatoría señalando entre otros los siguientes aspectos:• Características que enmarcan la evaluación en la educación: Obligatoriedad, Complejidad,

Desarticulación entre niveles de formación, y, Cobertura - Calidad - Equidad - Democracia• Espíritu de la Evaluación: Pluralidad - Singularidad; Resignificación - Reproducción; Aptitudes -

Competencias

Finaliza su intervención sugiriendo al seminario los siguientes temas de reflexión:• ¿Cómo evaluar la influencia de los contextos, las diferencias de calidad educativa y la inequidad en el acceso a la educación?• ¿Se evidencia el cambio en los actuales procesos evaluativos?• ¿Qué perseguimos con la evaluación?

1�

• DEBATEUna vez concluidas la relatoría y correlatoría, el coordinador de la sesión abre el debate. Las diversas intervenciones realizadas abordaron problemáticas relacionadas con:

• Importancia de la dimensión histórica del actuar evaluativo del ICFES.Se entiende la confianza en el ICFES y sus recursos aplicados en el campo de la evaluación como el reto histórico al que se enfrenta para despejar las dudas e incertidumbres que se incuban primordialmente en el entorno que configura la tensión entre la tradición y la innovación, un campo reconocido como la historia que subyace a la propia evaluación.

En esta perspectiva el seminario abordó elementos importantes relacionados con la historia del ICFES como Institución protagónica de la evaluación en Colombia que recogió aspectos relevantes desde 1968 hasta la realidad actual. Conveniente señalar que no se avanza en una descripción detallada de cada uno de los hitos de la evaluación pero si se hace mención de su importancia.

• Objeto e intencionalidad de la evaluación.Alcanzar niveles óptimos de calidad y excelencia en los procesos formativos que se desarrollan en la Educación se constituye en el objetivo central de la evaluación. Cuando se habla de planes de mejoramiento, de la constatación de logros educativos, de la consecución y consolidación de las competencias académicas, científicas, tecnológicas, ciudadanas, etc., se está haciendo referencia a la calidad educativa. El objeto y la intencionalidad de la evaluación educativa, así como la necesidad de crear un organismo responsable de ella (ICFES), no es otro que el de servir y contribuir al logro de los máximos niveles de calidad. Evaluación y calidad educativa son dos conceptos que se encuentran sólidamente vinculados.

1� SEMINARIOS PERMANENTES DE FORMACIÓN DOCENTE EN EVALUACIÓN

• Propósitos, tipos y procesos de evaluación.La pregunta sobre el propósito o la finalidad de la evaluación se constituye en un elemento esencial para avanzar en la construcción de una cultura de la misma: “No hay viento favorable para quien no sabe a donde se dirige”, esta afirmación de SÉNECA, parece orientar una posible reflexión en torno a los interrogantes relacionados con los tipos y los procesos que se imbrican en el acto evaluativo. El para qué evaluamos? se constituye en un elemento estructural del trabajo que realiza el ICFES como consecuencia de sus nuevos objetivos misionales.

• Fundamentación conceptual y teórica de la evaluación.Por su naturaleza, la evaluación requiere de criterios establecidos, debe observar requerimientos indispensables o atender a cierto conjunto de premisas, basadas en la fundamentación conceptual y teórica. A partir de allí, las competencias se adquieren, se movilizan y se desarrollan continuamente dentro de un contexto, estas son el resultado de un proceso dinámico.

• Normatividad existente.La inquietud sobre la existencia de un sistema educativo en Colombia recoge elementos relacionados con su dimensión normativa (Constitución Política de 1991, Ley 30 de 1992, Ley General de Educación 115 de 1994 y Plan Decenal de Educación), sin embargo, existe preocupación en cuanto a la vinculación de la evaluación como factor determinante en la consolidación del sistema escolar.

• Responsabilidad política, ética, pedagógica y social de la evaluación.La Evaluación de la educación en Colombia hoy amerita una explicitación del qué, el cómo y el para qué se evalúa. Parece que la evaluación en lugar de estimular, castiga y excluye, genera distancia y desarticula el sistema educativo. El Estado debe propender por la generación de estrategias políticas integrales que no descuiden lo social. La evaluación debe ser asumida como un proceso complejo que

1�

involucra posiciones divergentes que interactuan con lo social, lo político, lo ideológico. La evaluación no puede asumirse como un proceso exclusivamente instrumental.

• Determinantes culturales: políticos, económicos, étnicos de los contextos en el proceso evaluativo.Con el proceso de democracia participativa que surge a partir de la expedición de la Constitución de 1991, se pretende promover cierta igualdad de oportunidades de acceso a la educación superior, no obstante lo anterior, hay preocupación por cuanto no se ha logrado que en la evaluación de la educación se involucren todos estos factores heterogéneos, que inciden en el desarrollo de las diferentes regiones. Esto permitiría debilitar el carácter excluyente de la evaluación.

• Soporte epistemológico e investigativo de las acciones evaluativas.La evaluación como acto académico, político, ético, pedagógico, entre otros, debe ser asumida como un proceso soportado de manera directa por luces y claridades epistémicas, cuya base esencial es la investigación. Cuando se afirma que evaluar no es medir, que tampoco es asignar una calificación, se está comprometiendo una posición frente al conocimiento (episteme) y se explícita una acción directamente vinculada con el asombro. No se puede pensar la evaluación como un acto argumentado únicamente desde la racionalidad técnica e instrumental, por el contrario, la complejidad que reviste exige la presencia y articulación de una “polifonía” y pluralidad de miradas que atiendan de manera seria y responsable las diferentes expresiones y posiciones que se construyen en torno a sus aristas y dimensiones. Cuando se señala que la evaluación es un proceso eminentemente investigativo, se está debilitando su posible asunción como medición o simple calificación.

• El contexto educativo como lugar para entender la problemática evaluativa.Es notorio que el “contexto” o los “contextos” de toda índole fueron conceptos sustantivos a lo largo del debate. Un contexto bien entendido debe procurarnos conocimiento válido, pues se ha dicho que las competencias se adquieren y se ejercitan regularmente en su seno.


• Medición y evaluación.La medición y la evaluación son complementarias y contradictorias. En este aspecto, son complementarias en la medida que forman parte del mismo campo semántico y contradictorias por cuanto su intencionalidad, sus finalidades y sentidos son diferentes y singulares. La discusión entorno a estos conceptos alcanzó a deslindar algunas de las características inherentes a ellos, sin embargo, inquietudes relacionadas con los instrumentos que permiten calificar o descalificar, premiar o castigar, incluir o excluir, visibilizar o invisibilizar se constituyen en retos epistémicos que necesariamente debe abordar el seminario.

• Elementos explícitos e implícitos de las evaluaciones.Vuelve a cobrar importancia el contexto, que ahora se dice debe tener un reconocimiento constitucional. En Colombia son patentes las diferencias étnicas y culturales, frente a ese panorama, la evaluación por competencias se revela con múltiples limitaciones e incertidumbres respecto de a quién o a quiénes se pretende llegar. Y es que además el saber teórico no está divorciado de la competencia. La reflexión se concluye advirtiendo que la evaluación a la postre es un motor de cambio.

• Pertinencia de la pluralidad de enfoques en la evaluación.Más allá de la adopción de uno u otro enfoque en la evaluación, lo central es poder identificarlos y ver su complementariedad y pertinencia entre sí. La formación con base en competencias conlleva a integrar disciplinas, conocimientos, habilidades, prácticas y valores.

• Cambios en la concepción de la validez de las pruebas.Dentro de los temas discutidos en esta sesión, se plantea si las pruebas diseñadas y aplicadas por el ICFES se pueden considerar válidas, lo que necesariamente lleva a la pregunta epistemológica sobre el concepto de medición, entendido como la confiabilidad de un proceso, sumado a la metodología utilizada para garantizar que esa medición sea la mejor.

21

Así, se expresa que la concepción de validez ha cambiado con el transcurrir del tiempo y si bien ésta sólo se entendía antes como la consideración de “todos” los temas en la aplicación de la estructuración de una prueba, en la actualidad se habla de competencias, lo que determina un proceso diferente de estructuración e inclusión de temas.

De esta forma, se manifiesta que es preciso considerar en el análisis de este tema que los exámenes realizados por el ICFES se orientan a contemplar dos componentes: evaluación, por una parte y medición, por la otra.

• Necesidad de construir consensos en la evaluación.La evaluación no es un fin en sí mismo, por su conducto se está constatando lo que las instituciones hacen con la educación. La autonomía sirve para definir cuál es el rumbo de la evaluación a partir de los consensos.

La información que se produce a través de la evaluación genera conocimiento de carácter retroalimentador, es reconocer que toda acción de evaluación trae consigo datos que sirven para la toma de decisiones, como elemento orientador hacia el mejoramiento de los procesos o fenómenos objeto de evaluación.

Las características mismas de la evaluación traen como consecuencia una notable movilización por parte de todos los sujetos que, de una u otra manera, se ven involucrados en ella. Por lo tanto, es necesario considerar en términos generales quiénes son los sujetos incluidos por las acciones evaluativas y generar entre ellos cierta base de consenso y aceptación. La comunicación amplia sobre las finalidades de las acciones de evaluación, los procedimientos predominantes, la utilización de los resultados y la difusión de los mismos son estrategias que promueven una mayor aceptación entre los involucrados.


• Obligatoriedad de las pruebas.A partir de la discusión generada, se cuestiona si las pruebas realizadas por el ICFES son de carácter obligatorio dentro del marco de la normatividad vigente, ante lo cual se refiere que, si bien fueron definidas en el Decreto Ley 80 de 1980 como condición para el ingreso a la educación superior, con la Ley 30 de 1992 se han realizado ajustes que mantienen esta premisa.

Sin embargo, no se podrían entender como de carácter “obligatorio”, sino como un requisito definido para que el estudiante pueda acceder a otros niveles de formación, dado que es su presentación la que le habilita para continuar su proceso formativo.

• Implicaciones de los ECAES.En concordancia con los planteamientos realizados inicialmente, surge el interrogante sobre cuáles son los verdaderos alcances y limitaciones de la evaluación, ante lo cual se expresa que los mismos están dados por el uso que se hace de los procesos evaluativos y sus resultados.

Así, se somete al análisis la forma como están siendo empleados los cursos llamados “PRE-ECAES”, los cuales están llevando a generar en las instituciones de educación superior cambios curriculares que permitan a los estudiantes y por ende a las instituciones, responder adecuada y relevantemente a dichas pruebas. Este hecho bien puede entenderse desde ópticas diferentes, entre ellas, como la posibilidad de reacción institucional en aras de la calidad educativa.

Sin embargo, surge la inquietud de hasta dónde se debe llegar con los resultados de los ECAES y para qué se espera que sean realmente utilizados. Se considera que el Estado debe asumir una posición que permita incorporar estos resultados a las políticas gubernamentales con miras a un mejoramiento real de la calidad y no sólo limitarse al simple suministro de información, que muchas veces es empleada de manera inadecuada al desconocer el usuario común los elementos de contexto que lo enmarcan.

23

• REFLEXIÓN FINALEs preciso señalar que la mayoría de los tópicos discutidos en la sesión del seminario no pueden entenderse como agotados, por el contrario, se persigue, se alienta y se invita a los seminaristas a ahondar en los procesos de reflexión sistemática de las problemáticas tratadas.

• SEMINARISTASLa responsabilidad y desarrollo de esta sesión recayó en los siguientes compañeros:

Coordinador: Nelson López JiménezRelator: Martha VásquezCorrelator: Araceli Mora MonjeProtocolantes: William Caballero Restrepo y Jorge Pinzón Rozo

Participantes en la Sesión: Genisberto López Conde, Jacqueline Salamanca, Margarita Álvarez, Susana Ortíz, Carlos Pardo, Edna Páez, Liliana Cardona, Nancy Cárdenas, Nelson Rodríguez, Alicia dulce, Amanda Peraza, Claudia Sáenz, Lucila Gómez, Oscar Flórez, Bertha Ramírez, Carlos Contreras, Luis Posada, Sara Bohórquez, Wilma Buitrago, Alvaro Díaz, Carmen Inés Bernal, Libardo Barrera, Emperatriz Becerra, Victoria Díaz, Hector Díaz, Holman Herrera, José Vicente Hernández, Javier Toro, Sara Vega, Elizabeth Olarte, Martha Castillo, Martha Silva, Zandra Parra, Luis Velandia, María Jimel Mendoza, Martha Rocha, Mercedes Wilches, Libia Talero, Luz Yolanda Vargas, Patricia Pedraza, Rosa Sosa, Lorena Rodríguez, Hector Varón, Myriam González, Cristina Henning, Elizabeth González y Grace Vesga.

• REFERENTE BIBLIOGRÁFICOTorrado, María Cristina. “De la evaluación de aptitudes a la evaluación de competencias”. Serie Investigación y Evaluación Educativa. Tomo 8. ICFES 1998.


CRITICA AL PARADIGMA DE LA EVALUACIÓN DE CONTENIDOS

Integrantes: Genisberto López C.

Jacqueline Salamanca D.

Margarita Alvarez LL.

Susana Ortiz A.

Veamos cómo describe el mismo Kant la idea de Ilustración2:

“La ilustración es la emancipación del hombre de un estado de tutelaje autoimpuesto.....de incapacidad para usar su propia inteligencia sin guía externa. A tal estado de tutelaje lo llamo “autoimpuesto” si se debe, no a falta de inteligencia, sino a falta de coraje o determinación para usar la propia inteligencia sin la ayuda de un conductor. ¡Sapere aude! ¡Atreveos a usar vuestra inteligencia! Este es el grito de la Ilustración”

2 Qué es la Ilustración (1985); WWC, IV, pg 169

SESIÓN 2: “EXÁMENES DE ESTADO: UNA PROPUESTA DE EVALUACIÓN POR COMPETENCIAS”

25

Un enclave problemático, decisivo en las discusiones y participación alrededor del texto propuesto: “Exámenes de Estado: una propuesta de evaluación por competencias”, se propuso principalmente en la constitución y en los trayectos de la evaluación por competencias, y es la necesidad de analizar y revelar figuras, metáforas, metominías, pero también errancias, traducciones, envíos, etc, que permanentemente la rodean. Se ha insistido en muchos escenarios, incluído éste, bastante inadecaudademente, analizar, no sólo porque el rigor de la evaluación por competencias desautoriza el axioma de un o unos núcleos primitivos de sentido que delimitarían y posibilitarían el análisis como tal, sino porque el campo en el que se interesa, el campo en el que se interna la evaluación por competencias es de entrada un campo polémico, el espacio heterogéneo de un conflicto de fuerzas (y ya, ante todo, de fuerza y sentido), lo cual requiere, más que análisis neutro, metódico y especulativo, intervención estratégica y singular, implicada en tal o cual lugar o momento de aquel espacio. En cualquier caso, hay que tener en cuenta que la tentativa de hacer aparecer aquella condición trópica de la evaluación por competencias, no puede dejar de enfrentarse a una resistencia sistemática y compleja por parte de ésta: resistencia a aquel análisis o aquella estrategia de revelación del fondo móvil metafórico de la evaluación tradicional de contenidos, resistencia a lo que ésta experimentaría como una invasión de todo el lenguaje de evaluación por la metáfora (e invasión general tan insoportable, tan impensable para la evaluación, como la secuencia o la consecuencia de esa ocupación desbordante: el reflujo o el retirarse de la metáfora).

En este sendero, parece de algún interés examinar a los aspectos no perseguidos por el concepto de competencias, y por eso nos proponemos recorrer algunas observaciones, que frecuentemente son hechas al paradigma de la evaluación de contenidos.

Intentemos en forma muy rápida, recorrer la gesta de la evaluación en nuestro medio. La evaluación centrada en contenidos, fue una denominación empleada en las diferentes participaciones, para designar un conjunto de preocupaciones y aportaciones dentro del campo de la evaluación colombiana. Se


refiere a esa forma de entender la programación de la educación como un proceso que ha de partir de la aclaración previa de los objetivos que se pretenden conseguir, habiendo de especificarse éstos lo más concretamente posible, e incluso preconizando el hacerlo en términos medibles desde la evaluación.

El desarrollo de múltiples taxonomías de evaluación, el afán de clasificar tipos diferentes de evaluación de contenidos según su objetivo y nivel de generalidad, el querer derivar evaluaciones por objetivos concretos y de conducta a partir de otros más generales, la preocupación por lograr diseños evaluativos muy estructurados del proceso enseñanza-aprendizaje, la intención de lograr el que cada diseño se ajuste a objetivos específicos, la huída de la ambigüedad, de los objetivos no formulados en esos términos, la búsqueda de la eficacia mensurable de los tratamientos pedagógicos que persiguen esos diseños ajustados, el afán de encontrar procedimientos de evaluación para determinar en qué medida se logran los objetivos especificados de forma conductual previamente, son entre otros, temas que caen dentro del paradigma analizado en la lecturas de las participaciones.

La coherencia que hace que todas las aportaciones y preocupaciones formen un modelo bien perfilado, se produce por el hecho de tener el apoyo científico, de una cierta forma de entender la evaluación, por partir de un paradigma psicológico, por configurar toda una técnica para programar la evaluación y por configurar todo un modelo de la evaluación de la educación colombiana.

Estamos convencidos que los paradigmas en la historia del pensamiento evaluativo nacen, se desarrollan, se adaptan y mueren cuando se ponen de manifiesto sus fisuras y sus insuficiencias, como consecuencia de las contradicciones que muestran en su seno y de la competencia de evaluación que causan otros paradigmas. El caso de la evaluación por contenidos no será una excepción.

La evaluación de contenidos nace al amparo del eficientismo social que ve en la escuela y en el currículo un instrumento para lograr los productos que la sociedad y el sistema de producción necesitan en

2�

un momento dado. No es una evaluación que responda a los problemas más graves que presenta la educación, la institución educativa o la sociedad. El fracaso escolar y la crisis de los sistemas educativos son vistos como fracasos de eficiencia en una sociedad competitiva, cuyos valores fundamentales son de orden económico. En esta situación, la preocupación radica en encontrar una respuesta eficaz como remedio fácil, en lugar de analizar el problema desde otras perspectivas complejas.

El experimentalismo de base positivista será la justificación metodológica del paradigma, acentuando el valor de lo medible y de lo cuantificable como requisito psicométrico.

El conductismo psicológico con aportaciones diversas contribuirá a afianzar las bases del paradigama, aportando un lenguaje y una metodología que refuerzan a los primeros planteamientos eficientistas del modelo de evaluación de contenidos dentro de la teoría y práctica del currículo.

Se trata de un modelo cuya misión básica es tecnificar el proceso de evaluación educativa sobre lo que llama bases científicas, sin pretensiones de ser un modelo para entender qué es y cómo cambiar la educación. Es un modelo que ha resaltado el valor de los objetivos en la evaluación más que el valor de los objetivos de la evaluación. Su preocupación es técnica, no de discusión teórica e ideológica, cuando paradójicamente, la crisis fundamental hoy es un problema de cambio de rumbo, un problema de fines tanto o más que un problema técnico.

El modelo de evaluación de contenidos cautiva a algunos, en tanto se sirve de un lenguaje pretendidamente científico y en tanto anuncia la solución a problemas de rendimiento. Atrae por la también pretendida sencillez de su aplicación y no requerir de grandes conocimientos, pues se muestra como un artilugio un tanto mecánico. La evaluación eficiente será así un problema de técnicas precisas sin mucha explicación sobre sus soportes que de sesudos planteamientos e hipótesis para encarar problemas no resueltos en la competencia del estudiante. La sencillez interna del modelo, que es uno de sus atractivos de cara a


la práctica, se convierte en una de sus debilidades cuando se analizan más profundamente. Pero los actores de la educación habrán de comprender más temprano que tarde, que detrás de toda técnica hay unos fundamentos y unos valores que la sostienen y que habrán de explicitarse. El diseño de la evaluación o su programación, si no es mera improvisación, habrá de hacerse sobre unas bases, habrá de partir de una teoría y de unos valores y complejidades previas.

Hay muchas formas de encararse con la programación de evaluación y puede hacerse sobre presupuestos científicos y éticos muy dispares. El modelo de evaluación de contenidos es sólo una forma de hacerlo que ha tenido mucha aceptación gracias a la falta de instrumentos críticos en quienes la han aceptado y gracias a las presiones directas provenientes del contexto cultural, social y político.

Es fácil admitir que la racionalidad implica partir de objetivos en la evaluación. El problema está en cómo determinarlos, de que tipo de objetivos de evaluación se ha de partir, en que grado nos han de condicionar y cuál va a ser la flexibilidad del camino emprendido. La evaluación creemos que puede encararse como un problema tecnológico, pero hay formas diferentes de interpretar la racionalidad tecnológica. El modelo de evaluación de contenidos creemos que es tecnicista más que tecnológico, queriendo decir con ello que ha extrapolado exageradamente la interpretación de la técnica desde ámbitos no educativos. Sin respetar determinadas limitaciones impuestas por la discutible lectura de sus resultados y posteriores análisis.

Nosotros en este seminario nos vamos a preocupar más de exponer lo límites y peligros del modelo que subyace a la evaluación de contenidos, no con la intención de anular todas sus posibilidades, descuidando algunas aportaciones positivas que podrá darnos, sino que insistimos en los defectos porque creemos que es preciso hacer de contrapeso. La extensión de este paradigma es muy fuerte en el campo bibliográfico. Casi todos sus defensores y divulgadores mencionan algunas de las críticas que, desde hace tiempo se le viene haciendo desde la comunidad académica especialmente, pero no dejan de

2�

ser críticas marginales después de una amplía defensa o un largo silencio, aunque sólo sea inconsciente. A nosotros nos parece que esas críticas han de ser examinadas en este espacio con más detenimiento, porque en su mayoría son razones que invalidan gran parte de las aplicaciones que se quieren extraer del modelo de evaluación de contenidos.

El modelo de evaluación de contenidos esquematiza de forma muy simple no sólo la labor evaluadora, sino la estrictamente evaluativa. Dudar de modelos que se han calificado en el pasado de eficientes y técnicos parece un atrevimiento herético en nuestro contexto, en nuestra sociedad y en la educación. Pero las críticas que el modelo de evaluación de contenidos viene recibiendo desde hace tiempo, la crisis de los supuestos científicos de los que parte, la crítica ética y social que ha recibido, merecen más atención de este seminario. Habrá que arriesgarse a poner en tela de juicio algo que es cantado con énfasis. Pero, ¿desde dónde vienen esas alabanzas? Los expertos en evaluación, teóricos y prácticos, se apoyan en bases sobre las que estructuran mas o menos conscientemente sus prácticas, manteniendo éstas más allá del tiempo de vigencia de los apoyos que le dieron validez en su nacimiento. Miremos el horizonte y observemos la crisis que está experimentando el paradigma conductista en el que se apoya la evaluación de contenidos. Observemos las consecuencias pedagógicas, éticas y sociales que conlleva la aplicación indiscriminada de este modelo. Seguramente convendremos en afirmar que este paradigma ha entrado en crisis profunda. Quizá es arriesgado decir esto cuando aparece de hecho con tanta pujanza en mucho de nuestros procesos.

Creemos que los graves problemas de la realidad de la educación, de la falta de calidad de su propuesta de formación y de la necesidad de una evaluación que de cuenta de la competencia del colombiano, no se encaran de manera adecuada con este modelo. Tampoco es bueno que el discurso de la evaluación quiera reducirse a un problema de eficacia técnica, soslayando planteamientos de base. Y esto puede producirse al insistir en el modelo tenicista de la evaluación de contenidos y los procesos que lo soportan.


CAPÍTULO 2

SESIÓN 3A. El diseño de pruebas para los Exámenes de Estado: Un proceso de investigación permanente. Carlos Antonio Pardo Adames. Serie

Investigación y Evaluación Educativa. Tomo 7. ICFES.1998

SESIÓN 4B. Evaluar las Evaluaciones. Gustavo Iaies

• Encuentros y desencuentros con los procesos de evaluación de la calidad educativa en América Latina. Javier Bonilla Saus

SESIÓN 5C. Límites de la lectura periodística de resultados educacionales.

José Joaquín Brunner• Indicadores y sus usos en educación: una tensión no resuelta.

Pablo Halpern Britz

7 de Abril de 2005

31

SESIÓN 3: “EL DISEÑO DE PRUEBAS PARA LOS EXÁMENES DE ESTADO: UN PROCESO DE INVESTIGACIÓN PERMANENTE”

CAPÍTULO 2

Integrantes: Nancy C. Cárdenas M. Liliana P. Cardona G. Edna Páez G. Nelson Rodríguez Ch. Carlos A. Pardo A.

No solamente en el contexto nacional, también en el internacional, la evaluación ha cobrado una importancia inusitada. Es imposible considerar, en el día de hoy, que pueda existir algún proceso particular en el que no sea requisito la evaluación.

En especial si consideramos el mundo globalizado, se observa que cada vez es más necesario que quien quiera movilizarse por él requiere de algún tipo de certificación que garantice que su saber y su hacer corresponden a los requerimientos mínimos exigidos en un contexto particular. Así, desde un punto de vista laboral, se requiere cierta demostración de las capacidades de las personas en su pleno ejercicio de la actividad productiva en la sociedad.

Pero no solamente en este contexto. La educación también, durante los últimos años, se ha globalizado a tal punto que son requisitos universales la calidad de la formación que brinda a las personas. Es por esto que,


en la última década y media, la evaluación de la calidad de la educación tiene una vigencia impresionante y se ha vuelto una costumbre a tal punto que empieza a cambiar nuestra cultura al respecto.

Podríamos extender un poco este contexto a otros campos de acción de diversas disciplinas y observaremos inmediatamente que, en cualquiera de ellos, la evaluación se constituye en una herramienta muy importante para la actividad profesional.

Parece ser que, desde hace una década, se ha iniciado un segundo momento en la historia de la evaluación3, que abarca otros contextos más allá del puramente educativo. Actualmente se afectan, especialmente, la educación y el trabajo, como aspectos esenciales de la vida en sociedad.

Colombia no ha sido ajena al desarrollo de la evaluación, ni a su implementación en diferentes contextos. Cabe recordar que para 1991 se hacían en el país las primeras evaluaciones de la calidad de la educación, fundamentadas en el concepto de competencia, tan en boga hoy en día. Este desarrollo, liderado por el ICFES y el Ministerio de Educación Nacional a través de su programa de evaluación educativa SABER, colocó a Colombia como líder en este tipo de procesos a nivel latinoamericano. No sólo fue uno de los primeros países en implementar este tipo de evaluación, sino que lo hizo, de una vez, con los mayores avances en materia de modelos de procesamiento de datos. Inclusive ha desarrollado propuestas que han servido de modelo a otros países y a otros sistemas educativos.

El desarrollo de la evaluación SABER, impactó, en primera instancia, a otras evaluaciones educativas realizadas por el ICFES, como son los Exámenes de Estado para ingreso a la educación superior, cuya transformación se inicia en 1995 y culmina con un nuevo modelo de evaluación educativa en el año

3 El primer momento de gran significación en la evaluación, se concentró especialmente en la educación y fue consecuencia de las diferencias Occidente Oriente, a partir de los últimos años de la década del 50.

33

2000. En esta época, y gracias al cubrimiento e impacto social del examen mencionado, se hace evidente el concepto de competencia como objeto de evaluación educativa y se inicia una reflexión nacional, que aún no termina, sobre el sentido de la educación y evaluación por competencias. De esta discusión y reflexión se impregnan las diferentes normas que rigen la educación en la actualidad, inclusive la propuesta de estándares para la educación básica.

El impacto de las evaluaciones mencionadas ha permeado la educación en todos sus niveles. Ni siquiera se escapa el aula de clase. No sólo la evaluación, también la formación se hace por competencias. De ahí la importancia de conocer y aprender estas nuevas formas de evaluación y la tecnología que las acompaña para la interpretación de resultados. El propósito es pensar la evaluación como un proceso muy articulado con la educación que permitirá comprender mejor el proceso educativo de los individuos con miras a reorientar dicho proceso teniendo como mira el mejoramiento, no sólo de la calidad de la educación, sino de la calidad de vida de las personas.

Diversos conceptos de la evaluación se han desarrollado como consecuencia de lo anterior. Los procesos de evaluación, de diseño de instrumentos o pruebas y el diseño de sistemas o programas de evaluación a gran escala han cambiado en la última década para garantizar una mayor calidad en los mismos. Hablar de validez, hoy, es diferente a como se hablaba hace 10 años. Ya la teoría clásica de las pruebas no es suficiente para abordar las evaluaciones modernas, es necesario recurrir a otros planteamientos y a otras formas de asumir la evaluación en educación en particular y en otras actividades en general. En síntesis la visión es diferente y ya ha empezado a afectar los planteamientos tradicionales de las pruebas.

Es evidente, con lo mencionado anteriormente, que es muy grande el impacto de la evaluación en diversos contextos del ser humano, especialmente aquellos en los que se desempeñan el educador y otros profesionales que tienen como misión la evaluación de personas. Para ellos se hace necesario abordar esta problemática desde una perspectiva moderna.


Parecería contradictorio que a pesar que en Colombia se han presentado grandes avances en materia de evaluación de grandes poblaciones no exista ninguna institución que ofrezca formación en este campo con una mirada moderna. Es necesario generalizar este saber tan especializado a todos los responsables de estos procesos de evaluación en el ámbito nacional de tal manera que se contribuya al bienestar de las gentes y al mejoramiento de la calidad de los procesos.

Tomando como eje de análisis el Examen de Estado para Ingreso a la Educación Superior nos damos cuenta que tiene gran influencia en la vida educativa y cultural de estudiantes e instituciones educativas. Los resultados del examen generan una gran variedad de reacciones, especialmente en el proceso de enseñanza-aprendizaje. Debido a que sirven como criterio para ingreso a la educación superior es muy importante su calidad y el diseño de los instrumentos utilizados.

El SNP (Servicio Nacional de Pruebas), institución encargada del diseño de estos exámenes hasta mediados de la década de los 90, tiene sus raíces en 1964 cuando se realizan los primeros Exámenes Nacionales. Un grupo de universidades le solicitan al Servicio de Admisión Universitaria y Orientación Profesional el diseño de pruebas para sus procesos de admisión, las cuales se ofrecen por primera vez en 1968 en las ciudades más grandes de Colombia; desde 1980 todos los estudiantes deben presentar el examen como requisito para ingresar a la educación superior. En la década de los 90, el SNP se constituye en una subdirección del ICFES, y hacia principios del siglo XXI en la subdirección de Aseguramiento de la Calidad, inicialmente, y en la subdirección Académica y gran parte de la Logística un par de años después. Debido al papel importante que este examen juega, se plantea como uno de los principales propósitos de la entidad que tenga a su cargo su desarrollo, mantener la calidad en el diseño de instrumentos. Es evidente, el papel que ha jugado el ICFES en este sentido y ha sido abanderado y líder en el diseño de pruebas en el contexto Latinoamericano.

35

Por esto, la evaluación debe caracterizarse como un proceso de investigación permanente que responda a las necesidades planteadas por el contexto en cada momento. Ese proceso de investigación se conoce como diseño de instrumentos o pruebas.

La primera fase en este proceso es la fundamentación conceptual. Se organiza un equipo de investigadores, docentes y especialistas que conozcan acerca del campo de la disciplina que se va a evaluar, los estudiantes y sus capacidades y el contexto de la educación en Colombia, de tal manera que la prueba resultante sea apropiada a los estudiantes y a las condiciones del momento. Esta fase termina con la formulación del marco conceptual y el propósito de las pruebas.

La segunda fase corresponde a la formulación de las especificaciones de prueba. Es importante establecer los aspectos que la prueba va a medir. En este sentido los expertos consideran los programas curriculares de las diferentes disciplinas e identifican los tópicos o referentes particulares a considerar. Además se establecen las especificaciones psicométricas que deben considerar el marco matemático (Teoría Clásica de los Test ó Teoría de Respuesta al Item) y el marco de interpretación de resultados (con referencia a la norma ó con referencia a criterio). En la actualidad es clara la tendencia hacia la teoría de respuesta al Ítem y la interpretación de resultados con referencia a criterio.

El pilotaje es una fase muy importante; representa el corazón de cualquier examen debido a que realmente se “pone a prueba” la prueba. Allí se evalúa lo apropiado del desarrollo de las fases anteriores y de nuestros propios pensamientos en relación con la evaluación educativa. Se inicia con la elaboración de las preguntas, es decir cuando se materializan las ideas; es importante seleccionar el contexto que se va a utilizar para establecer una buena comunicación con los estudiantes que van a responder. El proceso de análisis se centra en la claridad de las preguntas y el tiempo que toma responderlas, entre otros aspectos.


La última fase es la de análisis de ítems y de pruebas y la producción de resultados. Una máquina especial lee las hojas de respuesta y se produce una base de datos. En primera instancia se depura esta base de datos. Luego se inicia la fase de análisis de ítems y pruebas, el cual tiene aspectos cualitativos y cuantitativos. En el primer caso se analizan los reportes de preguntas dudosas para detectar problemas de distinta índole como impresión deficiente de los cuadernillos, falta de claridad en la redacción, etc. Desde el punto de vista cuantitativo se observa el ajuste de los datos al modelo de Rasch, la habilidad, la dificultad, la función de información y las curvas características de cada ítem (ICC).

Los resultados son diversos y proporcionan información muy detallada del desempeño de una persona en todo el examen generando un reporte de fortalezas y debilidades en cada disciplina.

El futuro de la evaluación en el ICFES es ahora y se ha venido presentando durante cinco años, se han cambiado los marcos conceptuales: de medir conocimientos y aptitudes a medir competencias académicas. Se ha cambiado el diseño de ítems: de preguntas aisladas a preguntas contextualizadas. Se ha cambiado la teoría psicométrica utilizada: de la teoría clásica a la teoría de respuesta al Item. Se ha cambiado el reporte de resultados: de sólo números a números y resultados cualitativos.

En el ICFES las puertas de la investigación se encuentran abiertas: investigaciones acerca de formatos de preguntas, resultados, predicción, análisis del currículo, calidad de la educación y muchos más. No podemos detener la investigación que garantice cambios y transformaciones en el diseño de instrumentos que garanticen la calidad de los mismos en una cultura que empieza a mostrarse ávida de evaluación en el sector educativo.

En especial, hay cambios relevantes en la interpretación de resultados de los Exámenes de Estado que van ligados a los avances en psicometría. Con la implantación del nuevo Examen de Estado se buscó dar solución a temas como:

3�

• Calificación de ítems de crédito parcial, en donde las opciones son respuestas parcialmente válidas y se reconoce el grado de validez según el contexto particular en el cual se plantea la pregunta.

• Puntajes con significado

• Comparación de resultados en el tiempo. Estas pruebas se presentan en múltiples ocasiones, por esta razón se requiere que los resultados sean comparables y esto se logra con el proceso denominado “equating”.

En la actualidad, luego de procesos de investigación realizados al final de la década anterior, existe una verdadera diversidad en los resultados. El más utilizado es el denominado puntaje, expresado en una escala de 0 a 100 puntos. Se produce para cada prueba del examen. El resultado de competencia indica el nivel alcanzado en cada una de los competencias evaluadas en las pruebas del núcleo común (interpretativa, argumentativa y propositiva). El desempeño en cada componente describe la forma como se están abordando en las pruebas del núcleo común. El grado de profundización indica el manejo de preguntas más complejas que las de las pruebas del núcleo común.

Durante el seminario se evidenció que los procesos realizados por el ICFES son rigurosos y sistemáticos, no sólo ahora sino durante toda su historia. En especial se encuentra que el aspecto principal para el diseño de pruebas es la fundamentación conceptual, a partir de la cual se desprenden todas las demás etapas. Es necesario hacer cada vez más visibles los procesos del ICFES para generar una participación y discusión argumentada con los diferentes usuarios de las evaluaciones, lo que permitiría un desarrollo cada vez más firme.


SESIÓN 4: “EVALUAR LAS EVALUACIONES Y ENCUENTROS Y DESENCUENTROS CON LOS PROCESOS DE EVALUACIÓN

DE LA CALIDAD EDUCATIVA EN AMÉRICA LATINA”Integrantes: Claudia L. Sáenz B. Lucila Gómez C. Alicia Dulce D Amanda F. Peraza F.

• PUNTO DE PARTIDA Se afirma en las lecturas enunciadas que:

• La evaluación por competencias constituye una política institucional y de Estado, en plena sintonía con las necesidades de formación de un contexto global que sobrepasa las fronteras nacionales y compromete a la mayoría de los países de América Latina.

• La evaluación por competencias es un proceso de carácter complejo, en permanente construcción y deconstrucción, que requiere propuestas innovadoras derivadas de las exigencias propias de los diferentes grupos poblacionales que de alguna u otra manera tienen que ver con dicha evaluación.

• Es necesario “…evaluar a los evaluadores...” según solicitud de los expertos que asistieron al Seminario Internacional, “La Dimensión política de la evaluación de la calidad educativa en América Latina”,

3�

convocado por la UNESCO en el 2002, en la ciudad de Buenos Aires. Precisamente, como lo señalan dichos expertos, después de una década de trabajo en la que casi todos los países de América Latina crearon sistemas de evaluación de la calidad provistos de instrumentos de medición técnicamente confiables, especialmente aquellos relacionados con asignaturas básicas - lenguaje y matemáticas – es imperioso adelantar una evaluación sobre los modelos de evaluación en marcha. Las razones que justifican este requerimiento son muy diferentes:

De una parte las mediciones indican que la calidad de la educación no está mejorando, que no hay cambios significativos, que pese a la inversión financiera los niveles de calidad permanecen estáticos ...en fin…que las metas esperadas no son fácilmente observables y que más bien empiezan a surgir una serie de tensiones y contradicciones que han obligado a debatir el problema desde una perspectiva mucho más universal, que tenga en cuenta además de los instrumentos utilizados y los resultados que arrojan, otros factores tales como:

1 USOS DE LOS RESULTADOS DE LA EVALUACIÓN PARA ENRIQUECER LOS ALCANCES DE LA POLÍTICA NACIONAL EN LA MATERIAEste factor tuvo diversas lecturas por parte de los asistentes a la sesión. Rescatamos los siguientes aspectos:

• La evaluación como componente esencial de los procesos de enseñanza - aprendizaje permite conocer las oportunidades y logros, los avances y dificultades de los individuos y grupos poblacionales objeto de evaluación, pero sobre todo y es lo más importante, avanzar en la búsqueda de ideales colectivos.

• Como instrumento de aprendizaje social la evaluación no es un asunto de carácter exclusivamente técnico puesto que sin una base social amplia y una capacidad e interés de la comunidad nacional


que se traduzca en una voluntad política, las instancias de evaluación son inoperantes y socialmente inexistentes.

• Las actividades de concertación y negociación implicadas en el ejercicio de la evaluación constituyen uno de los canales más útiles de interacción de una sociedad en torno de la construcción de su propia identidad. Por eso una política nacional de evaluación debe responder a necesidades de integración y participación de los diversos grupos de la sociedad que de una u otra manera interactúan con y en educación.

En este contexto se argumentó que dentro del ejercicio de la política educativa promulgada por el MEN, no ha sido posible concluir procesos. Se evalúa para obtener resultados pero no se establecen correctivos contundentes frente a la política de mejoramiento de la calidad de la educación. Una prueba evidente de esta afirmación es la desarticulación que existe en el sector, hecho que limita su comportamiento como un verdadero sistema, acarreando los problemas conocidos por todos.

No obstante se rescata la orientación a futuro propia de la evaluación, pues aunque esta tiene como objetivo inmediato las huellas del pasado y la información del presente, cobra sentido y contribuye al desarrollo humano y social en la medida en que su propósito es una determinada acción sobre el futuro, que es su campo de aplicación y existencia. De ahí que sea pertinente conciliar la evaluación interna que realizan las instituciones de educación en el ejercicio de sus procesos de enseñanza - aprendizaje, con la evaluación externa que realiza el ICFES, y la evaluación de procesos desarrollada por el MEN desde el Consejo Nacional de Acreditación, CNA, propósito que dará más solidez a las decisiones de política relacionadas con los indicadores de gestión y la determinación de los estándares de calidad que precede a toda evaluación.

41

2 LOS RESULTADOS DE LA EVALUACIÓN COMO GENERADORES DE MOVIMIENTOS DE OPINIÓN PÚBLICA• El debate sobre este factor refleja una preocupación por el uso de la información producto de las

evaluaciones. Aunque los usuarios potenciales de tal información cubren un amplio espectro de grupos - estudiantes, profesores, administradores e investigadores, padres de familia, el sector productivo en el caso de los ECAES, entre otros - existe muy poca evidencia sobre la forma como tales actores asimilan y usan los resultados de la evaluación.

• En este contexto se puede señalar que la mayoría de los sistemas de educación de América Latina han trabajado con mayor dedicación en la obtención de resultados y muy poco en el análisis, socialización y establecimiento de planes de mejoramiento. No obstante muy pocos dudarían del valor de disponer de información sistemática sobre las evaluaciones de la educación.

Específicamente para el caso Colombia se propone definir con precisión a qué audiencias se piensa llegar, qué se debe informar, qué tipo de datos se pueden y deben publicar, pues no se trata tan sólo de informar por la página web unos resultados sino, y es lo más importante, presentar hipótesis que surjan de los mismos, con sus respectivos análisis, y en el mejor de los casos, con propuestas operativas que faciliten la utilización de estos en planes de mejoramiento individuales y colectivos. Se propone igualmente enriquecer el proceso mediante un trabajo conjunto con las Secretarías de Educación y con las instituciones de educación superior, según sea el caso, que permitiría a la comunidad plantear hipótesis desde su propio entorno.

Por eso cuando desde el ICFES se afirma que los resultados de la evaluación, entendida como un sistema integrado, son patrimonio de la comunidad en general, se está insistiendo en retrabajar ideales colectivos que invitan a sacar el mayor provecho de los resultados de la evaluación en tanto


que pueden y deben ser utilizados en diversos sentidos, respetando, claro está, la discrecionalidad de los procesos de reflexión institucional conjunta con el Estado, el sector productivo y la comunidad académica y científica. Con el Estado, porque facilitan el redireccionamiento de políticas y estrategias de acción, el establecimiento de planes de mejoramiento institucionales y la consolidación de una cultura de la evaluación en la que tengan cabida todos los actores de la educación; con el sector productivo, porque pueden servir para la selección y ubicación de profesionales en la estructura orgánica de la empresa pública y privada según criterios de oferta y demanda; y con la comunidad académica y científica porque representan, en buena medida, un indicativo para la conformación de grupos de investigación y especialización técnica y científica de referenciación nacional e internacional.

• De otra parte es importante señalar que el debate giró en torno a la pregunta: ¿Los medios de comunicación deben ser los elegidos para transmitir los resultados de la evaluación?…. cuando es posible corroborar que en varias oportunidades dichos resultados han sido trasmitidos como un ranking, como un puesto en una escalera, y no como la revelación de un perfil de competencias académicas que permite al evaluado establecer sus fortalezas y debilidades con respecto al contexto que se trate. Pero cabe aún preguntarse por qué la evaluación es un tema tan apetecido por los medios?

• Aunque la respuesta a este interrogante puede sugerir desde la calificación o no de las políticas educativas y su impacto en la sociedad, hasta decisiones sobre la supervivencia de instituciones o programas o sobre los efectos en la oferta y demanda educativa, existe la certeza del ruido que se produce cuando se conocen sus resultados. De lo anterior se desprende la necesidad de profundizar el análisis sobre los significados y usos de la evaluación, tarea que está abordando el ICFES en coordinación con las comunidades académicas del país.

43

3 LOS RESULTADOS DE LA EVALUACIÓN COMO DINAMIZADORES DE TRANSFORMACIONES EDUCATIVAS. Del debate sobre este factor destacamos lo siguiente:

• La evaluación busca responder a las necesidades de conocimiento práctico, de decisión y de reinvención de programas, de políticas y en fin de modernización de los factores intervinientes en los procesos educativos. Si es así, la evaluación proporciona un espacio para el encuentro de tres dimensiones: las utopías e ideales de una sociedad; el conocimiento disponible; y la práctica social.

• Aunque estas dimensiones están presentes en todo ejercicio de evaluación, es importante señalar que adquieren una importancia nodal cuando se relacionan con el concepto de calidad. Todos saben que existen diversas posturas frente a la calidad de la educación originadas en referentes conceptuales y epistemológicos específicos. No obstante proponemos una definición de calidad de la educación como …la formación de competencias generales expresadas en términos de capacidad de aprendizaje autónomo, de conceptualización, argumentación, solución de problemas y desarrollo de capacidad de investigación…”

Esta definición responde a los conceptos que desde el ICFES estamos trabajando con la comunidad académica nacional y que obviamente está en contravía de aquella concepción de calidad de la educación que se centra en la adquisición y repetición de informaciones y conocimientos.

Entonces, ¿cómo se define y específica la calidad de la educación ofrecida por las instituciones del país?. ¿Es posible garantizar una educación de calidad para todos o debemos proporcionarla tan sólo a los grupos más dinámicos de la sociedad, propiciando la inequidad que la ha caracterizado?.


Las alternativas de solución a los interrogantes planteados deben responder al logro de niveles cada día más deseables de validez y confiabilidad en las dimensiones contextuales y técnicas de las pruebas que estamos proponiendo a la sociedad en general, para lo cual es necesario incursionar en los significados e interpretaciones de los resultados de la evaluación.

Entonces, para establecer los alcances y límites de los resultados de la evaluación como dinamizadores de transformaciones educativas es necesario plantear alternativas de solución a los siguientes cuestionamientos:

¿Qué tipo de resultados generan nuestras evaluaciones?….Puntajes comparativos entre estudiantes, programas e instituciones … aunque no sea nuestro propósito?, o diagnósticos cualitativos de programas e instituciones?…

Será que estamos promoviendo una regulación entre la oferta y la demanda educativa, especialmente en educación superior, favoreciendo una supuesta ventaja comparativa en la matrícula?

¿Las pruebas diseñadas responden en su totalidad a la conceptualización vigente sobre evaluación de competencias, o por el contrario evalúan solamente conocimientos?

¿Los medios utilizados permiten establecer una congruencia con los fines propuestos?

¿Las innovaciones curriculares y pedagógicas son fácilmente observables en el proceso de evaluación propuesto?,

¿Los resultados obtenidos permiten hablar de una referenciación nacional e internacional?

45

¿Qué alternativas de evaluación pueden involucrarse al proceso?

Estos son a vía de ejemplo algunos cuestionamientos a resolver al mediano plazo correspondientes a una conceptualización holística del significado de la evaluación de la calidad de la educación a partir de los cuales es aconsejable propiciar la conformación de verdaderas comunidades académicas.

Para finalizar es importante señalar que estudios posteriores realizados para la región concluyen que las grandes debilidades de los sistemas de evaluación son: los instrumentos, el tratamiento de los datos y la divulgación de resultados.


SESIÓN 5: “LÍMITES DE LA LECTURA PERIODÍSTICA DE RE-SULTADOS EDUCACIONALES E NDICADORES Y SUS USOS

EN EDUCACIÓN: UNA TENSIÓN NO RESUELTA”

Integrantes: Bertha del S. Ramírez Gutiérrez

Carlos A. Contreras González

Luis A. Posada Delgado

Sara E. Bohórquez Rodríguez

Wilma A. Buitrago Quintero

La sesión del día 8 de abril de 2005, contó con la participación de 47 seminaristas y se desarrolló a partir de tres momentos: la relatoría, la correlatoría y por último la discusión acerca de los temas tratados.

Teniendo en cuenta estos momentos, se realizó una síntesis sencilla de la relatoria y la correlatoría destacando algunos de los planteamientos relevantes de los participantes y asumiendo una posición crítica reconstruida a partir de un proceso dialéctico.

Básicamente se trató la interpretación periodística de los resultados de las evaluaciones educativas y el tratamiento simplista y sesgado que se da, de un hecho tan complejo como es la interpretación de resultados, dado que no se tienen en cuenta factores explicativos de estos resultados como son el ambiente sociofamiliar y la efectividad de la escuela.

4�

Las principales reglas que determinan este tratamiento de los resultados son:

• La reducción llamativa donde sólo importa la posición dentro de un escenario con títulos dramáticos y escandalosos.

• La descontextualización facilitadora: los resultados son sacados del contexto donde se generan, sobre todo del entorno sociofamiliar, que tiene que ver con el mundo en que nace y se desarrolla el niño y que parece ser uno de los factores que influye poderosamente sobre el desempeño de los estudiantes.

• La homogeneidad cultural: la prensa al efectuar sus análisis no considera las grandes diferencias culturales de los alumnos.

Si partimos de que toda evaluación genera tensiones con mayor razón el uso inequívoco que se de a los resultados, los cuales bien interpretados deben conducir a generar indicadores que ayuden al diseño de políticas, toma de decisiones y elaboración y aplicación de planes de mejoramiento.

Los análisis periodísticos destacan los resultados de las evaluaciones educativas unidimensionalmente como el producto final de un proceso y consideramos que es importante enfatizar que los datos que se obtengan de una evaluación son una parte de un proceso continuo, deben ser utilizados estrictamente para el propósito con el cual fue gestada la evaluación, aunque se miren y se debatan desde tres dimensiones diferentes (política, ideológica-cultural y ciudadana).

Se reflexiona sobre que la investigación en materia de políticas educativas públicas se hace cada día más necesaria, dado que se requiere generar indicadores para una correcta toma de decisiones, para evaluar la gestión, para identificar y proyectar tendencias, para focalizar, corregir y reorientar iniciativas, para


anticipar problemas y soluciones. De la implementación de estos indicadores depende que se resuelvan los problemas de calidad de la educación y los desafíos que se proponen.

La correlatoría partió de algunas reflexiones a las cuales los participantes reaccionaron así:

• El ICFES debe entregar resultados para su análisis o participar en el?

• Estamos participando en el ranqueo?

• Si el ranking es inadecuado porque rankeamos?

Después de estos dos momentos, partiendo de algunas precisiones metodológicas dadas por el coordinador de sesión, se procedió a la discusión, donde cabe resaltar que las discusiones se realizaron con fundamento.

Durante el desarrollo de las diferentes intervenciones en la sesión de trabajo, se planteo claramente la importancia de revisar las estrategias de comunicación relacionadas no solamente con los resultados sino también con los procesos inherentes a la evaluación, a nuestro quehacer diario, a la naturaleza, a los marcos teóricos y enfoques de las pruebas, así como a los grupos de estudio e investigaciones realizadas. En este aspecto conviene resaltar que lo que no se divulga no se conoce.

Los retos de un mundo globalizado no son ajenos al quehacer de la evaluación, es necesario tener en cuenta el contexto, los factores externos y las causas, entre otros, pero también es importante medirnos y participar en ese mundo, en este punto cabe destacar que la unidad está compuesta por la diversidad y que la multiculturalidad tiene una validez absoluta.

4�

Del mismo modo, los medios de comunicación que se consideran el cuarto poder, pueden ser nuestros mejores aliados, aunque el debate sea técnico, no podemos desconocer que la evaluación tiene implícito un poder, una política y un control y que es clave un manejo estratégico de la información. Tenemos que dar a conocer lo que hacemos y de una manera permanente y continua, no solamente con acciones puntuales. Por supuesto, tenemos una gran responsabilidad social, como emisores debemos tener claridad en lo que transmitimos, en el cómo y en el para qué?. Es reiterativo conocer las necesidades de información de los usuarios frente a la información que provee el Instituto. La Educación es un tema sensible, álgido, genera debate, porque nos atañe a todos, es un tema que atañe a la familia, al Estado y a la sociedad, es un asunto político, público y todos los actores deben dialogar, aportar y enriquecerse.

Como funcionarios del ICFES tenemos el compromiso de conocer y divulgar lo que hacemos y participar en la construcción de esa cultura, tenemos la función de educar sobre la evaluación y generar cultura, un reto grande es ambientar, orientar y retroalimentar la transformación que se está viviendo. Evaluamos para saber cómo estamos e implementar programas de mejoramiento, ya que todos debemos estar comprometidos en el mejoramiento de la calidad de la educación.

Hablar de resultados de la evaluación es de por sí algo polémico, mucho más cuando es tomada como clasificatoria, estigmativa, lo cual conlleva al rechazo de la evaluación y a perder el objetivo inicial que es el crecimiento y desarrollo de un ser y de una nación.

La evaluación debe dar cuenta de unos resultados acordes con una política definida, sin embargo no debemos dejar de lado, que estos resultados también reflejan la calidad de la prueba y si los medios periodísticos escriben permanentemente sobre resultados de evaluaciones que realiza el ICFES esto permite que los procesos sean dinámicos, como lo requiere un proceso evaluativo.


Las variadas intervenciones de los participantes nos permiten concluir el sentir relacionado con la interrelación: evaluación, resultados, ICFES, y es necesario fortalecer o crear nuevas estrategias continuas de comunicación y del manejo de esta información, por ejemplo:

• Los resultados son parte de un proceso y no un fin último

• La transparencia nos debe hacer visibles, en donde cuenta que estos procesos son respaldados por un saber académico y la evaluación es un objeto y proceso de investigación

• A quién y qué se debe informar

• Reconocer a todos los actores

• ¿Cuáles son las necesidades de los usuarios de información?

• Anticiparnos a los medios de comunicación en integrar y analizar la información

• La referenciación no es mala pero se deben dar pautas de cómo utilizarla, debemos saber con quien nos referenciamos

• Qué estrategias serían favorables: alianza con los medios periodísticos, boletines de prensa, píldoras informáticas en la web e incluso seminarios sobre interpretación de resultados

En conclusión, no se debe olvidar que la educación, mas que personas hábiles para el trabajo, o buenos conocedores de datos, temas y procedimientos; lo que persigue es formar mejores PERSONAS, por lo tanto, el sistema de evaluación de la calidad de la educación, debería preocuparse por estos aspectos y

51

generar salidas de información que ayuden a mejorar la calidad de las acciones dirigidas a la formación en valores.

BIBLIOGRAFÍA:• Brunner, José Joaquín. LÍMITES DE LA LECTURA PERIODÍSTICA DE RESULTADOS EDUCACIONALES. en

Evaluar las evaluaciones. Una mirada política acerca de las evaluaciones de la calidad educativa. IIPE-UNESCO-Sede Regional Buenos Aires. Agüero 2071.

• Halpern Britz, Pablo. INDICADORES Y SUS USOS EN EDUCACIÓN: UNA TENSIÓN NO RESUELTA. en Evaluar las evaluaciones. Una mirada política acerca de las evaluaciones de la calidad educativa. IIPE-UNESCO-Sede Regional Buenos Aires. Agüero 2071.


CAPÍTULO 3

13 de mayo de 2005

SESIÓN 6A. La evaluación como fetiche. Martín Granovsky

• ¿Qué pretendemos evaluar, qué evaluamos y qué conclusiones podemos extraer de la evaluación?. Alejandro Tiana Ferrer

SESIÓN 7B. Una mirada a la evaluación. Manuel Vinent Solsona

• Las tensiones de la evaluación y la evaluación como formación hacia el balance de una experiencia. Fabio Jurado Valencia

53

SESIÓN 6: “LA EVALUACIÓN COMO FETICHE Y QUÉPRETENDEMOS EVALUAR”

CAPÍTULO 3

Coordinador: Libardo Barrera Díaz

Relatora: Grace Vesga

Co-Relator : Alvaro Díaz Niño

Protocolantes: Carmen Inés Bernal de Rodríguez y Emperatriz Becerra

Esta sesión del seminario se orientó a la presentación y discusión de los artículos “La evaluación como fetiche” de Martín Granovsky y “Qué pretendemos evaluar” de Alejandro Tiana Ferrer, que fueron complementados con un documento del PREAL denominado “Cómo avanzar en la evaluación de resultados en América Latina” escrito por Pedro Ravela.

En los artículos señalados, se presenta una discusión acerca del sentido de la evaluación, de su enfoque en América Latina, de las características y propósito de las evaluaciones, así como del uso que se da a los resultados en los diferentes sistemas de evaluación existentes en el continente. Además se ponen en evidencia, los riesgos que se presentan desde el punto de vista de la política educativa y del desarrollo académico, cuando la evaluación rebasa su verdadera dimensión y termina convirtiéndose en un imaginario que suplanta el sentido de la política educativa.


Si bien es cierto que la evaluación se ha posesionado en América Latina como un mecanismo de mejoramiento de la calidad educativa, conviene aclarar el significado tanto de los conceptos de calidad como de evaluación educativa, por lo cual el seminario se direccionó a reflexionar sobre estos dos aspectos. En relación con el tema de la calidad se señaló que esta depende de la mirada y de las expectativas de cada uno de los actores que intervienen en el proceso educativo, y que este es un concepto polivalente que tiene múltiples definiciones.

Los resultados de la evaluación deben ser aprovechados para implementar políticas educativas en aras de mejorar la calidad, pero estas políticas deben ser de Estado y no de gobierno, puesto que los resultados no son inmediatos sino a mediano y largo plazo. Así mismo, se destaca que la evaluación es un proceso dinámico que debe ajustarse continuamente a las nuevas realidades nacionales y por ende a aquellas que impone el proceso de globalización en todas sus dimensiones.

Uno de los aspectos más cuestionados por los medios de comunicación, la comunidad educativa y los diferentes actores sociales es el uso y aprovechamiento que se hace de los resultados de las evaluaciones educativas. Algunas veces se hace referencia a clasificaciones y ranking de instituciones obtenidos con base en indicadores evaluativos tales como promedios y desviaciones estándar, y en otras ocasiones se alude al poco aprovechamiento que se hace de la información obtenida de este proceso. Sobre este particular el grupo señala que si el objetivo del proceso evaluativo es mejorar la calidad de la educación a partir de la implementación de planes de mejoramiento, ampliamente estructurados desde el Ente regulador de las políticas públicas en educación, no se pude olvidar que existen asimetrías que originan un serio desbalance entre los diferentes sectores sociales, que requieren tratamientos diferenciales para lograr equidad. Para concretar este propósito es necesario que en los sistemas de evaluación se introduzcan mediciones de factores asociados – alumnos, docentes , institución, padres de familia y entidades gubernamentales – tal como viene

55

ocurriendo con las evaluaciones internacionales, especialmente las que se realizan en los países del mundo desarrollado, donde quizá tiene más peso específico éste resultado que la misma evaluación de competencias.

De otro lado conviene hacer claridad en el sentido de que el ICFES no fomenta los resultados por medio de “ranking” de instituciones y por el contrario trata de no incentivar esta práctica, muy solicitada por los medios de comunicación.

En muchas ocasiones se ha citado a los periodistas a diversas ruedas de prensa, con el objetivo de que entiendan otra manera de ver e interpretar los resultados. Infortunadamente, no ha sido posible abolir la inmediatez de la chiva noticiosa en la que se muestran “las mejores instituciones” o si es “mejor” un determinado sector de la población respecto a otro. Hay algunos sectores de los medios de comunicación que han entendido el mensaje que quiere transmitir el ICFES y se han comprometido en la divulgación de otros aspectos de la evaluación que le dan un valor agregado a la misma. En este sentido el ICFES con el ánimo de socializar otro tipo de estrategias de interpretación ha venido haciendo algunos esfuerzos para lograr que los diversos sectores sociales asimilen los mecanismos adecuados de interpretar dichos resultados. Por esta razón, se han diseñado y aplicado talleres dirigidos a docentes, coordinadores, rectores, supervisores y secretarios de educación de municipios y departamentos de todo el país. Así mismo, se ha distribuido información para los mismos actores por medios magnéticos, en los que se muestra toda la riqueza de los resultados de la evaluación educativa en el país.

En relación con el uso de indicadores como instrumento único de medición y evaluación, se señaló en la discusión, que es imperativo dar un salto y empezar a introducir nuevos enfoques y relaciones para hacer un uso más pertinente de los resultados, que permitan aproximarse a conclusiones de mayor contenido pedagógico y generar espacios prospectivos sobre esta práctica académica. De igual manera se anotó que la evaluación no es suficiente como mecanismo de mejoramiento de la calidad educativa, pero es


muy necesaria porque da señales que muestran el lugar donde nos encontramos y permite enfocar el camino hacia el mejoramiento educativo.

Igualmente, haciendo referencia al camino a seguir, se propone que es necesario aprovechar la experiencia y el saber logrado por el ICFES, para que a partir de la información que se sumistra a las instituciones, estas analicen sus falencias y debilidades de tal manera que les permita jerarquizar las necesidades y construir sus propios planes de mejoramiento, que de hecho deben apoyarse desde el gobierno. Por tal razón se recalca la necesidad de que los procesos de mejoramiento se conviertan en políticas de Estado y no de gobierno como hasta ahora ha venido sucediendo.

En el grupo hubo consenso alrededor de la idea que la calidad de la educación está ligada a la formación del capital humano requerido para los procesos de competitividad que permite lograr la autonomía e identidad de los pueblos, la convivencia, el acceso a derechos fundamentales y por ende al mejoramiento de la calidad de vida de las personas. Sin embargo, se señaló que mientras en el país se está posesionando la evaluación por competencias, no existen señales claras que muestren orientaciones de política hacia privilegiar la formación en competencias, generándose cierta incoherencia entre las acciones realizadas en el aula y la política de evaluación.

Otro de los aspectos que debe considerarse de forma primordial es el que señala que la evaluación debe ser vista como parte de un proceso pedagógico formativo y no como un elemento de premio o castigo. Por esta razón, el docente como pieza fundamental del trabajo realizado en el aula debe involucrarse y comprometerse dentro del diseño de planes de mejoramiento formulados a partir de los resultados obtenidos en la evaluación, ya que él debe entender que la evaluación externa es una herramienta complementaria a su quehacer pedagógico, que contribuye al mejoramiento de la calidad educativa. Si bien es cierto que en la mayoría de países de América Latina se han generado tensiones entre la política de evaluación y los intereses particulares del gremio docente, que hace que éste se vea marginado de

5�

las prácticas evaluativas externas, no es menos cierto que los gobiernos y autoridades educativas no han realizado los esfuerzos necesarios para involucrar éste importante gremio en la definición de la política pública en materia de evaluación educativa.

Por último, se analizaron los sistemas de rendición de cuentas basados en la aplicación de pruebas, los cuales se fundamentan en la creencia de que la educación puede mejorar gracias a una estrategia sencilla: hacer que todos los estudiantes presenten pruebas estandarizadas, y asociar consecuencias fuertes a las pruebas, en forma de premios cuando se tienen buenos resultados y sanciones cuando ocurra lo contrario. Las tendencias prevalecientes en muchos países, incluyen demandas sociales en dirección de una rendición de cuentas cada vez más clara, lo cual permite a la sociedad apreciar la manera en que se emplean los recursos públicos que se originan en los impuestos que pagan los diversos sectores sociales.

En algunos sistemas educativos como los del Reino Unido, Francia, Chile, Australia o Estados Unidos, esas demandas han llevado al establecimiento de sistemas de rendición de cuentas (Accountability), basadas en los resultados de pruebas de rendimiento aplicadas a los estudiantes, presentando puntajes promedio obtenidos por los estudiantes de cada escuela, en forma de tablas de posiciones o de ranking, haciendo inevitable que en este proceso haya ganadores y perdedores, de forma que una vez que una institución es señalada como deficiente, es difícil encontrar la manera de ayudarla en un ambiente donde prevalece la postura de la discriminación, lo que no lleva a la formulación de estrategias de mejoramiento.

Frente a esta práctica algunos países han optado por medir “valor agregado”, esto es, evaluar al mismo alumno al comienzo y al fin de un ciclo de enseñanza, haciendo público el mejoramiento y no el resultado bruto. Es importante mencionar la experiencia Neozelandesa, donde se evalúa a los alumnos al ingresar en primero básico y luego se mide su progreso a través de cada ciclo, no de cada año. Otra medida


complementaria ha sido adoptada por Suecia, al vincular el financiamiento de los establecimientos con el egreso oportuno de sus alumnos de la secundaria.

Sobre el particular el grupo estuvo de acuerdo en que la implementación de un sistema de rendición de cuentas que tome como variable única el mecanismo de aplicación de pruebas, no contribuye por si mismo a elevar la calidad educativa, así como tampoco se consigue con medidas coercitivas simples como sucedió en Chile, por lo que se plantea que mejorar los niveles educativos es una tarea de largo plazo y de diseño de estrategias complejas. Lo anterior conduce al planteamiento de que en lugar de establecer modelos de evaluación centrados en rendición de cuentas, se privilegien modelos enfocados a la difusión de mejores prácticas que se sustentan en un enfoque de mejora continua con el supuesto de que los bajos resultados son un problema duradero porque tiene causas complejas y su solución requiere de estrategias integrales y de gran voluntad política.

5�

SESIÓN 7: “UNA MIRADA A LA EVALUACIÓN Y LAS TENSIONES DE LA EVALUACIÓN Y LA EVALUACIÓN COMO FORMACIÓN HACIA EL BALANCE DE UNA EXPERIENCIA”

INSTALACIÓN Y APERTURA DE LA SESIÓNEl Coordinador de la sesión HÉCTOR ORLANDO DÍAZ RAMÍREZ, se ocupo de la instalación de la sesión, presentando la temática, el propósito de la sesión, los integrantes del grupo y su función en la sesión, la relación de la temática con las anteriores sesiones, la metodología a desarrollar y algunas consideraciones sobre la distribución y el uso de la palabra. A continuación le otorgó la palabra al primer relator, HOLMAN HERRERA.

DESARROLLO DE LA SESIÓN

Primera Relatoría: “La Evaluación, una mirada”El texto “Una mirada a la evaluación”, de Manuel Vinent, enmarca a la evaluación como un referente útil del cual se obtiene información pertinente para la transformación de la educación y del proceso de formación de los estudiantes, que es lo que permite, entre otros, lograr la calidad y la eficiencia de la educación. Esta información esta dada en el sentido de que a través de una evaluación continua se pueden valorar los desempeños, las dificultades, y las problemáticas en el proceso de aprendizaje. La valoración, entonces, permite corregir los “errores y deficiencias” y avanzar en la construcción del conocimiento.


La evaluación como proceso debe darse desde otras perspectivas, en este caso estaríamos hablando de la evaluación externa, que en conjunto con las evaluaciones internas, permiten establecer en forma veraz la calidad de la educación que se imparte, ya sea en el nivel nacional, departamental o institucional. Un ejemplo de evaluación externa es el instrumento elaborado por el Grupo de la Universidad Nacional cuyas preguntas se enfocaban a que el estudiante utilizara el acervo de sus conocimientos de manera creativa y no de modo mecánico y memorístico, es decir una evaluación por competencias.

En este orden de ideas, los actores de la educación son por supuesto los estudiantes y los docentes, la evaluación debe manejar las perspectivas que el docente tiene y así mismo el docente debe concebir las perspectivas del examen, por ejemplo, que el estudiante acepte la evaluación como un desafío a sus capacidades y como un motivo para utilizar sus conocimientos en la solución de un problema. Lograr esta actitud involucra un proceso que a veces es difícil de lograr, sin embargo, es claro que la labor de educar sólo puede ser asumida como un proyecto de vida y que la identidad con la profesión de ser maestro entraña un universo de ideales, de sueños y de convicciones. El gran reto para el maestro consiste en acercarse al escolar, reconocer y conocer las características de su entorno, su manera de sentir la existencia, sus inclinaciones, sus aspiraciones, sus expectativas hacia el futuro y también sus limitaciones.

En conclusión, puede decirse que lograr cambios esenciales en la educación sólo es posible si se articulan la enseñanza, la disposición de enseñaza, la evaluación interna, la evaluación externa y las políticas educativas, las cuales deben reflejarse en el proyecto educativo institucional que es el encargado de orientar y de dar sentido a la labor de la institución. Estos proyectos educativos deben, entonces, ser conocidos, discutidos y compartidos por toda la comunidad educativa.

Segunda Relatoría: “Las tensiones en la evaluación”Desde su experiencia el profesor Fabio Jurado, en su texto toma como pretexto el análisis de la evaluación y sus tensiones en dos momentos de la historia de la educación, en 1960 y en 1991.

61

En 1960 se plantea que existía el examen y no la evaluación. El examen pretendía identificar las aptitudes y la memorización de conceptos por parte del estudiante, era el modo de cumplir con las normas evaluativas propuestas por del Ministerio de Educación Nacional (MEN).

La evaluación en el año 1991 en las áreas de matemática y de lenguaje. Esta evaluación permitió dar un giro a las evaluaciones que se aplicaban hasta el momento en el país, ya que surge de la discusión académica por parte de los docentes, del MEN y del ICFES, quedando la evaluación por competencias comunicativas como marco de referencia. Este mismo enfoque fue utilizado en la evaluación censal que se aplicó en Bogotá en 1998, por parte de la Secretaria de Educación y el grupo de evaluación de la Universidad Nacional; esta evaluación contemplaba además de las competencias, la producción escrita por parte de los jóvenes y la evaluación de las áreas de ciencias naturales e idiomas.

La evaluación de Bogotá con sus innovaciones pretendía inculcar en los docentes una evaluación de tipo formativo y proposítivo, de forma que el uso de los resultados permitiera reconocer la calidad de educación en la escuela y que los docentes conocieran y trabajaran la evaluación que se les había aplicado a sus estudiantes como herramienta para los análisis de los resultados y como herramienta en las prácticas de aula.

Desde esta perspectiva las evaluaciones deben ayudar, en gran medida, a transformar la cultura. Este proceso sólo se logra si se cuenta con una perspectiva real de los contextos de la escuela y de las tensiones que en si misma genera la evaluación en la comunidad. Como por ejemplo el concepto y la significación de la evaluación que se maneja en el momento de la elaboración y construcción de las pruebas. El autor plantea que esta resignificación debe contemplar los significados subyacentes del término evaluación, ya que no sólo es el que se expresa en los textos, sino también es el que se ha construido en las prácticas del aula.


En esta vía la resignificación de la educación también ha generado tensiones en el sentido de los significados que se le han dado y de las acciones que se cumplen para mantener la calidad. Las aulas especiales, la promoción automática, los subsidios estudiantiles son estrategias encaminadas a cumplir con la calidad, sin embargo, esto aún no se refleja en los proyectos educativos institucionales, que son el eje que cada escuela desarrolla para cumplir uno fines propios – colectivos. Propios porque involucra a la comunidad del plantel enmarcada en unos contextos socio culturales y colectivo en el sentido que esta encaminada a cumplir con fines nacionales propuestos en la Ley 115 del 94 por ejemplo.

El debate: Una vez concluidas las dos relatorías, el Coordinador de la sesión abre el debate, para lo cual propone a los seminaristas las siguientes preguntas estimuladoras:

• En las diferentes pruebas que construye y diseña el ICFES conjuntamente con las comunidades académicas y las colegiaturas se contempla un enfoque pedagógico?

• ¿Existen actualmente otras tensiones en la evaluación en el ámbito interno y externo del ICFES?

• En el ICFES ¿qué instancia es la responsable de evaluar la evaluación?

Las diversas intervenciones realizadas aportaron elementos para la construcción del texto “la evaluación y su enfoque pedagógico”, el cual presentamos a continuación:

La evaluación y su enfoque pedagógico:La evaluación en la escuela es un complemento pedagógico de gran valor en el proceso educativo de los estudiantes, es un constructo que permite verificar de manera directa o indirecta los desempeños de los estudiantes en un área o en su proceso educativo. La evaluación, entonces, debe permitir a los docentes

63

valorar y transformar sus formas de enseñanza, a los directores verificar la calidad de la educación que imparten, a los padres de familia revisar y participar en el enfoque pedagógico de la escuela, a los investigadores encontrar temas neurálgicos con los cuales pueden desarrollar investigaciones, que permitan reorientar los fines, los fundamentos y las políticas de la educación y a los estudiantes reconocer sus fortalezas y debilidades en el proceso de aprendizaje.

Un tema de particular discusión por parte de la comunidad académica, es si la evaluación permite transformar, enriquecer o cambiar de manera pertinente los currículos o enfoques de las instituciones, dado que no siempre existe una correspondencia con el enfoque de las evaluaciones externas y el de las instituciones, con la pertinencia de las preguntas, con la relevancia de los temas y con la realidad de la educación que se ofrece en la escuela. En este sentido, es necesario que se haga una resignificación de la evaluación por cada institución, es decir, analizar la evaluación como algo formativo y no de selección, que tengan en cuenta los resultados de las evaluaciones institucionales, de los proyectos educativos institucionales y de las evaluaciones externas como insumos en la autoevaluación académica, teniendo así los insumos necesarios y pertinentes para abordar de forma segura los posibles cambios en aras de la transformación educativa.

En este orden de ideas, los currículos no pueden ser únicamente los criterios en los cuales se basan las evaluaciones, porque éstos son sólo una herramienta en la formación de los estudiantes.

Así, entonces, las evaluaciones deben ser concebidas de forma lúdica, que permitan generar en el estudiante retos para abordarla, que sus habilidades y acciones estén a prueba en el sentido que lo enfrenten a discutir con la pregunta, que lo lleven a evocar conceptos, ideas, programas televisivos, películas, que le permitan utilizar sus conocimientos de modo creativo e innovador.

A partir de lo anterior se debe hacer la pregunta ¿qué enfoque tiene la evaluación externa?.


Como un acercamiento a la anterior pregunta, haremos una breve descripción de la evolución de la prueba de Estado, así: las evaluaciones que se realizaban en el Servicio Nacional de Pruebas (SNP), en el período 1968 –1979, entre otras el examen de Estado para ingreso a la educación superior, tenía el enfoque propuesto por BLOOM5, cuyo interés era el de establecer las aptitudes y la orientación profesional, un “Educational Testing Service”, por medio de la verificación de los currículos. Sin embargo, este enfoque cambió a ser sólo de selección para ingreso a la educación superior con el Decreto Ley 80 de 1980.

Después de este período y en concordancia con las discusiones sobre ¿cómo enseñar en la escuela?, que estaban enfocadas hacia el constructivismo, se generaron cambios en los enfoques de la evaluación de 1995, como fueron:1. Precisar el papel de las pruebas (que ganen legitimidad).2. Transformar su tradicional rol de selección / exclusión por uno de diferenciación. 3. Brindar información al estudiante para continuar con sus estudios, a las instituciones para mejorar

constantemente su calidad, a la sociedad para reconocerse a través de su juventud en los contextos del país, y para brindar oportunidades a sus ciudadanos en la educación superior, entre otros.

Para el año 2000 la reconceptualización de la evaluación se trabajo a partir de las “COMPETENCIAS” así:

1. La renovación de los propósitos educativos del país;2. Las nuevas exigencias culturales, sociales, políticas y económicas surgidas en el contexto de la

globalización y

5 ARTETA, Judith, CHONA, Guillermo, Evaluación por competencias Biología, química y física. Cómo interpretar los cambios en las pruebas de Estado., Magisterio 2004 p. 17-21

65

6 IBID

3. Los cambios e innovaciones que a escala mundial se producen en el ámbito de las diversas disciplinas que conforman el examen6

Es notorio, que la evaluación externa ha tenido ciertas transformaciones enmarcadas en las discusiones pedagógicas de la época. Estas transformaciones epistemológicas se relacionan directamente con la elaboración de los instrumentos, que van desde la concepción de la pregunta hasta la elaboración de las respuestas.

Los últimos cambios que se han implementado están dados en la evaluación por competencias comunicativas, que son la base para todos los estudiantes en la resolución o actuación frente a un problema, esta competencia se puede valorar por tres acciones discursivas que son la interpretativa, la argumentativa y la propositiva. Los instrumentos de evaluación también deben estar enfocados en competencias, estos cambios se pueden identificar en las preguntas, las cuales deben estar bajo un contexto que enmarca situaciones llamativas, cotidianas o novedosas. Estas preguntas se enfocan en la resolución de problemas, el reconocer o discriminar variables, en la comprensión de textos, en hacer inferencias y en estudios de caso. Esta diversidad de formas de preguntar busca que el estudiante discuta e interactúe con lo que él sabe. Otro cambio esta encaminado en las respuestas, que pasan de ser un distractor, a veces de fácil descarte, a ser opciones de respuesta, que son mundos posibles para el estudiante. Con las opciones de respuesta se pueden hacer varios análisis al retomar y discutir las pruebas, estos análisis pueden ser el nivel de acercamiento del estudiante con los conceptos que involucra el resolver la pregunta, el pensamiento relacional, es decir, si logra hacer convergencia entre lo que se pregunta y todo lo que él sabe, el nivel de evocación y su relación con lo cotidiano.


En términos generales, se puede concluir, que las evaluaciones y los instrumentos de evaluación están construidos bajo un marco teórico, que se sustenta con un enfoque pedagógico y que así mismo este enfoque se refleja en los instrumentos de evaluación. Sin embargo, un punto importante que se deja para la discusión es ¿qué tipo de relaciones se pueden establecer entre la evaluación externa, como la planteada por el ICFES, y la evaluación interna que se desarrolla en las instituciones?. Una posible solución es el abordar de nuevo las pruebas externas con sus marcos conceptuales. Este abordaje permite establecer marcos de referencia, herramientas didácticas y pedagógicas que los docentes y la comunidad en general pueden emplear de distintas formas, como al usar los contextos o problemáticas en su área o al vincular la parte social y de relaciones interpersonales en su diario vivir. Este pequeño trabajo después de la evaluación permite reconocer los fines del trabajo en equipo ICFES-comunidad académica.

4. Reflexión final• El Coordinador de la sesión plantea dos reflexiones fundamentales del debate: 1. Las diferentes pruebas que se construyen en el ICFES llevan implícito el enfoque pedagógico, en su

gran mayoría los constructores de las mismas son pedagogos de oficio y de formación.

2. Las tensiones hacen parte del diario vivir, son necesarias, lo importante es saber hacer buen uso de ellas o convivir con ellas cuando no es posible agotarlas, ni conciliarlas. Para el caso de la evaluación educativa las tensiones pueden inducir a la transformación y al avance de las pruebas; lo importante es saber reconocer la existencia de las tensiones, de esa forma ya se tiene parte de la solución ganada. Es necesario entonces que las diferentes dependencias del ICFES, generen discusiones y establezcan acuerdos provisionales sobre la conceptualización de evaluación, competencia, etc., para luego socializarse con las comunidades académicas como una posición institucional, que pueda alimentarse con procesos de investigación.

6�

Responsables de la sesión: La responsabilidad y desarrollo de la sesión correspondió al Grupo No. 7, autodenominado “Los Intensos”:

Relator No. 1: Holman Mauricio Herrera Veloza, Economista, Profesional, Oficina de Control Interno del ICFESRelatora No. 2: Sara Leonor Vega, Maestra en Artes, Profesional, Subdirección de Fomento del ICFESProtocolantes: José Vicente Hernández, Contador, Secretaria General Luis Javier Toro, Licenciado en Biología, Subdirección Académica del ICFESCoordinador: Héctor Orlando Díaz Ramírez, Enfermero, Profesional Especializado, Subdirección Académica del ICFES.

Participantes en la Sesión: Nelson Ernesto López Jiménez, Jacqueline Salamanca, Margarita Álvarez, Carlos Pardo, Liliana Cardona, Nancy Cárdenas, Alicia Dulce, Amanda Peraza, Lucila Gómez, Sara Bohórquez, Wilma Buitrago, Álvaro Díaz, Carmen Inés Bernal, Libardo Barrera, Emperatriz Becerra, Héctor Díaz, Holman Herrera, José Vicente Hernández, Javier Toro, Sara Vega, Elizabeth Olarte, Zandra Parra, Luis Velandia, María Jimel Mendoza, Martha Rocha, Mercedes Wilches, Libia Talero, Lorena Rodríguez, Héctor Varón, Elizabeth González y Grace Vesga.

REFERENTES BIBLIOGRÁFICOS• ARTETA, Judith, CHONA, Guillermo, Evaluación por competencias Biología, química y física. Cómo

interpretar los cambios en las pruebas de Estado., Magisterio 2004 p. 17-21• JURADO, V., Fabio. “Las tensiones de la evaluación y la evaluación como formación: hacia el balance

de una experiencia. Trazas y miradas.• VINENT, S., Manuel. “Una mirada a la evaluación”. Trazas y miradas.


CAPÍTULO 4

9 y 10 de junio de 2005

SESIÓN 8A. ¿Es posible evaluar objetivamente? Guillermo Bustamante Za-

mudio. Universidad Pedagógica Nacional. Maestría en Evaluación Escolar y Desarrollo Educativo Regional.

• ¿Es posible evaluar objetivamente?Una aproximación crítica. Mario Díaz Villa

SESIÓN 9B. La evaluación por competencias en lenguaje:contextos y horizontes. Enrique Rodríguez Pérez

• La evaluación en el aula de matemáticas.Myriam Acevedo Caicedo

6�

SESIÓN 8: “ES POSIBLE EVALUAR OBJETIVAMENTE?”

CAPÍTULO 4

COORDINADOR: Martín E. Rubio SaénzRELATORA: Martha Castillo BallénCORRELATORA: Zandra A. Parra NiñoPROTOCOLANTES: Elizabeth Olarte de Moreno Martha Silva de Robledo

Esta sesión se orientó a la discusión sobre la problemática de la evaluación objetiva, tomando como referentes los artículos: “¿Es posible evaluar objetivamente?” de Guillermo Bustamante Z y “¿Es posible evaluar objetivamente? Una aproximación crítica”, de Mario Díaz.

DESDE LA PERSPECTIVA DE LOS AUTORES:Frente a la pregunta ¿ES POSIBLE EVALUAR OBJETIVAMENTE?, los dos autores, desde una perspectiva sociológica y antropológica de la educación, concuerdan en afirmar que el conocimiento ya no puede concebirse bajo la fórmula aristotélica de “adecuación del intelecto a la realidad” sino como una práctica social mediada por la acción del sujeto a través de referentes que hablan de lo predecible, lo posible, lo realizable, lo inferible y lo expresable. Ámbitos que expresan una experiencia más allá del “estado de cosas” reconocido como “real”. En este sentido, la evaluación que pretende ser “objetiva” cae en el terreno de la “subjetividad” al pretender evadir, apoyado en los aspectos técnicos y de procesamiento estadístico, la esencia controvertible del conocimiento humano.

�0 SEMINARIOS PERMANENTES DE FORMACIÓN DOCENTE EN EVALUACIÓN

Para Bustamante, el concepto de “evaluación objetiva” es ambiguo y tiene su anclaje ideológico. Se habla de objetividad en diferentes espacios para justificar acciones que no son pertinentes con la naturaleza del objeto evaluado. En la evaluación el sujeto no está presente, sus particularidades se disuelven en la generalidad: “(…) la llamada evaluación objetiva fue concentrando la atención en los asuntos técnicos, haciendo aparecer como sin importancia eso que hace parte del sujeto constructor de conocimientos, que le define su manera de significar el mundo y que tiene que ver con el proceso de construcción de sentidos (…)”.

Si en este momento, afirma Bustamante, entendemos que el estudiante es algo más que comportamiento observable, que el maestro es algo más que el ejecutor de un diseño instruccional y que el conocimiento es algo más que un referente inamovible, entonces la evaluación debe entrar a redimensionar y redefinir los criterios con los que construye sus instrumentos, interpreta los resultados y califica el saber o no saber de un estudiante.

De esta manera, en relación con el objeto a evaluar, es necesario, según el autor, en primer lugar, entrar a pensar en una evaluación que atienda a los criterios con los que las distintas culturas delimitan lo que es conocimiento. En segundo lugar, revisar los aspectos que, desde el campo disciplinar, confieren validez a lo que hoy se denominan gramáticas básicas y, en tercer lugar, redefinir en las instituciones educativas lo que se debe evaluar y lo que se debe enseñar.

El profesor Marío Díaz, por su parte, retoma los planteamientos que hace Bustamante sobre el carácter polémico e ideológico del término “objetividad” y amplía la discusión, poniendo de manifiesto que la evaluación esta anclada a una pedagogía reduccionista en la medida en que presupone contextos de aprendizaje homogéneos en lo que en realidad obedece a prácticas interactivas múltiples y diversas. Siguiendo a Basil Bernstein, argumenta que: “(…) contextos de aprendizaje diferentes crean aprendizajes diferentes (…) ni las habilidades ni las competencias pueden ser abstraídas del contexto de su transmisión,

�1

ni de sus relaciones entre sí, lo que significa que su evaluación no puede realizarse en términos de unidades aisladas (…)”.

Desde la perspectiva del profesor Díaz, la evaluación debiera en cierta forma considerar los rasgos generales de los contextos, esto es, de las prácticas de interacción que producen tales competencias. Lo que obliga necesariamente a repensar su función: “(…) Si la evaluación está regulada por principios de clasificación rígidos tiene, como lo manifiestan sus teóricos y técnicos, que ofrecer criterios objetivos e impersonales excentos de supuestos particulares. (...)”. Pero si por el contrario, rescinde de su carácter dicotómico, opuesto a subjetivo, entonces: “(…) tendrá que comprender que los procesos de adquisición o aprendizaje del conocimiento están histórica, social y culturalmente determinados”.

Si analizamos el problema desde aquí, es posible considerar que hay diferentes formas de evaluación y que estas formas mantienen relaciones distintas con la estructura de control y con las formas de comunicación dependiendo de sus propósitos.

Así, una evaluación que tenga como propósito generar información para mejorar la calidad educativa del país no puede olvidar que los contextos socializantes del conocimiento difieren unos de otros y que sus principios subyacentes determinan, de una u otra manera, formas y procesos de aprendizaje diferentes.

La evaluación no puede limitarse al establecimiento de regularidades universales pues debe contar con las particularidades, con las diferencias de los sujetos involucrados; reconocer que tanto el evaluado como lo evaluado tienen características distintas que afectan las formas de evaluación.

La idea no es pasar de una evaluación objetiva a una de carácter subjetivo, se trata más bien, de dar un nuevo sentido a la acción evaluativa procurando una perspectiva que regule sus principios, conceptos


y opciones metodológicas desde una perspectiva que articule de manera dialéctica lo subjetivo y lo objetivo.

Frente a los planteamientos de Guillermo Bustamante y Mario Díaz, en la sesión de discusión, se presentaron los siguientes cuestionamientos y acercamientos:

Los planteamientos que hace el profesor Guillermo Bustamante, en el artículo anteriormente citado, resultan interesantes, pero también un poco reduccioncitas, en la medida en que centra su discusión en el instrumento, olvidando que la acción de “evaluar” conduce a otras instancias que superan lo meramente instrumental, lo estadístico. El instrumento es un medio, que está diseñado desde una perspectiva o forma de ver la educación, respondiendo a unos fines y propósitos de política global. De hecho, al analizar los aspectos teóricos – disciplinares y pedagógicos- que le subyacen hoy a los instrumentos, estos coinciden con un enfoque que pretende una mirada antropológica social sobre el conocimiento, de ahí que se diga que la evaluación no puede informar sobre el resultado de un proceso sino marcar momentos en el proceso e informar sobre lo que se ha logrado y lo que falta por lograr en dicho proceso.

En las últimas décadas la evaluación ha dado un giro muy importante, ha pasado de una evaluación de contenidos a una evaluación por competencias. Aunque algunos arguyen que no se sabe que es, lo cierto es que es distinto informar al país sobre qué tantos contenidos tienen los estudiantes sobre un tema o área determinada, a decirle qué pueden hacer esos estudiantes con lo que saben en cada una de ellas.

De igual manera, los propósitos de la evaluación también se han ampliado: además de servir como criterio para el ingreso a la educación superior, debe permitir Informar a los estudiantes acerca de sus competencias en cada una de las áreas evaluadas, información que depende de su desempeño y no de comparar al estudiante con el grupo. En esta medida, los resultados aportan al estudiante elementos

�3

para la orientación de su opción profesional; además, permite apoyar los procesos de autoevaluación y mejoramiento permanente de las instituciones escolares; contribuir en el desarrollo de investigaciones y estudios de carácter cultural, social y educativo, como, por ejemplo, reconocer cuáles son esos contextos de los que habla Mario Díaz y promover acciones de mejoramiento localizados, acordes con las realidades y las necesidades de los diferentes grupos.

Compartimos el hecho de que dependiendo de las experiencias de los sujetos y de los contextos en los que desarrolla su conocimiento, así también encontramos diversas formas de acercamiento e interpretación de la realidad. Pero, en el contexto de una evaluación masiva regida por unos propósitos que tienden a que la diferencia no sea un obstáculo, sino por el contrario, el espacio en el que se construye la identidad nacional, la evaluación debe marcar horizontes que permitan la igualdad en la diferencia. Lo que implica necesariamente que la evaluación sea algo más que medir.

La “objetividad” de la que habla el ICFES, y frente a la cual hay muchos cuestionamientos pero también mucho desconocimiento, hace referencia a dos principios técnicos que rigen la construcción del instrumento: confiabilidad y validez. La confiabilidad, nos dice de la precisión de la medición, es decir, que si yo mido el mismo rasgo, a través de diferentes instrumentos, a una persona, en diferentes momentos, el resultado debe ser el mismo o cercano. En esta medida, la precisión de la medida que yo doy a ese rasgo se aproxima a lo que ese rasgo es en el evaluado. Por su parte la validez, se lee como el proceso de acumular evidencia para soportar las inferencias que se hagan a partir de los puntajes7. La validez siempre se refiere al grado en el cual esa evidencia soporta las inferencias que se hacen a partir de los puntajes. En este caso, lo que se valida son las inferencias relacionadas con un uso específico del instrumento, no el instrumento en sí mismo.

7 Pardo Carlos. Hablemos de validez, documento presentado en el curso de Metodologías y técnicas de evaluación de la Calidad de la Educación del LLECE, realizado por la oficina regional de la UNESCO-OREALC, Santiago de Chile, Septiembre de 1998.


Esto, que aparentemente es de un nivel técnico, acompañado con las investigaciones cualitativas y etnográficas que se pueden proponer desde los resultados, como procesos de autoevaluación y seguimiento, tanto de la evaluación misma como de las instituciones evaluadas y sus contextos particulares, es lo que constituye la evaluación. La pregunta que nos debemos hacer es sobre quién o quiénes recae la responsabilidad de que los resultados no se queden en la simpleza del dato; ¿es el ICFES el qué debe promover estas investigaciones? Si no es el ICFES, entonces ¿a quién o a quiénes les corresponde?, ¿Qué papel juega el MEN?; ¿qué papel debe cumplir la universidad?

Acentuar la discusión en la diversidad de contextos y formas de aprendizaje, como discurso a favor de una evaluación descentralizada, sin hacer propuestas claras, es la cotidianidad en los espacios de discusión sobre investigación educativa y de evaluación, pero también, es lo que tiene sumido los sistemas educativos de diferentes países latinoamericanos en una especie de sin salida, derivada por una parte del advenimiento de la globalidad, que exigen el desarrollo de competencias universales para la vida mientras, por otro lado, se promulga la valoración de la vida, los espacios y tiempos particulares en aras de la diferencia cultural.

En este sentido, a partir de una valoración del mundo de la vida cotidiana (Habermas, 1987), muchos reclaman una educación fundada en estilos de conocimiento locales, privilegiando la autoevaluación sobre la evaluación externa, los estudios cualitativos sobre los cuantitativos, el afecto sobre el entendimiento y el valor absoluto del individuo sobre las agregaciones. Tensionados entre ideales universalistas y locales, el sistema educativo en Colombia experimenta una crisis que algunas veces se resuelve en parálisis, otras en incertidumbre y, en casos afortunados, en acciones significativas. La escuela, el colegio y la universidad han dejado de ser instituciones autosuficientes, como eran antes de la revolución científico-técnica, para convertirse en piezas de un engranaje más complejo de reproducción de la misma sociedad: integrar a los ciudadanos en redes cada vez más internacionales

�5

y conceder mayor autonomía a los individuos y a las comunidades locales. La evaluación, por su parte, se debate entre responder a exigencias universales o a necesidades locales; entre limitarse a registrar saberes y competencias producidas en contextos diferentes, bajo el supuesto de que ellas tienen valor inconmensurable o atender los saberes que desde los estándares se perciben como básicos fundamentales para el mejoramiento de la calidad.

La descentralización y evaluación son una aspiración deseable, pero podrían entrar en contradicción si no se hace un esfuerzo por conciliarlas, idea que compartimos y que sostiene el profesor Mario Díaz en su artículo.

Lo que es claro es que desde la evaluación en Colombia se han hecho muchos esfuerzos por construir un sistema nacional de evaluación de la calidad de la educación que, sin escapar a las tensiones mencionadas, muestra una continuidad en treinta años y mucha experiencia para superarlas; experiencias que han quedado, inclusive de la participación del mismo profesor Guillermo Bustamante y Mario Díaz; y de la participación de los funcionarios del ICFES en eventos internacionales donde han sido reconocidos como autoridad académica en el tema.

La evaluación permite hacer inferencias a partir de las actuaciones de los estudiantes frente a un contexto determinado, pero estas inferencias son válidas desde un marco teórico y unas especificaciones de prueba, que se pretende sean producto de acuerdos entre las comunidades académicas, que para el caso específico de los ECAES ha sido bastante complicado. Hay algo que se ha tratado de dar que es la legitimidad y la construcción de acuerdos no arbitrarios. ¿Quién dice que evaluar? en el caso de los ECAES es la misma comunidad académica, los que forman a los futuros profesionales del país. Sin embargo, siempre habrá personas inconformes frente a la evaluación.


En el proceso de construcción de las pruebas, una vez establecido el marco teórico y las especificaciones de prueba, se pretende una unidad y correspondencia entre lo que se dice que se evalúa y las preguntas que se construyen sobre el objeto evaluado; esto es un proceso que resulta difícil de lograr, sobre todo cuando la gente que participa en el colegiado no tiene mucha experiencia en evaluación.

Luego viene otra parte del proceso que también tiene sus escollos: la unidad y correspondencia entre el marco teórico, donde se explícita el objeto a evaluar, el instrumento y el uso que se hace de los resultados. En este sentido, el problema de la objetividad esta en las estrategias de control, coherencia y pertinencia que se puedan establecer en cada uno de estos pasos o etapas, algo bastante problemático para el ICFES, a pesar de que se tiene la experiencia, el saber y las mejores metodologías para aproximarnos a esa realidad que queremos vislumbrar a través de la evaluación. Es necesario, entonces, llegar a establecer claramente las limitaciones y los alcances que tenemos, pues no sobra decir, como es propio del campo investigativo, que la evaluación no puede ser vista como un todo que puede definir completamente el panorama de la educación.

La evaluación, sea cual sea su origen, siempre será censurada por más que tratemos de cubrir todas las variables, pues el hecho de que los instrumentos sean producto de la construcción humana y de un grupo en particular, hace que ésta este mediada por una forma o varias formas de ver e interpretar la realidad. Una objetividad que desde otro punto de vista podría ser juzgada como subjetiva. La objetividad del ICFES, es la objetividad de quienes han participado en el ejercicio de decidir qué y cómo evaluar.

Quienes han pasado por la experiencia de la construcción de instrumentos para la evaluación, consideran en su momento que han sido objetivos, confían en sus criterios, sin embargo, al salir de este oficio, parados en otros roles, profesores, investigadores, la mirada sobre la evaluación tiene dos posibilidades: se amplía o se constriñe, lo que da pie a intervenciones críticas que permiten, sin estar, superar lo hecho o negar lo hecho e imposibilitar el avance.

��

SESIÓN 9: “LA EVALUACIÓN POR COMPETENCIASEN LENGUAJE: CONTEXTOS Y HORIZONTES Y LAEVALUACIÓN EN EL AULA DE MATEMÁTICAS”

Integrantes: Martha C. Rocha G. Luis Jesús Velandia M. Martha E. Méndez A. María Jimel Mendoza P. Mercedes Wilches C.

Textos base: La Evaluación en el aula de matemáticas. Myriam Acevedo Caicedo La Evaluación por competencias en lenguaje: contextos y horizontes. Enrique Rodríguez Pérez

La sesión de trabajo fue diseñada para acercar a los asistentes a un conocimiento general de la forma en que se aborda la evaluación de la matemática y del lenguaje en distintos programas de evaluación educativa que se adelantan en Colombia y en otras partes del mundo, estableciendo un parangón entre ellos en relación con a) la definición del objeto de evaluación, b) el propósito del programa, c) la población objetivo, d) la estructuración de los instrumentos y, e) los formatos de preguntas. Los programas de evaluación presentados fueron: Examen de Estado para ingreso a la Educación Superior, Pruebas Saber, PISA (de la Organización para la Cooperación y el Desarrollo Económico, OCDE), TIMSS y PIRLS (de la Asociación Internacional para la evaluación de logros educativos, IEA) y el SAT (Test para la

�� SEMINARIOS PERMANENTES DE FORMACIÓN DOCENTE EN EVALUACIÓN

evaluación de estudiantes que ingresan a educación superior en Estados Unidos y otros países, diseñado por el College Board de E.U.).

El siguiente postulado, derivado de la interpretación de los textos base de la sesión, sirvió de contexto para la formulación de temas de reflexión y discusión por parte del grupo:

La institución educativa, inmersa en un mundo caracterizado por la diversidad y la necesidad de fomentar el respeto a la diferencia, debe entender la evaluación como un proceso transformador de las acciones de los estudiantes, de los docentes y en general de la dinámica institucional, a partir del cual las potencialidades de cada estudiante se reconocen y pueden recibir el impulso que requieren, en el entendido de la existencia de unos niveles de competencia esperados, cada vez más universales, inspirados en un ideal del desempeño de los individuos en un mundo globalizado, los cuales, sin embargo, no deben constituirse en constrictores de las posiblidades de desarrollo individual y menos aún en criterios de discriminación.

Tres preguntas centrales fueron planteadas a la plenaria:

• ¿Qué y cómo se debería evaluar en matemática y en lenguaje?• ¿Quiénes deberían definir qué se evalúa en estas áreas?• ¿Cómo aprovechar la experiencia internacional para cualificar nuestras evaluaciones?

La reflexión sobre estos tres cuestionamientos rápidamente derivó en uno más general: ¿por qué y para qué se evalúa? Y, éste, a su vez, en uno aún más general y que se reconoció también como más importante: ¿para qué la educación?. Las aproximaciones de los seminaristas a estos interrogantes dieron lugar a los planteamientos que se enuncian a continuación:

��

La educación es una institución social y un proceso culturalmente condicionado cuyo propósito principal puede entenderse en la necesidad común de que los miembros de un grupo humano –ciudad, país, región- se vinculen al desarrollo colectivo, idealmente, en condiciones de hacer aportes que contribuyan al mejoramiento de la calidad de vida de todos.

Siendo así, la educación debe ser sensible a las reales necesidades culturalmente construidas y a las exigencias de participación que ellas imponen. El mundo de hoy plantea requerimientos en torno al dominio de la comunicación oral y escrita, preferiblemente en más de un idioma; a la capacidad de acceder a y seleccionar fuentes de información de manera ágil y efectiva; al ejercicio de un pensamiento crítico, sistemático y autónomo; a la capacidad para identificar y solucionar problemas; al compromiso con el aprendizaje permanente y la actualización; al desarrollo de habilidades para la convivencia pacífica y para la participación argumentada en procesos de toma de decisiones, entre otros aspectos.

Si la educación, en respuesta a su rol social, diseña e implementa estrategias para cumplir con los propósitos descritos, entonces la evaluación, como proceso intrínseco del sistema educativo, debe sintonizarse con ellos y contribuir a darles alcance. Es necesario distinguir, eso sí, entre la evaluación que se ejecuta en el devenir del aula de clase, en la interacción docente-estudiantes, y aquella que se realiza esporádicamente y desde afuera de la institución educativa. Cada una se diseña y realiza de manera distinta y con distintas intenciones. La evaluación interna puede –y debe- realizarse en forma permanente, puede ser individualizada, valerse de diversos métodos, puede aportar retroalimentación inmediata y personalizada y regularmente está ligada a los propósitos institucionales y, más aún, a los propósitos personales de enseñanza de los docentes. Por su parte, la evaluación externa se diseña generalmente para responder a la necesidad monitorear procesos educativos en grandes poblaciones, es semejante para todos los evaluados, se concibe o diseña en consideración a propuestas curriculares locales o regionales y a las políticas de formación y se aplica periódicamente. No quiere decirse con esto que la evaluación externa pueda abstraerse del propósito de afectar la calidad de los procesos educativos;


de hecho debe ser uno de sus propósitos fundamentales y, justamente, dada su esporádica ejecución, debe asegurarse que cuando ella ocurre, responda a los más altos grados de validez y confiabilidad para que su realización trascienda el propósito meramente informativo. La evaluación interna y la evaluación externa son distintas pero deben ser armónicamente diseñadas y ser entendidas como complementarias. La información que proporcionan ambas debe servir para profundizar en la comprensión del estado de avance en el logro de los propósitos de formación.

Ahora bien, las investigaciones sobre los procesos de evaluación y sus efectos en los procesos educativos han permitido reconocer que la evaluación externa tiene un papel más potente que la evaluación interna cuando se trata de producir transformaciones a corto plazo en los modos de acción en el contexto escolar. Y es que cuando el sistema educativo se enfrenta a nuevos retos originados en las transformaciones culturales frente a las cuales los modelos establecidos empiezan a perder pertinencia, se requiere sacudir las concepciones y prácticas tradicionales y esta situación, sobra decirlo, no es, para nada, expedita. En contraste, diversas experiencias foráneas han mostrado que los objetos de evaluación de las evaluaciones externas se convierten con mayor prontitud en objetos de formación, siempre y cuando a) se legitime la definición de los objetos de evaluación, b) se asegure la transparencia y calidad del proceso evaluativo, c) los resultados en el proceso evaluativo se hagan comprensibles para los usuarios directos e indirectos de la evaluación, d) los resultados puedan ser utilizados para guiar el diseño de estrategias de cualificación y e) se utilice la evaluación para monitorear los cambios.

En este sentido, siendo la educación, como se ha insistido, una construcción cultural, la definición de sus propósitos y, por ende, la definición de los procesos tendientes a su evaluación, debería responder a dinámicas de construcción participativa en las que se involucren el saber disciplinar, el saber técnico, el saber político, el saber cultural y en las cuales la búsqueda de la calidad sea el principio que orienta el planteamiento de las propuestas y la argumentación sólida –y no la ideología- sea la estrategia para defenderlas o atacarlas.

�1

En consonancia e intentando recoger los planteamientos de la plenaria frente a las preguntas propuestas para reflexión, habría que decir que si se requiere definir qué y cómo debería evaluarse en un determinado campo del saber, sin duda habría que reconocer, antes que nada, el propósito mismo de la evaluación que se pretende adelantar; es decir, el ¿qué? tendría que referirse al ¿para qué?. Los objetos de evaluación, así como sus procedimientos, varían si el propósito de la evaluación es el diagnóstico o si es la selección y se abordan de manera distinta si lo que se pretende es simplemente reportar un resultado o hacer del ejercicio evaluativo un proceso pedagógico en sí mismo. Las voces de las comunidades académicas y las de los usuarios directos e indirectos de la evaluación deberían, entonces, ser escuchadas para construir colectivamente la claridad sobre el qué evaluar, en el marco de un análisis profundo de las necesidades, posibilidades y limitaciones teóricas y prácticas y, por sobre todo, de las diversas consecuencias de la evaluación. El análisis y comprensión de los efectos que la evaluación puede tener sobre los sistemas educativos, sobre las instituciones, sobre los docentes y sobre los estudiantes y sus familias, así como el compromiso con la calidad de los procesos evaluativos, son condiciones necesarias para que el diseño y la implementación de dichos procesos lleguen a ganar el reconocimiento de las comunidades (tanto de las expertas como de las que no lo son) como procesos válidos, útiles y trasparentes. En un contexto caracterizado por esas condiciones, la consolidación de una cultura de la evaluación se convierte en una meta asequible.


CAPÍTULO 5

12 de agosto de 2005

SESIÓN 10 y 11A. Diseño, construcción y documentación de ítems politómicos

desde el enfoque de competencias

B. Implicaciones de la construcción de ítems utilizandola metodología de colegiaturas

C. De-construcción de las pruebas: A partir de su fundamentación conceptual, especificaciones de prueba, construcción de ítems,

análisis y procesamiento de resultados

• SABER

• Exámenes de Estado para ingreso a la educación superior

• Exámenes de Calidad de la Educación superior ECAES

�3

SESIÓN 10: “Taller Construcción de ítems polítomos ydicótomos. De-construcción de las pruebas ICFES”

CAPÍTULO 5

Autoras: Flor Patricia Pedraza Daza Moravia Elizabeth González Pelaez

Estas memorias pretenden hacer visibles dos aspectos que fueron relevantes para la creación, conceptualización y desarrollo del taller: uno es la parte vivencial de trabajo en equipo y el otro la discusión académica sobre los tópicos abordados. A continuación presentamos nuestras impresiones sobre estos dos aspectos.

De acuerdo con las temáticas propuestas para la fase final del seminario de evaluación, se consideró pertinente realizar un taller que aunque desde el punto de vista metodológico no compartiría la misma estructura del seminario alemán, podría generar una discusión importante, que recogiera algunos de los planteamientos discutidos durante las sesiones anteriores.

Desde esta mirada, se decidió trabajar en torno a dos problemáticas de la evaluación que tienen que ver con la esencia misma del proceso evaluativo: la construcción de preguntas y la de-construcción de las pruebas que se han desarrollado hasta el momento en el ICFES.


Con este propósito, se conformó un equipo de trabajo que daría cuenta de estas dos problemáticas y que las abordaría para el seminario en metodología de taller que, de acuerdo con las pretensiones de los organizadores del seminario, motivara y diera sentido a la participación de las personas que asistieron al seminario.

Este equipo se empezó a reunir para analizar la manera cómo se abordaría el taller e indagar sobre las problemáticas expuestas.

En este proceso, se generó una enriquecedora interlocución desde diferentes perspectivas y miradas sobre los aspectos tratados, dado que el equipo estaba conformado por profesionales de diferentes áreas

�5

y subdirecciones. Esto nos permitió de alguna manera ir “probando” con un público diverso, las posibles significaciones o comprensiones sobre los tópicos tratados, que surgieran de las actividades propuestas.

Evidentemente, las problemáticas alrededor de la construcción de los ítems y en general a la manera como se ha desarrollado el proceso de evaluación educativa en el ICFES, fue un tema recurrente en el seminario. En las discusiones se dejaron ver imaginarios que circulan como memoria colectiva de la institución, pero también se dejaron ver tensiones y problemas insolubles. Buscar respuestas a preguntas cruciales como ¿quién hace la evaluación?; ¿quién toma las decisiones?; ¿cómo se articulan los diferentes momentos del proceso evaluativo?; ¿cómo es la relación del ICFES con los usuarios externos, a través de la evaluación y sus resultados?, etc.


Esto nos llevó a proponer algunas estrategias que, en el marco de los tópicos de construcción de ítems y de-construcción de las pruebas, permitiera reconocer elementos que se vincularan con las preguntas anteriores. Es así como se generaron tres actividades concretas enmarcadas en la siguiente agenda: Una vez delimitados los aspectos temáticos que se tratarían durante el taller, el grupo inició un proceso de de-construcción para cada uno de los tres procesos que se tomaron como tópicos centrales de las tres actividades, atendiendo a las condiciones de los participantes en el seminario, en cuanto a su conocimiento y cercanía con los procesos de diseño y desarrollo de instrumentos de evaluación educativa. Parte del propósito de estos talleres finales del seminario interno de evaluación, fue precisamente dar un marco de referencia más cercano para los funcionarios, acerca de los procesos que se desarrollan en la subdirección académica, en cuanto a la conformación de colegiaturas y a los procesos de construcción de pruebas.

��

ACTIVIDAD 1En relación con la construcción de preguntas dicótomas, bajo el esquema de colegiaturas, el grupo ideó y desarrolló una estrategia para la primera actividad que consistió en que los asistentes al seminario tomaran el papel de colegiados, desde las disciplinas propias de su formación y, tomando como referente las pruebas ECAES en cada programa. Así, cada uno de los participantes en el seminario se enfrentó a la construcción de una pregunta, bajo los lineamientos propuestos en el anexo 1 (Construcción de preguntas dicótomas), incluidos en una invitación hecha por el grupo encargado del taller.


Esta invitación se realizó semanas antes al seminario, por lo cual cada participante tuvo la oportunidad de indagar y proponer alguna pregunta que tuviera relación con su área de formación. Una vez en el seminario, la estrategia consistió en conformar grupos por áreas afines de formación, quedando organizados así:

Para llevar a cabo este proceso, se tomó como base un formato en el que se ejemplifican las partes que componen un ítem, así como su función y características más sobresalientes. Esto daría la posibilidad, a los participantes en el seminario, de tener algunos criterios comunes de análisis de las preguntas que cada uno de ellos traía construida. Este formato se sintetizó en el siguiente esquema:

��


Este trabajo permitió generar una interesante discusión alrededor de algunos tópicos relevantes de la construcción de preguntas dicótomas bajo el esquema de colegiaturas, en la cual cada participante hizo un abordaje individual del proceso de construcción y luego se generó una discusión grupal, procederes ambos ligados con el trabajo de colegiaturas y enmarcado en la construcción de instrumentos de evaluación.

En primer lugar, se logró que los grupos rápidamente llegaran a una discusión centrada en los saberes de cada especialidad, puesto que cada uno de ellos tenía el conocimiento disciplinar dado por su formación, e incluso por su experiencia en este campo. Se hicieron visibles los diferentes puntos de vista que se generan cuando se toma como referente un enunciado y unas opciones planteadas por los mismos “colegas” y se notaba que cada uno tenía argumentos académicos para analizar la pertinencia, adecuación y validez de cada pregunta que se analizó en grupo.

Esta vivencia permitió al grupo reconocer fácilmente el papel de una colegiatura cuando se enfrenta a la revisión de preguntas que, guardadas las proporciones (es decir, a aspectos de tiempo, comprensión y análisis del marco de fundamentación conceptual y acuerdos sobre los tópicos que deben ser analizados y cómo deben serlo), fue fiel al devenir de una sesión que en el argot de la construcción de preguntas se denomina así sesión de revisión de preguntas.

En segundo lugar, cuando se hizo la plenaria para la socialización de las preguntas que fueron discutidas en cada grupo, se hizo énfasis en cómo otras personas, que no son de la disciplina o no tienen los conocimientos propios de un tópico particular, pueden aportar comentarios, observaciones y críticas fundamentadas para mejorar y cualificar la pregunta que se está construyendo, haciendo énfasis en la comprensión de los enunciados, en la pertinencia, en la complejidad lógico-lingüística en relación con los posibles usuarios, entre otros.

�1

Esta propuesta de trabajo práctico de construcción de preguntas bajo el esquema de colegiaturas, con un grupo de personas que en su mayoría no han participado directamente de un proceso como éste, fue exitosa en la medida en que todos tuvieron un rol protagónico y pudieron vivenciar una sesión de discusión y que, dicho sea de paso, todos asumieron de manera comprometida.

ACTIVIDAD 2Un tema que no ha tenido mayor desarrollo en las propuestas de evaluación del Instituto, ha sido la inclusión de ítems polítomos en las pruebas que se construyen, en parte por la complejidad que


conlleva su construcción y por la poca experiencia que se tiene en cuanto a su procesamiento con los modelos estadísticos actualmente usados. No obstante, existen experiencias que permiten evidenciar un acercamiento a este tema, como por ejemplo las generadas en las pruebas internacionales en las que ha tenido participación Colombia a través del ICFES como TIMSS, PISA y en algunas propuestas nacionales, relacionadas con las preguntas abiertas.

Dado que se evidenció a partir de la primera actividad la complejidad que conlleva la construcción de ítems dicótomos, el grupo consideró que era necesario llevar con mesura una aproximación a preguntas polítomas, a través de algunos ejemplos que pudieran ser ilustrativos en cuanto a la validez de diferentes opciones de respuesta para un enunciado.

Por ello se generó una mirada a los ejemplos de que disponemos sobre preguntas abiertas y específicamente a la valoración que se da a las respuestas dadas por los estudiantes.

�3

Con ello, se propuso a los participantes iniciar la construcción de preguntas que tuvieran alguna característica de politomía, en cuanto a grados de validez de sus opciones de respuesta, bajo el formato de pregunta de selección. (ver Anexo 2)


Formalmente, la actividad 2 inició con una propuesta sobre la conformación de grupos, esta vez diferente a la inicial, en donde cada grupo estuviera conformado por personas que tuvieran diferente especialidad de formación, con ello se pretendía dar una mirada distinta a la actividad que consistiría fundamentalmente en la construcción colectiva de una pregunta con características polítomas, en algún sentido. En este punto se dio prevalencia a la discusión sobre las competencias que estarían desplegadas en las acciones o formas de proceder básicas que se requerirían para responder a la situación planteada, por ello lo que primó allí no fue lo disciplinar sino la interdisciplinariedad expresada en los diversos puntos de reflexión a propósito de dos textos propuestos por el grupo que orientó el taller. Dichos textos fueron conformados por dos proyecciones de vdeo de aproximadamente ocho (8) minutos de duración, en cada una de las cuales se representaba una problemática distinta que en este caso se centraba en tópicos sociales.

�5

Esta manera de abordar la construcción de ítems resultó claramente distinta a la anterior, a pesar que se mantenía la conformación de grupos, estos tenían una característica diferente, estaban conformados por personas con diferentes saberes y el tema de discusión tenía otros rasgos que iban más allá de lo disciplinar. En este sentido fue notorio cómo en cada grupo, en general, tardaron más que en la actividad 1 en encontrar un sentido propio y común para la discusión, pues las temáticas abordadas en los textos propuestos podían ser leídas desde multiplicidad de sentidos, tantos como participantes había. Fue bastante interesante el proceso que se vivió en cada grupo y como a través de la discusión argumentada se llegó a un consenso o a un acuerdo sobre la manera de leer los textos propuestos.

La plenaria fue enriquecedora en la medida en que se logró socializar cada proceso de grupo y observar características que en la actividad anterior no habían sido visibles en las discusiones dadas, como la necesidad de explicitar y llegar a lugares comunes a través de la discusión argumentada, de llegar a acuerdos tomando la posición que se ve como la más pertinente o incluso la más práctica.

ACTIVIDAD 3Para abordar el proceso de de-construcción de las pruebas SABER, Examen de Estado y ECAES, el grupo optó por desarrollar una actividad que generara expectativa sobre lo que los participantes conocen de las pruebas mencionadas. En este sentido, se ideó un juego en el cual se formularon algunas preguntas relacionadas con información muy puntual de los programas mencionados y se obtuvieron las respuestas esperadas.


En general hay una información conocida por todos, pero la visión cohesionada y articulada de cómo se incorpora cada una de estas informaciones en el proceso de construcción de pruebas no es muy clara o por lo menos no se visualiza inmediatamente.

Por esta razón, el grupo decidió luego hacer una breve presentación de cómo se ven las distintas fases del proceso de construcción de preguntas de manera articulada y cohesionada y cómo diferentes decisiones en momentos distintos generan información que luego aparece como producto aislado pero que permanentemente retroalimenta las demás fases del proceso.

��

La puesta en común de estos elementos, aunque ya habían sido tratados en otros momentos durante el seminario, tuvieron un matiz distinto, pues en las actividades previas se había vivenciado la complejidad del proceso de construcción de preguntas, que se constituye en uno de los resultados más importantes del proceso de evaluación, pues en él subyacen aspectos de legitimidad, validez y confiabilidad que debe tener todo instrumento de evaluación educativa, como es el caso que nos ocupa.

Para finalizar el taller, se dio una breve mirada hacia las implicaciones del trabajo por colegiaturas que se desarrolla en cada uno de los programas SABER, Examen de Estado y ECAES. Esta mirada se construyó colectivamente, en el sentido que lo que se presentó fue producto de algunas entrevistas a las personas encargadas de estas pruebas en el Instituto, logrando hacer una aproximación lo más ajustada al devenir mismo de las colegiaturas, a su conformación, organización y acciones más importantes.

��

ANEXO 1

FORMULACIÓN DE PREGUNTAS DE SELECCIÓN MÚLTIPLE: CONSTRUCCIÓN DE PREGUNTAS DICÓTOMASPreguntas o ítems de selección múltiple: son aquellas en las que se dan varias alternativas, entre las cuales debe escogerse la respuesta correcta. La mayoría de estas preguntas ofrecen cuatro o cinco opciones, que se identifican generalmente con letras A, B, C, D.

ENUNCIADOEs la parte inicial del ítem donde se expone la tarea: puede ser una pregunta, un problema, unas instrucciones, una gráfica o un dibujo, o una afirmación incompleta.

OPCIONESSon la parte del ítem en donde se presentan todas las alternativas de respuesta a la tarea formulada en el enunciado.

OPCION VÁLIDAEs la opción que satisface plenamente las exigencias del enunciado.


OPCIONES NO VÁLIDASOpciones que no satisfacen plenamente las exigencias del enunciado y no dan solución completa y correcta a la tarea propuesta en el enunciado.

CARACTERÍSTICAS DE LAS PREGUNTAS• Deben ajustarse a los objetivos de la prueba y medir aspectos relevantes de la competencia• Deben representar diferentes contenidos y ser independientes unos de otros; la información que se

da en un ítem no debe servir de pauta para la respuesta de otro.• Deben tener diferentes niveles de dificultad, los cuales deben corresponder a las exigencias del objetivo

que se está evaluando. Un ítem de dificultad promedio es aquel que responde aproximadamente el 50% de la población examinada. Es corriente en quienes se inician en la elaboración de ítems la tendencia a subestimar el nivel de dificultad de las preguntas, por tanto es conveniente pensar siempre en la población a la que va dirigida.

• El lenguaje utilizado debe ser adecuado al nivel educativo y de desarrollo de los examinados, también debe ser simple, directo y libre de ambigüedades.

• Deben corresponder a un contenido preciso y tener una respuesta inequívoca.

EJEMPLOS DE PREGUNTAS DE SELECCIÓN MÚLTIPLE O DICÓTOMAS

Pregunta de Filosofía del Examen de Estado de octubre de 2004Para el aristotelismo, el alma es la forma sustancial del cuerpo, es decir, es el principio biológico co-extensivo a todo lo que vive, y por tanto, de cierta manera no puede desprenderse del ser vivo. Por su parte, Tomás Campanella se aleja de las doctrinas aristotélicas al considerar, primero, que el alma puede

101

elevarse desde el saber que ella posee de sí misma hasta la contemplación de las ideas y por último de Dios, y segundo, al proponer

A. una relación de tránsito continuo del alma hacia la divinidad y de la divinidad hacia el almaB. una teoría que permita una relación directa con Dios a través del almaC. un mecanismo que permita que el alma se aleje del cuerpo y pueda buscar a DiosD. un criterio de clasificación de los tipos de alma y sus funciones

Pregunta de Biología del Examen de Estado de octubre de 2004Cuando los cetáceos como los delfines y ballenas salen a la superficie expulsan un chorro de aire húmedo que contiene entre otras sustancias, gases, vapor de agua y mucus; la función de esta acción es eliminar algunos productos de los procesos respiratorios tales como el

A. dióxido de carbonoB. exceso de salC. nitrógenoD. oxígeno

ACCIONESAcciones de tipo interpretativoComprenden las acciones orientadas a encontrar el sentido de un texto, de una proposición, de un problema, de una gráfica, de un mapa, de un esquema, de los argumentos en pro o en contra de


una teoría o de una propuesta, entre otras; es decir, se funda en la reconstrucción local y global de un texto.

Acciones de tipo argumentativoInvolucran todas aquellas acciones que tienen como fin dar razón de una afirmación y que se expresan en la explicitación de los por qué de una proposición, en la articulación de conceptos y teorías con el ánimo de justificar una afirmación, en la demostración matemática, en la conexión de reconstrucciones parciales de un texto que fundamenten la reconstrucción global, en la organización de premisas para sustentar una conclusión, en el establecimiento de relaciones causales, etc.

Acciones de tipo propositivoHacen referencia a las acciones de generación de hipótesis, de resolución de problemas, de construcción de mundos posibles a nivel literario, de establecimiento de regularidades y generalizaciones, de proposición de alternativas de solución a conflictos sociales, de elaboración de alternativas de explicación a un evento, a un conjunto de eventos, o a una confrontación de perspectivas presentadas en un texto, etc.

Tomado de: Propuesta General de Examen de Estado. ICFES. 1999.

103

ANEXO 2

CONSTRUCCIÓN DE PREGUNTAS POLÍTOMAS

CRITERIOS PREGUNTAS ABIERTAS O POLÍTOMAS DE MATEMÁTICAS GRADO SEPTIMO

Inventa y resuelve un problema de suma, resta, multiplicación y división, cuyo resultado sea un número mayor que 500 y menor que 700

Este tipo de ítem exige:• Adoptar una posición sobre qué es un problema• Atender dos tareas (inventar y resolver) teniendo en cuenta las condiciones dadas.• Respecto a la tarea de “inventar un problema”, tomar decisiones en forma no necesariamente

consciente sobre los aspectos de un sistema conceptual: el lenguaje, la estructura y el contexto en el cual se desarrollará. En cuanto a la de resuelva el problema debe decidir sobre el manejo de las operaciones y relaciones involucradas así como sobre los procedimientos y su argumentación. Por otro lado, teniendo en cuenta que las condiciones dadas involucran diferentes números naturales, operaciones y relaciones determinan diferentes niveles de complejidad de los ítems y permiten diferenciarlos.


Aspectos a EvaluarEl análisis de la producción del estudiante debe obviar aspectos eminentemente formales del uso del idioma como lo ortográfico, el tipo de letra, etc. Para tal efecto, se considera conveniente partir de una mirada global tanto del enunciado creado por el estudiante, como de la solución que de al problema, con el fin de esclarecer su intencionalidad.Los aspectos a evaluar son los siguientes:

• Estructura del enunciado• Estructura de la solución• Complejidad del Sistema Conceptual

Se refiere a la claridad y pertinencia con que el estudiante expresa las relaciones entre los datos involucrados en su formulación, las cuales se evidencian a partir de la interpretación del texto. Por tanto para su valoración no se tendrá en cuenta el análisis de las condiciones dadas

No hay formulado un enunciadoo las ideas expuestas corresponden a datos o hechos aislados, a partir de los cuales no se identifica intencionalidad relacionada con la situación planteada o sólo hacen operaciones.No hay ninguna relación que permita llegar a una estructura

La idea expuesta conlleva una pregunta pero la carencia de información o la relación inadecuada de los datos impiden que se pueda llegar a una respuesta, o a identificar claramente una incógnita o una pregunta. Se expone un enunciado que evidencia una intencionalidad pero es imposible de resolver con los datos involucrados en la situación planteada, ó expone una pregunta aunque no lleva a respuesta alguna.

El enunciado planteado permite identificar datos relacionados adecuadamente, aunque dichas relaciones aparecen implícitamente formuladas.Hay expuestos enunciados que involucran datos pertinentes y que manejan independientemente las estructuras

En el enunciado se involucran por lo menos dos operaciones teniendo en cuenta que el enunciado es coherente y resoluble.

El enunciado planteado es claro y resoluble.Y los datos y condiciones están adecuadamente relacionados y formulados de manera explícita, combinando las operaciones (tiene en cuenta la combinación y simultaneidad de las estructuras).

Estructura del Enunciado 1. Coherencia 0 1 2 3 4

105

Se refiere a la existencia o no de una pregunta a partir del análisis global del problema planteado y/o solucionado por el estudiante.

No hay formulada una pregunta ni en forma tácita ni en forma explícita.

Hay formulada implícitamente o explícitamente una pregunta no pertinente.

Hay una pregunta tácita, pertinente, que se puede identificar a partir del planteamiento de la solución o de la respuesta. Plantea cuatro preguntas pertinentes a operaciones aisladas

Hay formulada explícitamente una pregunta que es pertinente con sul problema.

2. Existencia 0 1 2 3 de la Pregunta

Un nivel intermedio entre C y D puede ser: En el enunciado se involucran por lo menos dos operaciones y éste es coherente y resoluble

Se refiere a la utilización de las condiciones dadas.

Cuando no se tienen en cuenta las condiciones dadas para formular el problema.

Cuando se atienden en forma parcial. El enunciado evidencia la intención de utilizar las algunas condiciones. Por ejemplo utiliza la estructura aditiva o multiplicativa sin tener en cuenta la condición del rango numérico, ó utiliza la estructura aditiva teniendo en cuenta la condición del rango

Se tienen en cuenta la estructura multiplicativa y el rango numérico o relaciona dos estructuras sin tener en cuenta el rango.

Combina correctamente la estructura aditiva y multiplicativa y la condición de la solución (rango numérico).

3. Uso de las 0 1 2 3 Condiciones dadas

Un nivel E puede ser: enriquece las condiciones del problema agregando mayor complejidad a las estructuras propuestas


EJEMPLO DE PREGUNTAS POLITÓMAS EN ELPROGRAMA INTERNACIONAL PISA

PREGUNTA DE CIENCIAS

EL CHOCOLATELee el siguiente resumen de un artículo del periódico Daily Mail del 30 de marzo de 1998 y responde a las preguntas que le siguen.

Un artículo de periódico contaba la historia de una estudiante de 22 años, llamada Jessica, que siguió una dieta basada en el chocolate. Ella pretendía mantenerse saludable, con un peso de 50 kilos, mientras consumía únicamente 90 barritas de chocolate a la semana, con la excepción de una comida normal cada cinco días. Una experta en nutrición comentó: “Estoy sorprendida de que alguien pueda vivir con una dieta como ésta. Aunque las grasas le proporcionan la energía necesaria para vivir, esta no es una dieta equilibrada. En el chocolate existen algunos minerales y nutrientes pero no obtiene las vitaminas suficientes. Más adelante, podría sufrir serios problemas de salud”.

Pregunta Número 1: EL CHOCOLATEEn un libro en el que se habla de valores nutricionales se mencionan los siguientes datos acerca del chocolate. Supón que todos estos datos son aplicables al tipo de chocolate que come, frecuentemente, Jessica. También, considera que cada barrita de chocolate que come tiene un peso de 100 gramos.

10�

Tabla 1Contenido nutritivo de 100 g de chocolate

Proteínas Grasas Hidratos de Minerales Vitaminas Energía carbono Total Calcio Hierro A B C 5 g 32 g 51 g 50 mg 4 mg - 0,20 mg - 2142 kl

Según los datos de la tabla, 100 gramos de chocolate contienen 32 gramos de grasas y proporcionan 2142 kJ de energía. La nutricionista afirmó: “Las grasas le proporcionan la energía para vivir”. Si alguien come 100 gramos de chocolate, ¿toda su energía (2142 kJ) procede de los 32 gramos de grasas? Explica tu respuesta utilizando los datos de la tabla.

En PISA, este tipo de preguntas se valoran utilizando una serie de códigos que expresan el grado de aceptación de la respuesta.

Una pregunta abierta puede tener desde tres códigos hasta un máximo de 10 apróximadamente. Cada grado describe el tipo de respuesta que el estudiante ha dado a la pregunta abierta siendo posible encontrar varias respuestas correctas con diferente grado de válidez.