Sistema de Evaluación en Línea
El cuestionario de opinión sobre el desempeño docente.

Miranda Díaz Germán Alejandro
gamd@servidor.unam.mx

UNAM. Facultad de Estudios Superiores Iztacala
Unidad de Programación y Evaluación.
Sección de Evaluación Académica.
División de Investigación y posgrado
Proyecto de Investigación psicoeducativa
Recursos Computarizados en Educación
Av. de los Barrios s/n. Los Reyes Iztacala, Tlalnepantla, México. C.P. 54090

5256231111 ext. 206
5256231201

Introducción

Cuando hablamos sobre procesos de evaluación en una institución educativa, la primera idea a la que solemos recurrir es la evaluación del logro escolar. Seguramente porque cada uno de nosotros, ha experimentado los procedimientos e instrumentos de planeación de las instituciones educativas. Si bien, la evaluación del logro escolar es la parte más visible en una institución de carácter educativo, tan sólo es una de las partes que resultan de la interacción de todos los elementos que integran en nuestro caso una universidad.

Para Simoneu la universidad como organización es el resultado de una mezcla de burocracia administrativa, relaciones políticas, sindicales, individualismo profesoral. Sus objetivos son variables y difíciles de identificar, muchos de ellos dependen de los niveles de la institución o son proyectos individuales lo que dificulta la integración de programas y actividades. Sus actores, los profesores, los administradores, los trabajadores de base y el estudiante se forman cada uno, una concepción diferente de la institución. Lo mismo sucede con cada una de las disciplinas que se imparten dentro de ella, cada una tiene una visión distinta de lo que deberían ser los fines institucionales.

La tarea de la evaluación institucional parece en cierto grado compleja, en particular, cuando nos detenemos a observar y calificar los procesos de enseñanza e investigación. Hay quienes desde esta perspectiva intentan descalificar el proceso, considerándolo un mecanismo de control y represión, sin embargo si clarificamos sus objetivos y pertenencia, se pueden llegar a obtener resultados muy positivos (Tirado, 1997).

Así como los objetivos de las instituciones suelen ser variables, los objetivos de la evaluación también lo serán. En éstos se clarifica aquello que se considera importante para la vida de la institución, así que siempre será conveniente hacer uso del mayor numero de métodos de evaluación. Con la combinación de estos distintos métodos se puede crear un sistema de evaluación capaz de recabar indicadores que retroalimenten el proceso y permitan crear programas que trabajen en la mejora de ciertos elementos del sistema (Tirado, 1997).

Los procesos de evaluación universitaria comienzan como una herramienta de gestión escolar, clarificando los tiempos administrativos y administrando los recursos existentes. Sin embargo, poco a poco la atención comienza a depositarse en el desarrollo académico, en la calidad de las clases, de los programas, los cursos y la formación de los estudiantes. Pero este proceso de evaluación tendrá que ser consensuado y ser resultado de una negociación política, de lo contrario la resistencia que posiblemente se generaría, impedirá el buen termino del proceso (Simoneu).

Los procesos de evaluación en la FES Iztacala

Durante los últimos seis años la Facultad de Estudios Superiores Iztacala, ha estado en un sistemático proceso de evaluación institucional. "Evaluar de manera integral a la Institución permite tener una visión de conjunto que facilita el análisis y la toma de decisiones. De la misma manera, es importante que las evaluaciones de aspectos parciales se lleven a cabo bajo métodos válidos y confiables, y que sus resultados sirvan para la reflexión. Esto es una cultura de evaluación (FES Iztacala, PDAI 2000-2005).

Algunas de las acciones que ya están operando en la facultad y se encuentran enumeradas en el plan de desarrollo académico institucional son:

Las Academias de Evaluación, creada con el objetivo de recuperar la experiencia de personas clave en la vida institucional, para la sistematización de los distintos aspectos a evaluar.

La Formación de grupos colegiados de evaluación para que reflexionen sobre la importancia, uso y métodos de la evaluación educativa.

Asesorías en evaluación a grupos académico-administrativos de la dependencia para establecer una cultura de evaluación.

Uso de las ventajas tecnológicas para la automatización de las tareas repetitivas y que forman parte de la evaluación. Así como ofertar estos servicios a todas las áreas del Campus.

Cuestionario de opinión sobre el desempeño docente

Como parte de las acciones que la FES Iztacala ha tomado con rumbo a una cultura de la evaluación se encuentra el cuestionario de opinión sobre el desempeño docente. Aplicado a partir de octubre de 1997 en cuatro ocasiones. Con dos objetivos principales:
 

    Retroalimentar al profesor con el objetivo de mejorar la calidad de las cátedras impartidas en el plantel, a través de espacios de investigación aplicada, dedicados al escrutinio de sus fortalezas y debilidades (Miranda y Sánchez, 1999)
    Obtener indicadores que nos permitan generar programas para apoyar la docencia en nuestro plantel.
El cuestionario de opinión cuenta actualmente con 5 preguntas de identificación, 4 preguntas que sondean el agrado hacia la asignatura, 13 preguntas de carácter general, 4 preguntas para profesores que impartían una clase teórica y 4 para una clase práctica.

La modificación del instrumento principalmente se encuentra a cargo del H. Consejo Técnico, quien, considerando, las propuestas de la comunidad estudiantil, la de profesores y las recomendaciones de la Unidad de Programación y Evaluación, estructura y aprueba la versión final que se ha de aplicar cada año.

Método

Más o menos pasados los ¾ del semestre, la Sección de Evaluación Académica, cita a las jefaturas de carreras para que evalúen los tiempos mas pertinentes para aplicar el cuestionario de opinión (en la mayoría de las carreras se aplica un par de semanas antes de los exámenes finales), estas a su vez citan a los representantes de grupo, para darles una charla de carácter informativo y motivarlos a aplicar la encuesta.

Esta charla les explica:

Una vez terminada la charla, ellos como representantes de grupo, transmiten esta información a su grupo, deciden si aplicarán o no la encuesta. Y en caso positivo, apartan una de las salas de cómputo disponibles, en un horario y fecha que les convenga. Asisten el día y la hora indicados con los nombres completos de sus profesores, donde encontrarán un facilitador, que les proporcionaría las claves numéricas de sus profesores, las claves numéricas de sus asignaturas y les ayudara a resolver las dudas que tengan del cuestionario, así como auxiliara en los problemas de interacción con la máquina.

Para la aplicación de las encuestas contamos con cuatro laboratorios a nuestra disposición con 50 máquinas útiles.

El instrumento.

Lápiz y papel.

Una hoja de lectura óptica tamaño carta, impresa por ambos lados, que debe ser llenada con lápiz del 2 o 21/2. Cuando se aplican estas, se solicita al representante de grupo el número de profesores a evaluar y el número de alumnos que participarán en el ejercicio, para poderles proporcionar el total de hojas que necesitan (una por cada profesor). Y posteriormente una lectora óptica procesa los datos para generar un archivo de texto que después tiene que ser exportado a nuestra base de datos. Aunque para esta aplicación (2001) no se utilizaron hojas de lectura óptica.

En computadora.

"La versión computarizada del cuestionario de opinión se desarrolla como una alternativa a la versión lápiz y papel, aprovechando las ventajas que este medio ofrece, como el aumento de atención, la retroalimentación inmediata, medición de tiempo entre respuestas, análisis inmediatos de las respuestas" y la validación de los datos que introduce el usuario (Miranda y Sánchez, 1999).

El "cuestionario de opinión computarizado" se inserta en un proyecto a largo plazo que tiene como objetivo evaluar la interacción y pertinencia de pruebas computarizadas, que nos permitirá implementar un sistema de evaluación en cómputo que concentre la generación, aplicación y análisis de encuestas de opinión, exámenes de ingreso, mitad de carrera, departamentales y profesionales.

Los niveles de interacción que actualmente nos interesa evaluar son tres (Miranda y Sánchez, 1999):

En lo que respecta a evaluar la pertinencia y posibilidades de implementación de evaluaciones en cómputo nos interesa, continuar con las aplicaciones del cuestionario de opinión sobre desempeño docente, iniciar el próximo semestre con los piloteos de aplicación de exámenes departamentales de algunas carreras voluntarias como medicina u optometría y a largo plazo realizar algunas pruebas con exámenes de mitad de carrera para terminar con los exámenes de acreditación profesional.

Cuestionario de opinión computarizado [Segunda etapa] 1

Para nuestra segunda versión, el instrumento computarizado es una encuesta en web. Para dar el servicio de páginas web usamos Apache, MySQL como motor de base de datos y PHP para programar y ejecutar la encuesta.

A diferencia de la primera versión de la primera etapa, esta corre en la intranet de la FES Iztacala, lo cual nos evita tiempo en la instalación y recolección de datos, exige mayor grado de interacción y guarda cada una de las encuestas en una base de datos única.

A pesar del cambio de plataforma, en el actual diseño de la encuesta se mantuvo la mayoría de las características efectivas de la etapa anterior, por ejemplo: la validación de los campos clave de profesor, clave de la asignatura y carrera. Así como en todo momento tenían a la vista los datos de la carrera, grupo, asignatura y profesor al que se evalúa (Miranda y Sánchez,. 1999).

La presentación del cuestionario fue dividida en cuatro bloques, que responden a los tipos de preguntas que integran el instrumento, al terminar cada sección se encontraba un botón que les permitía continuar. Al finalizar sus bloques de encuestas se cargaba una encuesta sobre el uso de esta versión en cómputo con 5 preguntas de opción múltiple y dos abiertas, con el objetivo de conocer la opinión de nuestros usuarios frente a un proceso de evaluación en web. Esta encuesta se contesta voluntariamente, así que no tenemos la opinión del total de usuarios de la encuesta. Estas opiniones sirven para recabar comentarios que consideramos pertinentes para el objetivo de esta evaluación.

Cada facilitador (aquel que proporciona ayuda alrededor de la encuesta o de interacción con las maquinas), lleva una bitácora, de los eventos que consideran más importantes. Si cruzamos las opiniones de los alumnos respecto al uso de la encuesta electrónica, con las impresiones del facilitador, podremos jerarquizar las modificaciones al proceso de interacción en las encuestas electrónicas

El piloteo de esta segunda etapa se efectúo con un total de 3180 encuestas, aproximadamente 795 alumnos y actualmente nos encontramos en la etapa de análisis de las opiniones de los estudiantes respecto al uso de la encuesta electrónica y de las impresiones del facilitador que dará pie a la reestructuración de la interfaz del instrumento en cómputo, para aplicar esta versión a una población más amplia en el próximo semestre.

Resultados y conclusiones.

Durante tres años hemos podido comprobar las ventajas que ofrecen los sistemas digitales en los procesos de evaluación educativa. Como la codificación inmediata en una base de datos, que acelera el análisis de los resultados, esto comparando con nuestros equivalentes en papel, donde las hojas tienen que ser distribuidas con antelación, proporcionando otro tipo de consumibles como lo son los lápices. Al final del proceso de recolección siempre hay un porcentaje de hojas perdidas que no se recuperaran. Sin embargo una parte de la población estudiantil realiza sus actividades académicas fuera del plantel como lo son clínicas y hospitales, mientras en estos no exista el número suficiente de máquinas con acceso a la red; las encuestas en papel seguirán siendo la alternativa a usar.

Los tiempos promedio de tiempo invertido en una encuesta electrónica, según nuestra penúltima aplicación (2000) fue de 5 minutos, contra los 10 minutos de la encuesta en lápiz-papel

Tal y como lo mencionamos en Miranda y Sánchez (1999), es importante manejar instrucciones claras y lo mas cortas posibles, manejar los contrastes tanto en el uso de las letras, cuadros de opción o cuadros de texto, así como en los fondos para hacer notar el cambio de pregunta y páginas.

Nuestra versión actual del cuestionario, exige un nivel mas alto de interacción con la máquina, hemos observado que a un segmento particular de nuestra población estudiantil (los alumnos de nivel técnico) les es difícil interactuar con la máquina. Así que lo recomendable es tener un tutor con buenas estrategias de modelamiento para auxiliar a los estudiantes y aprovechar la oportunidad como un espacio de alfabetización en cómputo. Esto nos regresa a considerar que los sistemas de baja interacción (sólo uso del teclado) son mucho mejores cuando no tenemos garantía de los niveles de alfabetización en cómputo de la población objetivo (Miranda y Sánchez, 1999). Así como incluir pequeños tutoriales (Bustos, Galicia y Miranda, 1996) o explicaciones breves para los usuarios que reportan no tener las habilidades suficientes para el uso de la encuesta.

Durante los tres años de aplicación de las encuestas electrónicas hemos afinado procedimientos de aplicación, desarrollando y probando en distintas plataformas para hacer más ágiles y eficientes los espacios de evaluación institucional. Sin embargo ningún sistema de evaluación computarizada sería eficiente si no con espacios de evaluación que reflexione entorno al concepto de validez del instrumento, es decir, la pertenencia, significación y utilidad de las inferencias que se hagan a partir de los puntajes de una prueba (Sánchez, 1997). Y al concepto de confiabilidad, este nos señala en que grado se puede confiar en la medida del instrumento, es decir la repetitividad de la medida (Tirado, 1997).

Así que a la par del desarrollo de un sistema robusto de evaluación en cómputo es necesario atender a las distintas metodologías de las que podemos disponer para hacer validos y confiables los instrumentos que usaremos. Para que a su vez estos proporcionen datos útiles, para diseñar e implementar programas que incidan en la mejora institucional.

Referencias

Bustos S.A.; Galicia M.X Y Miranda, D.G.A. La Ejecución de Estudiantes de Educación Básica en dos pruebas Psicométricas: Comparación Entre las versiones Lápiz-Papel y Computarizada. XVI Coloquio De Investigación. Noviembre 1996. UNAM Campus Iztacala.

Facultad de Estudios Superiores Iztacala. Plan de desarrollo académico institucional 2000 - 2005.http://www.iztacala.unam.mx/PDAI2001/39.html.

Miranda D. G. A. y Sánchez M. A. E. Encuesta de opinión de los alumnos hacia los profesores, la Versión Computarizada. Congreso General de Cómputo cómputo@99, octubre de 1999.

Simoneau, Richard. LA EVALUACIÓN INSTITUCIONAL: CONCEPTOS TEÓRICOS. http://www.ulagos.cl/rev_debate/la_evaluacion_institucional.htm

Sanchéz M. A. E. La validez de la evaluación del aprendizaje en el ámbito educativo. . Fundación SNTE, para la cultura del maestro mexicano. Año IV, número 15, p. 35-43. Enero febrero de 1997.

Tirado Segura Felipe. Hacia una cultura de la evaluación. Básica. Revista de la escuela y del maestro. Fundación SNTE, para la cultura del maestro mexicano. Año IV, número 15, p. 21-29. Enero febrero de 1997.

 

1 La primera etapa del cuestionario se describe en el trabajo: Encuesta de opinión de los alumnos hacia los profesores, la versión computarizada, presentado en el track de educación del congreso @Cómputo99