STUART KINLOUGH/GETTY IMAGES
En el marco de trabajo en el cual se analizó el desempeño entre 2008 y 2010 de 484.410 alumnos en el Examen Nacional de Desempeño de Estudiantes (Enade) de Brasil, conocido popularmente como Provão en el país, se detectó una discreta mejora de conocimientos generales y un significativo incremento de conocimientos específicos entre universitarios que se aprestaban a graduarse en 19 carreras de las áreas de Ciencia, Tecnología, Ingeniería y Matemática (Stem, por sus siglas en inglés), Humanidades y Ciencias Biológicas. En todas las carreras analizadas, la condición socioeconómica y el tipo de institución frecuentada ‒pública o privada‒ no tuvieron un impacto relevante sobre el promedio de notas de los estudiantes de acuerdo con el estudio, publicado en la revista científica Higher Education el 23 de noviembre del año pasado. “La buena noticia es que, con relación al desempeño de los noveles universitarios en el Enade, la mayor parte de los que estaban por recibirse parecen haber adquirido algunos conocimientos, sobre todo de carácter más específico, directamente ligados a la carrera elegida”, dice Jacques Wainer, docente del Instituto de Computación de la Universidad de Campinas (IC-Unicamp) y autor del estudio. “Pero esto no quiere decir que todas las carreras sean buenas o que las notas de los alumnos fueron buenas.”
Wainer realizó este trabajo en colaboración con Tatiana Melguizo, de la Escuela de Educación Rossier, de la Universidad del Sur de California (USC), en Los Ángeles, experta en economía de la educación superior. Los investigadores emplearon datos públicos disponibles en la página electrónica del Enade, para confrontar el rendimiento de los alumnos avanzados que se aprestaban a recibirse con el de los iniciantes de las mismas carreras, cuyo desempeño en el examen funciona como baliza de comparación para verificar cuánto han aprendido en la facultad futuros los graduados. La comparación se realizó mediante el cálculo de un índice, denominado Cohen D, comúnmente empleado en trabajos de esta índole. El Cohen D indica la diferencia estandarizada entre la nota promedio del grupo de los futuros graduados y la del conjunto integrado por los noveles universitarios dividida por la desviación estándar asociada a esas respectivas notas.
La desviación estándar o desviación típica es una medida de dispersión estadística, e indica cuál es el grado de variación existente con relación a una media aritmética o a un valor esperado. Su concepto se asemeja a la idea de margen de error, siempre evocada cuando se informan los resultados de encuestas electorales. De ser baja, la desviación estándar señala que las notas están cerca de la media aritmética o promedio. Cuando es elevada, sugiere que los puntajes de los estudiantes se distribuyen a través de una serie de valores, algunos cercanos a la media y otros situados lejos. Cuanto mayor es la diferencia estandarizada calculada por el Cohen D en el trabajo de Wainer y Melguizo, mejor es el desempeño de los veteranos frente a los ingresantes de la carrera. Un Cohen D equivalente a 2 significa que el 98% de los estudiantes veteranos obtuvieron una nota superior al promedio de los novatos. Si dicho índice cae a 1 ó 0,5, entre el 84% y el 69% de los futuros graduados alcanzó respectivamente esa condición.
De acuerdo con este criterio, el estudio llegó a cifras bastante modestas en lo atinente a conocimientos generales adquiridos por los futuros graduados en el transcurso de sus estudios de grado. En este apartado, el mayor incremento fue de 0,3 entre los concluyentes de las carreras de farmacia, y el menor, de 0,03, prácticamente igual a cero, entre los estudiantes del último año de medicina. En la parte destinada a medir los conocimientos específicos de cada carrera, el mayor incremento se detectó entre los que se aprestaban a graduarse en medicina (Cohen D de 2) y el menor entre los universitarios de las carreras de comunicación social (0,39). Las cinco carreras que obtuvieron una mayor mejora de conocimientos específicos fueron del área biológica. Después de medicina se ubicaron las carreras de odontología (1,55), terapia ocupacional (1,34), nutrición (1,12) y enfermería (0,85). “Fue alentador encontrar mejoras relativamente grandes en las pruebas de temas específicos con relación a las de conocimientos generales”, afirma Melguizo (vea el cuadro de la página 85 con los incrementos de conocimientos específicos calculados según cada carrera).
Rafael Hupsel/FolhapressAlumnos haciendo el Enade: las carreras se evalúan cada tres añosRafael Hupsel/Folhapress
Académicamente a la deriva
Un estudio realizado por los sociólogos Richard Arum y Josipa Roksa, de la Universidad de Nueva York y de la Universidad de Virginia respectivamente, resultó en el libro Academically adrift: Limited learning on college campuses (Académicamente a la deriva: Aprendizaje limitado en los campus universitarios, en una traducción libre), publicado a finales de 2010. En la obra, ambos investigadores estadounidenses arribaron a la conclusión de que el 45% de los 2.300 estudiantes de 24 universidades que habían hecho una prueba estándar no presentó una mejora significativa en una serie de habilidades, tales como escribir, elaborar un pensamiento crítico y desarrollar razonamientos complejos luego de frecuentar una carrera superior durante dos años. “Creo que los resultados de ese trabajo son problemáticos y no sería apropiado compararlos con los de nuestro estudio”, opina Melguizo. “Arum y Roksa intentaron medir las mejoras de conocimientos generales, no los conocimientos específicos entre los alumnos.”
En el Enade, creado por el Ministerio de Educación (Mec) en 2004 como parte del Sistema Nacional de Evaluación de la Educación Superior (Sinaes, por sus siglas en portugués), se les toma la misma prueba a los alumnos ingresantes y a los futuros graduados de las carreras. Los universitarios tienen cuatro horas para responder dos temas de disertación y ocho de preguntas de opción múltiple sobre conocimientos generales, iguales para todos los estudiantes independientemente de su carrera, y tres temas de disertación y 27 preguntas de opción múltiple de formación específica (cada carrera posee una prueba individualizada). El peso del componente general sobre la nota final es del 25%, y el del específico, del 75%. Cada carrera o programa es evaluado por el Enade cada tres años. En 2008, afrontaron el Provão los alumnos del área de Stem. Al año siguiente, fue el turno de los de humanas y, en 2010, el de los del área biológica. El estudio de Wainer y Melguizo no abarca a todas las carreras evaluadas durante esos tres años. Los investigadores seleccionaron 19 carreras: ingeniería, física, química, matemática, ciencia de la computación, arquitectura, economía, derecho, contabilidad, administración, comunicación, turismo, nutrición, enfermería, medicina, terapia ocupacional, farmacia, odontología y educación física. Y trabajaron con datos de estudiantes de 10.041 carreras de universidades públicas y privadas.
Para minimizar las distorsiones inherentes a las muestras de novatos y veteranos que hicieron el Enade, en el estudio se adoptaron algunos métodos estadísticos y procedimientos correctivos. Se excluyó del análisis, por ejemplo, a los alumnos que entregaron en blanco las pruebas, en una clara demostración de boicot al examen, como una forma de protesta que suelen hacer los universitarios de algunos programas de universidades públicas. Si bien el Enade es obligatorio para los futuros graduados, son muy poco o casi nulos los perjuicios prácticos para los estudiantes que no se presenta al examen o que comparezcan al lugar de la prueba pero la entregan en blanco.
Los autores del trabajo también echaron mano de un recurso destinado a corregir hacia abajo la nota promedio de los estudiantes del último año de las carreras. “Existe una tendencia de los alumnos más flojos o con algún tipo de problema a abandonar las carreras por la mitad”, dice Wainer. “Por eso los que se reciben son los mejores alumnos de un grupo inicial que era más heterogéneo. Esta situación tiende a inflar las notas del grupo de los futuros graduados”. En tanto, entre los ingresantes existe una diversidad mayor, una mezcla de estudiantes buenos, regulares y malos, lo que tiene impacto sobre el desempeño promedio. Y hay otros factores que llevan a que los resultados del Enade se tengan en cuenta, pero con una cierta cautela, tal como admiten Wainer y Melguizo. Pruebas fáciles sobre los contenidos específicos de cada programa tienden a producir notas promedio similares entre los grupos de ingresantes y los de futuros graduados. Nivelan las notas hacia arriba y hacen que se vuelva más difícil verificar si hubo o no mejoras de conocimientos entre los universitarios al final de la carrera.
Para promover el pensamiento crítico
Robert Verhine, experto en evaluación y políticas educativas de la Universidad Federal de Bahía (Ufba), afirma que el trabajo de Wainer y Melguizo es interesante, más aún en un contexto en el cual los estudios con datos del Enade son escasos. “Pero los resultados son obvios, esperables. Es normal que la mejora de conocimientos específicos sea mayor que la de conocimientos generales”, afirma Verhine, expresidente de la Comisión Nacional de Evaluación de la Educación Superior (Conaes, por sus siglas en portugués). “En general, la gente entra a la facultad para adquirir conocimientos específicos.”
Para Renato Pedrosa, coordinador del Laboratorio de Estudios de Educación Superior (Lees) de la Unicamp, el avance registrado en el estudio también era esperable. “El problema reside en saber exactamente qué significan esas cifras de mejoras de conocimiento relativo, algo imposible de establecer, toda vez que el Ministerio de Educación nunca desarrolló la relación entre notas o conceptos y niveles de conocimiento o de habilidades desarrolladas”, comenta Pedrosa, quien ha estudiado junto al físico Marcelo Knobel, también de la Unicamp, el desempeño de las carreras de ingeniería y medicina en el Provão. “Sin ello, la evaluación se convierte en un mero ordenamiento de las carreras, sin criterios ni límites de aprovechamiento o de calidad, lo cual restringe el uso de los resultados en la evaluación de las mismas.”
Al registrar el desempeño de los universitarios de una carrera, el Enade le adjudica a la misma un concepto relativo, no absoluto. Su escala estipula un ranking de las carreras que posee cinco niveles: los mejores reciben el concepto 5, los siguientes son acreedores a un 4, y así sucesivamente hasta la asignación del menor concepto: 1. De este modo, más allá de exhibir el concepto 5, de estar en la cima de la escala, una carrera puede ser la mejor con relación a todas los demás, pero puede no ser buena. Si los alumnos de la mayoría de las carreras fueron muy mal en el examen, el porcentaje de aciertos en el Provão necesario para que una carrera se asegure el concepto 5 puede ser razonablemente bajo, del orden del 50%.
Según Knobel, los resultados del estudio de Wainer y Melguizo parecen consistentes y servirán de estímulo para la realización de nuevas investigaciones con datos del Enade y también del Examen Nacional de la Enseñanza Media (Enem). Sin embargo, el investigador formula una advertencia acerca del perfil de la educación superior en Brasil: “Las universidades brasileñas aún están demasiado preocupadas en dictar contenidos técnicos y específicos en sus carreras, pero muy poco abocadas a estimular habilidades que son fundamentales en el siglo XXI”. Para él, sería importante que las instituciones de enseñanza también se dedicasen a formar en habilidades más generales, tales como el pensamiento crítico y el trabajo en equipo. “Estos temas se valoran en las universidades estadounidenses y constituyen una tendencia mundial”, dice Knobel.
Artículo científico
MELGUIZO, T. y WAINER, J. Toward a set of measures of student learning outcomes in higher education: evidence from Brazil. Higher Education. 23 nov. 2015.
