Stuart Kinlough / getty imagesUm trabalho que analisou o desempenho entre 2008 e 2010 de 484.410 alunos no Exame Nacional de Desempenho dos Estudantes (Enade), o popular Provão, encontrou um discreto ganho de conhecimentos gerais e um significativo aumento de conhecimento específico entre universitários que estavam se formando em 19 cursos das áreas de Ciência, Tecnologia, Engenharia e Matemática (Stem, na sigla em inglês), Humanidades e Ciências Biológicas. Em todas as carreiras analisadas, a condição socioeconômica e o tipo de instituição frequentada, se pública ou privada, não tiveram impacto relevante na nota média dos estudantes, de acordo com o estudo, publicado no periódico científico Higher Education em 23 de novembro do ano passado. “A boa notícia é que, em relação ao desempenho dos calouros no Enade, a maior parte dos formandos parece ter adquirido algum conhecimento, sobretudo o de caráter mais específico, diretamente ligado à carreira escolhida”, diz Jacques Wainer, professor do Instituto de Computação da Universidade Estadual de Campinas (IC-Unicamp), autor do estudo. “Mas isso não quer dizer que todos os cursos sejam bons ou que as notas dos alunos foram boas.”
Wainer fez o trabalho em parceria com Tatiana Melguizo, da Escola de Educação Rossier da Universidade da Califórnia do Sul (USC), em Los Angeles, especialista em economia da educação superior. Eles usaram dados públicos, disponibilizados na página eletrônica do Enade, para confrontar a performance dos veteranos que estavam prestes a se formar com a dos calouros do mesmo curso, cujo desempenho no exame funciona como baliza de comparação para se aferir quanto os formandos aprenderam na faculdade. A comparação foi feita por meio do cálculo de um índice, denominado Cohen D, comumente empregado em trabalhos desse tipo. O Cohen D indica a diferença padronizada entre a nota média do grupo dos formandos e a do conjunto dos calouros dividida pelo desvio-padrão associado a essas respectivas notas.
O desvio-padrão é uma medida de dispersão estatística e indica qual é o grau de variação existente em relação a uma média ou a um valor esperado. Seu conceito se assemelha à ideia de margem de erro, sempre evocada ao se noticiarem os resultados de pesquisas eleitorais. Se baixo, o desvio-padrão sinaliza que as notas estão próximo da média. Quando elevado, sugere que os escores dos estudantes se distribuem por uma série de valores, alguns perto da média e outros distantes. Quanto maior a diferença padronizada calculada pelo Cohen D no trabalho de Wainer e Melguizo, melhor o desempenho dos veteranos frente aos ingressantes no curso. Um Cohen D equivalente a 2 significa que 98% dos veteranos tiveram uma nota superior à média dos calouros. Se o índice cair para 1 ou 0,5, cerca de 84% ou 69% dos formandos atingiram, respectivamente, essa condição.
Por esse critério, o estudo chegou a números bastante modestos no que diz respeito aos conhecimentos gerais adquiridos pelos formandos ao longo dos cursos. Nesse quesito, o maior ganho foi de 0,3 entre os concluintes dos cursos de farmácia e o menor, de 0,03, praticamente zero, entre os estudantes do último ano de medicina. Na parte destinada a medir o conhecimento específico de cada carreira, o maior ganho ocorreu entre os formandos de medicina (Cohen D de 2) e o menor entre os universitários dos cursos de comunicação social (0,39). Os cinco cursos que obtiveram maior ganho de conhecimento específico foram da área biológica. Depois de medicina, vieram os programas de odontologia (1,55), terapia ocupacional (1,34), nutrição (1,12) e enfermagem (0,85). “Foi animador encontrar ganhos relativamente grandes nas provas de temas específicos em relação às de conhecimentos gerais”, afirma Melguizo (ver quadro na página 85 com os ganhos de conhecimento específico calculados para cada curso).
Rafael Hupsel / FolhapressAlunos fazem o Enade: cursos são avaliados a cada três anosRafael Hupsel / Folhapress
Academicamente à deriva
Um estudo feito pelos sociólogos Richard Arum e Josipa Roksa, respectivamente, da Universidade de Nova York e da Universidade da Virgínia, redundou no livro Academically adrift: Limited learning on college campuses (Academicamente à deriva: Aprendizado limitado nos campi universitários, numa tradução livre), lançado no final de 2010. Na obra, a dupla de pesquisadores norte-americanos concluiu que 45% dos 2.300 estudantes de 24 universidades que tinham feito um teste padronizado não apresentaram melhora significativa em uma série de habilidades, como escrever, ter pensamento crítico e desenvolver raciocínios complexos, após terem frequentado um curso superior por dois anos. “Acho que os resultados desse trabalho são problemáticos e não é apropriado compará-lo com o nosso estudo”, opina Melguizo. “Arum e Roksa tentaram medir os ganhos de conhecimentos gerais, não os específicos, entre os alunos.”
Criado pelo Ministério da Educação (Mec) em 2004 como parte do Sistema Nacional de Avaliação da Educação Superior (Sinaes), o Enade aplica o mesmo exame para os alunos ingressantes e os formandos dos cursos. Os universitários têm quatro horas para responder duas questões dissertativas e oito de múltipla escolha sobre conhecimentos gerais, iguais para todos os estudantes independentemente da carreira, e três questões dissertativas e 27 de múltipla escolha de formação específica (cada curso tem um teste individualizado). O peso do componente geral sobre a nota final é de 25% e o do específico, 75%. Cada curso ou programa é avaliado pelo Enade a cada três anos. Em 2008, fizeram o Provão os alunos da área de Stem. No ano seguinte, foi a vez dos de humanas e, em 2010, os da área biológica. O estudo de Wainer e Melguizo não abrange todos os cursos avaliados nesses três anos. Eles selecionaram 19 carreiras: engenharia, física, química, matemática, ciência da computação, arquitetura, economia, direito, contabilidade, administração, comunicação, turismo, nutrição, enfermagem, medicina, terapia ocupacional, farmácia, odontologia e educação física. A dupla trabalhou com dados de estudantes de 10.041 cursos de universidades públicas e privadas.
Para minimizar distorções inerentes às amostras de calouros e veteranos que fizeram o Enade, o estudo adotou alguns métodos estatísticos e procedimentos corretivos. Foram excluídos da análise, por exemplo, os alunos que entregaram em branco as provas, em uma clara demonstração de boicote ao exame, uma forma de protesto que costuma ocorrer entre os universitários de alguns programas de universidades públicas. Embora o Enade seja compulsório para os formandos, há pouco ou quase nenhum prejuízo prático para os estudantes que não fazem o exame ou comparecem ao local da prova, mas a entregam em branco.
Os autores do trabalho também lançaram mão de um expediente para corrigir para baixo a nota média dos estudantes do último ano dos cursos. “Há uma tendência de os alunos mais fracos ou com algum tipo de problema abandonarem os cursos pela metade”, diz Wainer. “Assim, os que se formam são os melhores alunos de um grupo inicial que era mais heterogêneo. Essa situação tende a inflar as notas do grupo dos formandos.” Já entre os calouros há uma diversidade maior, uma mistura de estudantes bons, medianos e ruins, o que tem impacto em seu desempenho médio. Outros fatores fazem com que os resultados do Enade sejam levados em conta com certa cautela, como admitem Wainer e Melguizo. Provas fáceis sobre o conteúdo específico de cada programa tendem a produzir médias semelhantes entre os grupos de calouros e de formandos. Nivelam as notas pelo alto e tornam mais difícil aferir se houve ganho ou não de conhecimento entre os universitários no fim do curso.
Promover pensamento crítico
Especialista em avaliação educacional e políticas educacionais, Robert Verhine, da Universidade Federal da Bahia (Ufba), afirma que o trabalho de Wainer e Melguizo é interessante, ainda mais no contexto em que os estudos com dados do Enade são escassos. “Mas os resultados são óbvios, esperados. É normal que o ganho de conhecimento específico seja maior do que o de conhecimento geral”, afirma Verhine, ex-presidente da Comissão Nacional de Avaliação da Educação Superior (Conaes). “Em geral, as pessoas fazem uma faculdade para ganhar conhecimentos específicos.”
Para Renato Pedrosa, coordenador do Laboratório de Estudos de Educação Superior (Lees) da Unicamp, o avanço registrado no estudo também era esperado. “O problema é saber exatamente o que significam esses números de ganho de conhecimento relativo, algo impossível de estabelecer, uma vez que o Mec nunca desenvolveu a relação entre notas ou conceitos e níveis de conhecimento ou de habilidades desenvolvidas”, comenta Pedrosa, que tem estudado ao lado do físico Marcelo Knobel, também da Unicamp, o desempenho dos cursos de engenharia e medicina no Provão. “Sem isso, a avaliação resulta apenas numa ordenação dos cursos, sem critérios e cortes de proficiência ou de qualidade, o que limita o uso dos resultados para avaliação dos cursos.”
Ao registrar o desempenho dos universitários de um curso, o Enade atribui um conceito relativo, não absoluto, a esse programa. Sua escala estabelece um ranking dos cursos com cinco níveis: os melhores recebem o conceito 5; os segundos melhores, ganham 4; e assim por diante até a atribuição do menor conceito, 1. Assim, a despeito de exibir conceito 5, de estar no topo da escala, um curso pode ser o melhor em relação a todos os demais, mas pode não ser bom. Se os alunos da maioria dos programas foram muito mal no exame, a porcentagem de acertos no Provão necessária para garantir o conceito 5 para um curso pode ser razoavelmente baixa, da ordem de 50%.
Segundo Knobel, os resultados do estudo de Wainer e Melguizo parecem consistentes e devem servir de estímulo para que novas pesquisas sejam feitas com dados do Enade e também do Exame Nacional do Ensino Médio (Enem). Ele, no entanto, faz um alerta sobre o perfil do ensino superior no Brasil. “As universidades brasileiras ainda estão muito preocupadas em fornecer conteúdo técnico e específico em seus cursos, mas pouco em estimular habilidades que são fundamentais no século XXI.” Para ele, seria importante que as instituições de ensino também se dedicassem a promover habilidades mais gerais, como o pensamento crítico e o trabalho em equipe. “Essas questões são valorizadas nas universidades americanas e são uma tendência mundial”, diz Knobel.
Artigo científico
MELGUIZO, T. e WAINER, J. Toward a set of measures of student learning outcomes in higher education: evidence from Brazil. Higher Education. 23 nov. 2015.
