{"id":333636,"date":"2020-02-20T18:30:10","date_gmt":"2020-02-20T21:30:10","guid":{"rendered":"https:\/\/revistapesquisa.fapesp.br\/?p=333636"},"modified":"2020-03-17T18:14:43","modified_gmt":"2020-03-17T21:14:43","slug":"evaluacion-en-5-dimensiones","status":"publish","type":"post","link":"https:\/\/revistapesquisa.fapesp.br\/es\/evaluacion-en-5-dimensiones\/","title":{"rendered":"Las notas en 5 dimensiones"},"content":{"rendered":"

En Brasil, el modelo de evaluaci\u00f3n de los programas de posgrado afrontar\u00e1 su mayor reconfiguraci\u00f3n en m\u00e1s de dos d\u00e9cadas. La Coordinaci\u00f3n de Perfeccionamiento del Personal de Nivel Superior (Capes), agencia ligada al Ministerio de Educaci\u00f3n que eval\u00faa la calidad de las carreras de maestr\u00eda y doctorado en el pa\u00eds, anunci\u00f3 que los m\u00e1s de 4 mil programas en actividad dejar\u00e1n de tener una nota \u00fanica \u2013que actualmente va de 3 a 7 para los recomendados y reconocidos\u2013 y su rendimiento ser\u00e1 calificado de acuerdo con cinco par\u00e1metros: Ense\u00f1anza y Aprendizaje, Producci\u00f3n de Conocimiento, Inserci\u00f3n Internacional y Regional, Innovaci\u00f3n y Transferencia de Conocimiento e Impacto en la Sociedad. Los detalles de este sistema ser\u00e1n planteados durante los pr\u00f3ximos meses por expertos de la comunidad acad\u00e9mica y del \u00e1rea t\u00e9cnica de la Capes. Esta modificaci\u00f3n regir\u00e1 para el ciclo de evaluaci\u00f3n que comienza en 2021 y sus resultados se dar\u00e1n a conocer en 2025.<\/p>\n

El objetivo es promover una evaluaci\u00f3n m\u00e1s precisa y minuciosa de los programas, que tenga en cuenta la naturaleza de cada uno de ellos y permita efectuar un an\u00e1lisis de calidad en diversos aspectos, revelador de sus puntos fuertes y detectando aquellos vulnerables. Seg\u00fan expresa el presidente de la Capes, el ingeniero Anderson Ribeiro Correia, el modelo actual, que prioriza los indicadores de investigaci\u00f3n y ense\u00f1anza, fue importante para la expansi\u00f3n del posgrado en Brasil desde la d\u00e9cada de 1960 en adelante, pero se ha vuelto insuficiente para comprender la diversidad de las carreras. \u201cIdeamos programas de posgrado de alta calidad que tienen caracter\u00edsticas diversas. Pero seguimos evaluando su calidad concentr\u00e1ndonos solamente en el impacto de las publicaciones cient\u00edficas\u201d, dice. Ribeiro Correia sostiene que el sistema en vigencia le concede escaso valor, por ejemplo, a la influencia de la capacitaci\u00f3n en la vida de los profesionales titulados o al desarrollo de la regi\u00f3n en la cual los programas funcionan. \u201cExisten carreras que transforman la trayectoria de sus alumnos, asegur\u00e1ndoles incrementos salariales significativos y movilidad social. Tambi\u00e9n hay programas que inciden notablemente en la econom\u00eda local, incluso aunque no est\u00e9n a la vanguardia del conocimiento. Al revalorizar esas contribuciones, podemos ampliar el impacto del posgrado sobre el desarrollo del pa\u00eds\u201d.<\/p>\n

La idea de modificar radicalmente el modelo se viene gestando desde hace dos a\u00f1os. Luego de la difusi\u00f3n de los resultados del ciclo de evaluaci\u00f3n de 2013 a 2016<\/a>, el directorio de la Capes le encomend\u00f3 al Consejo Tecnocient\u00edfico de la instituci\u00f3n un estudio sobre aquellos aspectos del sistema de deber\u00edan perfeccionarse. Luego de consultas con expertos y con organizaciones vinculadas al posgrado, surgieron dos sugerencias principales: la importancia de que las universidades realicen una autoevaluaci\u00f3n de sus programas, declarando lo que se esperaba de ellos y si esa expectativa se cumpli\u00f3, y la adopci\u00f3n de m\u00e9tricas sensibles a los diferentes prop\u00f3sitos que las carreras de posgrado pueden tener m\u00e1s all\u00e1 de hacer investigaci\u00f3n de calidad, tales como colaborar para con el desarrollo regional y su interacci\u00f3n con el sector productivo.<\/p>\n

Hacia el final de 2018, la Capes envi\u00f3 una comisi\u00f3n a Alemania y a Holanda, de la cual formaron parte la presidenta honoraria de la SBPC, Helena Nader, y la directora de Evaluaci\u00f3n de la agencia, Sonia Ba\u00f3, para conocer los pormenores del U-Multirank, una herramienta de evaluaci\u00f3n de universidades que parec\u00eda atender los anhelos de cambio del modelo de posgrado brasile\u00f1o. El U-Miltirank muestra los puntos fuertes y d\u00e9biles de cada instituci\u00f3n, analizando indicadores en cinco dimensiones diferentes: ense\u00f1anza y aprendizaje, investigaci\u00f3n, transferencia de conocimiento, orientaci\u00f3n internacional y compromiso regional. El resultado se verifica en un gr\u00e1fico con cinco colores distintos<\/a>, que representan a los cinco par\u00e1metros evaluados y sus indicadores, que se muestran con tonos diferentes de acuerdo con el desempe\u00f1o de la instituci\u00f3n en cada uno de esos puntos.<\/p>\n

Esta metodolog\u00eda fue creada en 2014 por el Centro de Educaci\u00f3n Superior en G\u00fctersloh, Alemania, y por el Centro de Estudios sobre Pol\u00edticas de Educaci\u00f3n Superior de la Universidad de Twente, en Holanda, por encargo de la Comisi\u00f3n Europea, que deseaba contar con un instrumento de evaluaci\u00f3n m\u00e1s fidedigno para sus universidades que los rankings<\/em> internacionales para detectar lo mejor de cada instituci\u00f3n. Hoy en d\u00eda lo utilizan las universidades de 96 pa\u00edses, Brasil inclusive: lo est\u00e1n adoptando las tres universidades estaduales paulistas<\/a>. La tendencia apunta que el U-Multirank servir\u00e1 de inspiraci\u00f3n del nuevo modelo de evaluaci\u00f3n del posgrado brasile\u00f1o, pero que se idear\u00e1 una metodolog\u00eda distinta a la original, adecuada a las metas de la evaluaci\u00f3n que realiza la Capes. \u201cEl U-Multirank fue concebido para realizar una evaluaci\u00f3n global de las universidades y posee muchos indicadores sobre la ense\u00f1anza de la carrera de grado. Para medir la calidad del posgrado habr\u00e1 que introducir indicadores apropiados\u201d, analiza Ab\u00edlio Baeta Neves, presidente de la Capes entre 2016 y 2018, cuando comenz\u00f3 a contemplarse esa modificaci\u00f3n.<\/p>\n

<\/a>La intenci\u00f3n de modificar el modelo de evaluaci\u00f3n de la Capes tuvo buena repercusi\u00f3n en la comunidad acad\u00e9mica. Para la zootecn\u00f3loga Telma Berchielli, prorrectora de Posgrado de la Universidade Estadual Paulista (Unesp), el reconocimiento de los diversos par\u00e1metros que conforman los programas es una necesidad. \u201cLa evaluaci\u00f3n nos dejaba muy tiesos. Parec\u00eda que el \u00fanico inter\u00e9s era formar personal para trabajar en las universidades, pero hoy en d\u00eda hay muchos doctores que trabajan en empresas y realizan un aporte diferente a la sociedad\u201d, sostiene. Seg\u00fan ella, la Unesp dispone de varios programas \u2013algunos afianzados, otros a\u00fan en fase de maduraci\u00f3n\u2013 que generan conocimiento de impacto regional, dado que la instituci\u00f3n posee campus en 24 ciudades paulistas. Ella menciona los programas de biolog\u00eda animal en la unidad de S\u00e3o Jos\u00e9 do Rio Preto, que tiene menos de 10 a\u00f1os y alcanz\u00f3 la nota m\u00e1xima (7) en la \u00faltima evaluaci\u00f3n de la Capes, y el de biodiversidad en ambientes costeros en el campus de S\u00e3o Vicente, en el litoral paulista, que por ahora fue calificado con nota 4. \u201cEn ambos casos, hay un impacto en la realidad local, en la generaci\u00f3n de conocimiento y en la capacitaci\u00f3n de mano de obra especializada, que acaban no siendo debidamente reconocidos\u201d. Berchielli hace hincapi\u00e9 en la valoraci\u00f3n de la autoevaluaci\u00f3n en el nuevo modelo. \u201cEse ejercicio mostrar\u00e1 cu\u00e1l es la expertise<\/em> del programa y permitir\u00e1 vislumbrar cu\u00e1l es la vocaci\u00f3n de la universidad y d\u00f3nde est\u00e1n concentradas sus mejores investigaciones\u201d.<\/p>\n\n \n \n \n <\/picture>\n

La estad\u00edstica Nancy Lopes Garcia, prorrectora de Posgrado de la Universidad de Campinas (Unicamp), coincide en que el modelo de evaluaci\u00f3n debe ser perfeccionado, pero plantea algunas dudas. \u201cTemo que el impacto socioecon\u00f3mico de un programa pase a ser sobrevalorado. \u00bfC\u00f3mo se evaluar\u00e1 en este apartado a las carreras de ciencias b\u00e1sicas, que a veces tardan bastante para generar aplicaciones, pero que resultan fundamentales para que las mismas surjan? \u00bfC\u00f3mo medir la contribuci\u00f3n econ\u00f3mica y social de un programa de matem\u00e1tica, por ejemplo?\u201d, indaga. No obstante, ella estima que la Unicamp no se ver\u00e1 perjudicada con el cambio. \u201cSiempre nos hemos preocupado por la calidad de nuestros programas, que en su mayor\u00eda son s\u00f3lidos y competitivos a nivel internacional. Poco menos de la mitad de nuestros alumnos son de posgrado, el porcentaje m\u00e1s alto entre las universidades paulistas\u201d.<\/p>\n

Resulta prematuro anticipar el impacto del cambio antes de conocer los pormenores de sus directrices; empero, seg\u00fan Baeta Neves, no conviene menospreciar sus implicaciones. \u201cNo ser\u00e1 algo sencillo, pues va a interferir con toda una cultura de evaluaci\u00f3n bastante arraigada que es la que ayud\u00f3 a estructurar los programas. Ellos tendr\u00e1n que orientarse sin disponer de la nota \u00fanica con la que cuentan actualmente y nunca hicieron eso antes\u201d, advierte. La evaluaci\u00f3n de la Capes siempre tuvo un efecto inductor en el funcionamiento del sistema de posgrado, ya que hasta aqu\u00ed se la utiliz\u00f3 como criterio para la asignaci\u00f3n de becas y de recursos. Hasta 1996, la agencia calificaba a los programas con un sistema de letras que iba de la A hasta la E. En el sistema de evaluaci\u00f3n posterior, pasaron a ser evaluados con notas del 1 al 5 para los cursos que solamente ten\u00edan maestr\u00eda y hasta 7 para aquellos que inclu\u00edan doctorado. Para 1998, la diferencia entre las notas 6 y 7 surg\u00eda de criterios tales como inserci\u00f3n internacional y cuerpo docente con experiencia en centros del exterior. En aquel momento, la internacionalizaci\u00f3n de la investigaci\u00f3n se transform\u00f3 en un par\u00e1metro importante, ante las evidencias de que la producci\u00f3n cient\u00edfica en colaboraci\u00f3n con instituciones del exterior ten\u00eda un impacto, medido en citas, cuatro veces mayor que la que se realizaba internamente.<\/p>\n

Durante los \u00faltimos 20 a\u00f1os, la cantidad de programas casi se ha triplicado y se ha expandido la percepci\u00f3n de la sociedad acerca de los impactos que la ciencia debe proporcionar; pero el sistema de evaluaci\u00f3n no ha acompa\u00f1ado este cambio. Seg\u00fan Baeta Neves, el modelo futuro ser\u00e1 a\u00fan m\u00e1s transformador si abandona lo que \u00e9l considera como un exceso de exigencias normativas del modelo actual. \u201cDeber\u00eda haber m\u00e1s libertad para experimentar en las universidades, principalmente en aquellas m\u00e1s consolidadas. El sistema actual es muy controlador e impone exigencias que no tienen ning\u00fan v\u00ednculo con la excelencia. Se exige, por ejemplo, una cantidad m\u00ednima de docentes por programa. Pero, \u00bfpor qu\u00e9 contar con 12 profesores ser\u00eda mejor que tener 10, o que 9?\u201d<\/p>\n

El tipo de evaluaci\u00f3n que realiza Brasil de su sistema de posgrado es \u00fanico en el mundo. En Estados Unidos, las sociedades cient\u00edficas son las que realizan los procesos de acreditaci\u00f3n y evaluaci\u00f3n de los programas, aunque en forma descentralizada. La \u00faltima vez que hubo un an\u00e1lisis global de los programas de doctorado fue en 2010, cuando la Academia Nacional de Ciencias se aboc\u00f3 a estudiar los datos de 5 mil programas de 62 \u00e1reas del conocimiento en 212 universidades del a\u00f1o acad\u00e9mico 2005-2006. Al compararlos con los datos recabados a mediados de la d\u00e9cada de 1990, se constat\u00f3 un aumento de un 4% en el n\u00famero de doctorandos en ingenier\u00eda y del 9% en ciencias f\u00edsicas, al tiempo que se registr\u00f3 una ca\u00edda de un 5% en ciencias sociales y de un 12% en humanidades. Un dato curioso fue la prevalencia de las universidades p\u00fablicas en el sistema de posgrado de Estados Unidos: fueron responsables del 72% de los programas de doctorado evaluados. De las 37 universidades que formaron m\u00e1s PhDs entre 2002 y 2006, solo 12 eran privadas.<\/p>\n

La evaluaci\u00f3n brasile\u00f1a es similar, por el tama\u00f1o de la tarea, al sistema adoptado para monitorear la calidad de la investigaci\u00f3n cient\u00edfica en las universidades del Reino Unido, que se realiza cada cinco a\u00f1os y define la distribuci\u00f3n de recursos entre las instituciones para el per\u00edodo siguiente<\/a>. \u201cEl Reino Unido eval\u00faa la investigaci\u00f3n porque all\u00e1 no hay carreras de posgrado para evaluar como las que hay aqu\u00ed. Para hacer un doctorado, se busca un supervisor y se le presenta un proyecto. En caso que el mismo est\u00e9 de acuerdo, esa investigaci\u00f3n es la que redundar\u00e1 en el t\u00edtulo de doctor\u201d, explica Baeta Neves.<\/p>\n

As\u00ed como el modelo de la Capes sufrir\u00e1 modificaciones sustanciales a partir de 2021, el proceso de evaluaci\u00f3n que est\u00e1 en curso \u2013que comprende al per\u00edodo de 2017 a 2020\u2013 tambi\u00e9n introdujo alteraciones importantes, enfocadas en una revalorizaci\u00f3n de la calidad de la investigaci\u00f3n en lugar de la cantidad. Formalmente, la ficha de evaluaci\u00f3n pas\u00f3 a tener tres apartados en lugar de cinco, y se modific\u00f3 la importancia atribuida a cada cuesti\u00f3n. Por ejemplo, ahora se le otorga mayor reconocimiento a la producci\u00f3n cient\u00edfica de los exalumnos, y no solamente a la de los docentes. \u201cMientras reg\u00eda la evaluaci\u00f3n anterior, los indicadores relacionados con los alumnos eran de car\u00e1cter mayormente cuantitativo, abarcando la cantidad de matriculados y el tiempo promedio para recibirse. Ahora se va a tener en cuenta la producci\u00f3n de los egresados hasta cinco a\u00f1os despu\u00e9s de haber obtenido el grado de mag\u00edster y doctor. Solo se podr\u00e1n considerar las citas acumuladas a corto plazo, pero eso ya es un avance\u201d, dice Nancy Garcia, de la Unicamp.<\/p>\n

Tambi\u00e9n se est\u00e1n gestando cambios en el sistema Qualis, una clasificaci\u00f3n de la Capes que eval\u00faa la calidad de la producci\u00f3n cient\u00edfica de los programas. En el caso de las revistas cient\u00edficas, se las califica con notas de acuerdo con su impacto y prestigio en las \u00e1reas del conocimiento, y los programas que logran publicar art\u00edculos en los peri\u00f3dicos m\u00e1s valorados ganan puntos en la evaluaci\u00f3n. La idea es que el Qualis sea menos subjetivo. Hasta ahora, una revista pod\u00eda tener una calificaci\u00f3n alta en un determinado campo del conocimiento y baja en otro. En tanto, en el pr\u00f3ximo sistema de evaluaci\u00f3n las revistas tendr\u00e1n una calificaci\u00f3n \u00fanica, independientemente del \u00e1rea del conocimiento evaluada. Pero se permitir\u00e1 que cada \u00e1rea adapte parcialmente esa calificaci\u00f3n, pudiendo subir o bajar dos niveles del Qualis en el 10% de sus peri\u00f3dicos, o bien subir o bajar un nivel en el 20% de sus peri\u00f3dicos.<\/p>\n

El cambio m\u00e1s significativo tiene que ver con la calidad de la producci\u00f3n cient\u00edfica. En lugar de informar solamente la cantidad de publicaciones en los extractos m\u00e1s altos del Qualis, los programas deber\u00e1n seleccionar una cantidad acotada de art\u00edculos y documentos de sus investigadores a los cuales se los considere los de mejor calidad con el fin de poder evaluarlos. Para el estad\u00edstico y doctor en ciencias de la informaci\u00f3n Rog\u00e9rio Mugnaini, de la Escuela de Comunicaci\u00f3n y Artes de la Universidad de S\u00e3o Paulo (USP), la idea de evaluar los mejores art\u00edculos puede suponer un efecto beneficioso. \u201cEn la evaluaci\u00f3n de la Capes, a\u00fan hay \u00e1reas del conocimiento que valoran demasiados criterios cuantitativos, lo que conduce a un productivismo exagerado, en el cual los investigadores intentan publicar a cualquier costo, aunque la producci\u00f3n no siempre sea de calidad. Y eso a su vez genera congesti\u00f3n en el sistema de revisi\u00f3n de art\u00edculos en las revistas\u201d, afirma. Mugnaini asevera que la tendencia internacional apunta correcciones similares. La evaluaci\u00f3n en el Reino Unido, que anteriormente hab\u00eda adoptado criterios m\u00e1s cuantitativos, dado el tama\u00f1o de la labor de analizar toda la investigaci\u00f3n realizada por las universidades en cinco a\u00f1os, vuelve a tener en cuenta predominantemente la revisi\u00f3n por pares. \u201cLos cambios en el sistema de la Capes los definen con frecuencia los expertos de cada \u00e1rea, y estos no siempre tienen en cuenta las reflexiones recientes de la investigaci\u00f3n internacional en cuanto a la evaluaci\u00f3n de la ciencia. Al proponer transformaciones, es importante tener en cuenta el conocimiento actualizado acerca del tema\u201d.<\/p>\n","protected":false},"excerpt":{"rendered":"La agencia de evaluaci\u00f3n Capes propone que la calidad de los programas de maestr\u00eda y doctorado en Brasil se calcule con base en par\u00e1metros m\u00e1s amplios y diversos que los actuales","protected":false},"author":11,"featured_media":313490,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[189],"tags":[284,295],"coauthors":[98],"class_list":["post-333636","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-politica-ct","tag-cienciometria-es","tag-educacion"],"acf":[],"_links":{"self":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/333636","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/comments?post=333636"}],"version-history":[{"count":6,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/333636\/revisions"}],"predecessor-version":[{"id":334723,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/333636\/revisions\/334723"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/media\/313490"}],"wp:attachment":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/media?parent=333636"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/categories?post=333636"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/tags?post=333636"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/coauthors?post=333636"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}