{"id":84245,"date":"2009-02-01T10:00:00","date_gmt":"2009-02-01T12:00:00","guid":{"rendered":"http:\/\/revistapesquisa.fapesp.br\/2009\/02\/01\/el-merito-mensurado\/"},"modified":"2017-01-20T14:12:34","modified_gmt":"2017-01-20T16:12:34","slug":"el-merito-mensurado","status":"publish","type":"post","link":"https:\/\/revistapesquisa.fapesp.br\/es\/el-merito-mensurado\/","title":{"rendered":"El m\u00e9rito mensurado"},"content":{"rendered":"

\"Inglaterra4\"WARWICK UNIVERSITY<\/span><\/a>La comunidad acad\u00e9mica del Reino Unido vive un momento de definiciones. A finales de 2008 se dieron a conocer los resultados del sexto Research Assessment Exercise (RAE 2008), un gran esfuerzo de evaluaci\u00f3n de la calidad de la investigaci\u00f3n cient\u00edfica que determinar\u00e1 de qu\u00e9 modo se distribuir\u00e1n 2.300 millones de d\u00f3lares anuales en fondos p\u00fablicos entre las universidades brit\u00e1nicas durante el per\u00edodo que va de 2009 a 2014. Fueron evaluados 52.400 acad\u00e9micos de 159 instituciones de educaci\u00f3n superior. Se constat\u00f3 que el 17% de las investigaciones que \u00e9stos realizaron tiene nivel de liderazgo mundial; un 37% se ubica en la categor\u00eda de excelencia internacional; un 33% posee reconocimiento internacional; el 11%, reconocimiento nacional, y el 2% se ubica por debajo de los est\u00e1ndares que exige el Reino Unido. “Esto representa un notable logro y confirma que somos una de las grandes potencias mundiales en investigaci\u00f3n cient\u00edfica”, declar\u00f3 al anunciar los resultados David Eastwood, ejecutivo jefe del Higher Education Funding Council for England (Hefce), uno de los organismos responsables de la evaluaci\u00f3n. “De las 159 instituciones, 150 tienen alg\u00fan trabajo que se ubica en la frontera mundial.”<\/p>\n

Si bien el RAE 2008 no difunde un ranking consolidado de instituciones, un an\u00e1lisis de los datos realizado por el Times Higher Education muestra que las mejores universidades fueron las de Cambridge y Oxford, seguidas por la London School of Economics y por el Imperial College. Algunas instituciones mejoraron su desempe\u00f1o con relaci\u00f3n al RAE anterior, realizado en 2001; tal es el caso de la Universidad de Londres Queen Mary, que subi\u00f3 de la 48\u00aa a la 13\u00aa posici\u00f3n. Otras experimentaron ca\u00eddas, como la Universidad Warwick, que baj\u00f3 del 6\u00ba al 9\u00ba puesto. Pero las universidades deber\u00e1n esperar hasta el d\u00eda 4 de marzo para saber exactamente cu\u00e1les de ellas van a ganar y cu\u00e1les va a perder recursos, pues la distribuci\u00f3n tendr\u00e1 en cuenta adem\u00e1s de la calidad de la investigaci\u00f3n el volumen de investigadores de cada instituci\u00f3n sometidos a la evaluaci\u00f3n. La Universidad de Cardiff, por ejemplo, cay\u00f3 de la 8\u00aa a la 22\u00aa posici\u00f3n, pero es probable que no pierda recursos porque someti\u00f3 m\u00e1s miembros de su staff al RAE 2008 que en la evaluaci\u00f3n anterior. De cualquier modo, se esperan ondas de choque en las instituciones que registren desempe\u00f1o en ca\u00edda, bajo la forma de despidos, por ejemplo, tal como sucedi\u00f3 en ocasiones de anteriores evaluaciones.<\/p>\n

El RAE llama la atenci\u00f3n por la sofisticaci\u00f3n de su metodolog\u00eda, basada en un sistema de evaluaci\u00f3n por pares que involucra a consultores nacionales y extranjeros, y por su magnitud -la edici\u00f3n de 2008 cost\u00f3 17 millones de d\u00f3lares, mientras que la evaluaci\u00f3n de 2001 hab\u00eda costado 8 millones de d\u00f3lares. Se basa en 15 paneles que supervisan el trabajo de 67 subpaneles disciplinarios. En total, 950 revisores toman parte en el proceso. Al menos un investigador extranjero est\u00e1 presente en los comit\u00e9s principales. “La idea no es comparar la evaluaci\u00f3n de los miembros internacionales con los nacionales, sino asegurar que los niveles de calidad que se exigen sean los apropiados”, declar\u00f3 a Pesquisa FAPESP Ed Hughes, del Hefce, el gerente del RAE 2008. “En muchos casos, los miembros internacionales ayudan a establecer par\u00e1metros. Ellos cumplen el importante rol de asegurar que el an\u00e1lisis de los paneles cuente con credibilidad internacional.”<\/p>\n

\"Inglaterra5\"WARWICK UNIVERSITY<\/span><\/a>Consecuencias
\n<\/strong>A los efectos de establecer una comparaci\u00f3n, el modelo brit\u00e1nico tiene significativas diferencias con relaci\u00f3n al sistema que desarroll\u00f3 en Brasil la Coordinaci\u00f3n Nacional de Perfeccionamiento del Personal de Nivel Superior (Capes), que desde la d\u00e9cada de 1970 eval\u00faa el nivel de los programas de posgrado stricto sensu. Empezando por los prop\u00f3sitos y las consecuencias de los procesos de evaluaci\u00f3n. En el caso brasile\u00f1o, la evaluaci\u00f3n trienal de las carreras de maestr\u00eda, maestr\u00eda profesional y doctorado apunta no solamente a medir la calidad de los programas, sino tambi\u00e9n a estimular su desarrollo, toda vez que orienta la financiaci\u00f3n de becas y reconoce la excelencia de los respectivos grupos de investigaci\u00f3n. El cierre de carreras mal evaluadas se hace efectivo \u00fanicamente en situaciones extremas, y programas con nota regular preservan el derecho de formar mag\u00edsteres y doctores, aunque con la consiguiente merma de prestigio. El RAE en tanto, tiene un impacto inmediato y a veces devastador, que va m\u00e1s de la investigaci\u00f3n y del posgrado, pues hace las veces de referencia a la hora de destinar una amplia dotaci\u00f3n de recursos a las universidades del Reino Unido. Una mala evaluaci\u00f3n redunda en menos dinero durante un largo per\u00edodo. “Con base en el RAE, las universidades pueden decidir cerrar determinados departamentos que anduvieron mal en la evaluaci\u00f3n, lo que por cierto sucedi\u00f3 con el primer RAE”, dice Lea Velho, docente del Departamento de Pol\u00edtica Cient\u00edfica y Tecnol\u00f3gica del Instituto de Geociencias de la Universidad Estadual de Campinas (Unicamp). “Las consecuencias para los departamentos que salieron mal en la evaluaci\u00f3n son reales”, afirma.<\/p>\n

Aunque ambos modelos tienen en cuenta datos cuantitativos y la evaluaci\u00f3n por pares, las metodolog\u00edas que adoptan la Capes y el Hefce brit\u00e1nico guardan escasas semejanzas. El RAE eval\u00faa la calidad tan s\u00f3lo de una parte de la producci\u00f3n acad\u00e9mica de las universidades, aqu\u00e9lla que, por decisi\u00f3n de cada departamento, se juzga que es m\u00e1s relevante. Cada investigador puede declarar a los sumo cuatro l\u00edneas de investigaci\u00f3n en las cuales haya tomado parte en el per\u00edodo. En tanto, en el modelo de la Capes los programas de maestr\u00eda y doctorado stricto sensu deben declarar anualmente un amplio espectro de informaciones relacionadas con la producci\u00f3n cient\u00edfica de docentes y estudiantes, con la formaci\u00f3n del cuerpo docente y con la calidad de la formaci\u00f3n de los alumnos -y ese conjunto de datos apuntala la evaluaci\u00f3n trienal.<\/p>\n

En el ejemplo brit\u00e1nico, el peer review<\/em> es la t\u00f3nica. Los revisores tienen la obligaci\u00f3n de leer los trabajos cient\u00edficos que cada departamento destaca para formar su opini\u00f3n. En casos excepcionales, se les permite que algunos comit\u00e9s que se abstengan de analizar en detalle un determinado trabajo, siempre y cuando puedan basar su an\u00e1lisis en revisiones realizadas anteriormente por otros expertos, no en datos bibliom\u00e9tricos. El cap\u00edtulo de los criterios de evaluaci\u00f3n dice textualmente que “ning\u00fan panel emplear\u00e1 factores de impacto de publicaciones como medida sustituta de la evaluaci\u00f3n de calidad”.<\/p>\n

\"Inglaterra1\"WARWICK UNIVERSITY<\/span><\/a>El an\u00e1lisis se efect\u00faa con base en tres elementos. El primero est\u00e1 constituido por los resultados de la investigaci\u00f3n acad\u00e9mica en forma de art\u00edculos, libros, informes t\u00e9cnicos y patentes, entre otros. El segundo es el ambiente de investigaci\u00f3n y se basa en datos tales como la cantidad de becas, el volumen de recursos obtenidos o el apoyo institucional a la investigaci\u00f3n. El tercero abarca los indicadores de prestigio “a lo sumo cuatro por cada investigador” tales como premios y distinciones obtenidas, organizaci\u00f3n de congresos y participaci\u00f3n en el comit\u00e9 editorial de publicaciones cient\u00edficas, entre otros. Cada comit\u00e9 juzga la calidad de ese conjunto de datos y la composici\u00f3n de los resultados de los tres elementos brinda el perfil general de calidad, que puede tener cinco clasificaciones: 0 (debajo de los est\u00e1ndares nacionales); 1 (reconocido nacionalmente); 2 (reconocido internacionalmente); 3 (de excelencia internacional), y 4 (con investigaci\u00f3n de punta a nivel mundial). Esta metodolog\u00eda reemplaz\u00f3 a la de RAE’s anteriores, que sumaban puntos obtenidos en diversos apartados. “El objetivo es evitar que se repitan distorsiones en la distribuci\u00f3n de fondos, con un departamento evaluado con menci\u00f3n 5* que recibe muchos m\u00e1s fondos que otro evaluado con 5, aunque las diferencias entre ambos no sean grandes”, dijo Ed Hughes.<\/p>\n

En el caso de la Capes, los criterios bibliom\u00e9tricos tienen un gran peso, aunque la evaluaci\u00f3n est\u00e9 a cargo de comit\u00e9s de expertos. Las principales revistas cient\u00edficas fueron registradas por la agencia de acuerdo con su c0alidad (l\u00e9ase factor de impacto) y el alcance de la circulaci\u00f3n (local, nacional e internacional). Ese sistema, denominado Qualis, sirve para evaluar los art\u00edculos cient\u00edficos de los investigadores y fundamenta una parte significativa del proceso de evaluaci\u00f3n, sobre todo en \u00e1reas cuya producci\u00f3n acad\u00e9mica se expresa en art\u00edculos publicados en revistas. De esta forma, una producci\u00f3n modesta, pero divulgada en publicaciones de alto impacto, adquiere mayor peso en las f\u00f3rmulas que adoptan los comit\u00e9s de evaluaci\u00f3n que una producci\u00f3n m\u00e1s vasta divulgada en peri\u00f3dicos con factor de impacto restringido. Los datos recabados se elevan a los comit\u00e9s de \u00e1rea y cada uno de \u00e9stos utiliza criterios espec\u00edficos para analizar las informaciones. Los programas se eval\u00faan con notas que van de 1 a 5. Este trabajo produce planillas comunes a todos los programas, que tienen como objetivo la transparencia y exigen que los comit\u00e9s tengan en cuenta una serie estandarizada de informaciones tales como contingente de docentes, cantidad de tesis y tesinas defendidas, art\u00edculos publicados en peri\u00f3dicos cient\u00edficos nacionales e internacionales, trabajos publicados en anales de eventos nacionales e internacionales, libros y cap\u00edtulos de libros. Pero un an\u00e1lisis cualitativo puede requerirse en apartados tales como la evaluaci\u00f3n de libros o cap\u00edtulos de libros, por ejemplo, m\u00e1s comunes en la producci\u00f3n de las ciencias humanas, dada la ausencia de indicadores capaces de evaluar su calidad.<\/p>\n

Los programas de doctorado que obtuvieron nota m\u00e1xima (5) pueden pasar por una segunda etapa de evaluaci\u00f3n, en este caso de car\u00e1cter m\u00e1s cualitativo. Pueden ser reevaluados con menci\u00f3n 6 \u00f3 7, dependiendo de indicadores tales como la capacidad de nuclear grupos de investigaci\u00f3n o su inserci\u00f3n internacional, medida seg\u00fan criterios tales como la existencia de convenios internacionales, la presencia de docentes visitantes de universidades extranjeras conceptuadas como de primera l\u00ednea, el intercambio de alumnos con universidades extranjeras y la participaci\u00f3n de docentes en comit\u00e9s y directorios de asociaciones internacionales, entre otros.<\/p>\n

La elecci\u00f3n de los evaluadores sigue formatos diferentes en ambos modelos. En el caso del RAE 2008, hubo una disputa destinada a ocupar las plazas de miembros y jefes de los paneles y subpaneles. La elecci\u00f3n de los mismos estuvo a cargo de representantes de las agencias de financiamiento con base en 4.948 nominaciones realizadas por 1.371 instituciones y sociedades cient\u00edficas (las universidades no pueden nominar miembros). En la Capes, los coordinadores de los comit\u00e9s, que son elegidos por la instituci\u00f3n, tienen una cierta\u00a0 libertad para sugerir con qui\u00e9nes van a trabajar, respetando\u00a0 criterios de competencia en el \u00e1rea. De todos modos, los nombres deben pasar por la aprobaci\u00f3n de la direcci\u00f3n de evaluaci\u00f3n de la agencia. La \u00faltima evaluaci\u00f3n trienal involucr\u00f3 a alrededor de 700 revisores. Existe una exigencia de que al menos el 50% de los miembros de cada comit\u00e9 sean sustituidos cada tres a\u00f1os.<\/p>\n

Citas
\n<\/strong>El RAE 2008 ser\u00e1 la \u00faltima evaluaci\u00f3n brit\u00e1nica que seguir\u00e1 este modelo. Para disminuir costos y dotar de mayor agilidad a la evaluaci\u00f3n, el gobierno del Reino Unido decidi\u00f3 lanzar un nuevo sistema: el Research Excellence Framework (REF), que aunque no abandonar\u00e1 la evaluaci\u00f3n por pares, har\u00e1 un gran uso de indicadores bibliom\u00e9tricos, tales como la cantidad de citas de publicaciones efectuadas por los cient\u00edficos. “Los elementos que se usar\u00e1n y el equilibrio entre ellos variar\u00e1n de acuerdo con las caracter\u00edsticas de cada campo del conocimiento”, afirm\u00f3 Ed Hughes. El Hefce est\u00e1 haciendo un estudio piloto que comprende 22 \u00e1reas del conocimiento, para comparar los resultados del RAE 2008 con lo que ser\u00e1 la metodolog\u00eda del REF. El cambio es objeto de divisi\u00f3n en el seno de la comunidad cient\u00edfica brit\u00e1nica, fundamentalmente porque a\u00fan no est\u00e1n claros los m\u00e9todos que se adoptar\u00e1n. “Tomadas en forma aislada, las citas se han mostrado repetidamente como una medida pobre de la calidad de la investigaci\u00f3n”, dijo la revista Nature en editorial sobre los cambios en su edici\u00f3n del 1\u00ba de enero.<\/p>\n

La referida publicaci\u00f3n menciona un estudio de 1998, que compar\u00f3 los resultados de dos an\u00e1lisis de un conjunto de art\u00edculos sobre f\u00edsica: una empleaba m\u00e9tricas como citas y la otra se basaba en peer review. Las divergencias llegaron al 25% de los art\u00edculos analizados. “A los formuladores de pol\u00edticas no les queda otra opci\u00f3n a no ser reconocer que la revisi\u00f3n de especialistas desempe\u00f1a un papel indispensable en la evaluaci\u00f3n”, dijo Nature<\/em>.<\/p>\n

En un informe elevado en 2003 al Hefce, los investigadores Nick von Tunzelman, de la Universidad de Sussex, y Erika Kraemer-Mbula, de la Universidad de Brighton, informaban que, pese a las cr\u00edticas al sistema de evaluaci\u00f3n por pares brit\u00e1nico, raros son los pa\u00edses que adoptan sistemas cuantitativos puros para evaluar la investigaci\u00f3n cient\u00edfica, y donde se ha hecho, como es el caso de la regi\u00f3n de Flandres, en B\u00e9lgica, estuvo rodeado de controversias. La cuesti\u00f3n, seg\u00fan Ed Hughes, es hallar un punto de equilibrio. “El nuevo sistema mantendr\u00e1 elementos de la evaluaci\u00f3n por pares, pero debemos encontrar medios de elaborar un sistema de evaluaci\u00f3n m\u00e1s sencillo y eficiente, sin por ello perder el valor obtenido mediante los rigurosos\u00a0 procesos aplicados en los RAE”, afirm\u00f3.<\/p>\n","protected":false},"excerpt":{"rendered":"Evaluaci\u00f3n orientar\u00e1 la distribuci\u00f3n de recursos para las universidades","protected":false},"author":11,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[189],"tags":[284,303],"coauthors":[98],"class_list":["post-84245","post","type-post","status-publish","format-standard","hentry","category-politica-ct","tag-cienciometria-es","tag-financiacion"],"acf":[],"_links":{"self":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/84245","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/comments?post=84245"}],"version-history":[{"count":0,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/84245\/revisions"}],"wp:attachment":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/media?parent=84245"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/categories?post=84245"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/tags?post=84245"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/coauthors?post=84245"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}