{"id":84343,"date":"2009-06-01T10:10:00","date_gmt":"2009-06-01T13:10:00","guid":{"rendered":"http:\/\/revistapesquisa.fapesp.br\/2009\/06\/01\/la-escala-de-la-discordia\/"},"modified":"2017-01-26T13:59:54","modified_gmt":"2017-01-26T15:59:54","slug":"la-escala-de-la-discordia","status":"publish","type":"post","link":"https:\/\/revistapesquisa.fapesp.br\/es\/la-escala-de-la-discordia\/","title":{"rendered":"La escala de la discordia"},"content":{"rendered":"

\"ilustracao_modificada2\"marcos garuti<\/span><\/a>Sectores de la comunidad cient\u00edfica recibieron con cr\u00edticas los cambios realizados en el Sistema Qualis, una herramienta empleada por la Coordinaci\u00f3n de Perfeccionamiento del Personal de Nivel Superior (Capes) para catalogar a los peri\u00f3dicos en los cuales los programas de posgrado publican su producci\u00f3n cient\u00edfica. Mientras que el sistema de categorizaci\u00f3n anterior divid\u00eda a los peri\u00f3dicos de acuerdo con su circulaci\u00f3n (local, nacional e internacional) y su calidad (A, B, C), la nueva escala esta formada por ocho estratos (A1, A2, B1 a B5 y C). El estrato C tiene peso cero. La evaluaci\u00f3n de la calidad de la producci\u00f3n pasa a medirse primordialmente por el factor de impacto (FI) de los peri\u00f3dicos, independientemente del \u00e1mbito de su circulaci\u00f3n. El FI, empleado como herramienta de evaluaci\u00f3n desde los a\u00f1os 1960, apunta a medir el impacto cient\u00edfico de una publicaci\u00f3n teniendo en cuenta el \u00edndice de citas de los trabajos publicados en otros art\u00edculos.<\/p>\n

El denominador com\u00fan de las cr\u00edticas se vincula al peso exagerado que el factor de impacto pasa a tener en la clasificaci\u00f3n de la Capes y sus efectos sobre las publicaciones mal evaluadas -es previsible que pasen a ser evitadas por los investigadores y tengan a\u00fan m\u00e1s dificultad para consolidarse. La reacci\u00f3n m\u00e1s contundente provino del \u00e1rea de qu\u00edmica. En noviembre de 2008, el Foro de Coordinadores de Posgrado en Qu\u00edmica se reuni\u00f3 en Ribeir\u00e3o Preto, interior paulista, con una agenda que inclu\u00eda la discusi\u00f3n de la evaluaci\u00f3n de las carreras. Al cabo de dos d\u00edas de debates, se dio a conocer una moci\u00f3n que consider\u00f3 “inadecuada” a la nueva clasificaci\u00f3n de la Capes. En su primera edici\u00f3n de 2009, la revista Qu\u00edmica Nova, vinculada a la Sociedad Brasile\u00f1a de Qu\u00edmica, reforz\u00f3 la postura asumida por el foro. Un editorial firmado por dos de los investigadores del \u00e1rea m\u00e1s productivos del pa\u00eds, Fernando Galembeck, de la Universidad Estadual de Campinas (Unicamp), y Jailson Bittencourt de Andrade, de la Universidad Federal de Bah\u00eda (UFBA), al mismo tiempo que pon\u00eda de relieve la importancia de la evaluaci\u00f3n, expon\u00eda el descontento con el cambio en el Qualis.<\/p>\n

De acuerdo con el editorial, la valoraci\u00f3n excesiva de la visibilidad y de la inserci\u00f3n internacional de los peri\u00f3dicos, medida por el FI, promueve diferenciaciones artificiales entre publicaciones de sub\u00e1reas de la disciplina. “Considerando un \u00e1rea espec\u00edfica como la qu\u00edmica, la comparabilidad entre los peri\u00f3dicos utilizando el factor de impacto (FI) incurre en serios desv\u00edos. Por ejemplo, el peri\u00f3dico Inorganic Chemistry dif\u00edcilmente presentar\u00e1 un FI mayor que el Analytical Chemistry, lo que no significa que no haya art\u00edculos de excelente calidad en ambas disciplinas. Sencillamente la visibilidad de las innovaciones metodol\u00f3gicas anal\u00edticas en otras disciplinas es mayor que la de la qu\u00edmica inorg\u00e1nica”, escribieron Galembeck y Andrade.<\/p>\n

De acuerdo con Andrade, la Capes deber\u00eda sofisticar su esquema de evaluaci\u00f3n. “El sistema brasile\u00f1o de evaluaci\u00f3n ha sido sumamente importante para elevar la calidad del posgrado, por eso mi postura es enteramente favorable”, afirma el profesor. “Pero el factor de impacto no es una medida absoluta de calidad. Hay que crear un sistema m\u00e1s complejo, que de un peso mayor a otros indicadores, como por ejemplo el destino de los egresados de los programas de posgrado. Existen programas cuyos doctores no logran despu\u00e9s ser aprobados en concursos docentes de universidades p\u00fablicas. Ese indicador habla mejor de la calidad que la cantidad de papers publicados”, afirma.<\/p>\n

L\u00edmite –<\/strong> L\u00edvio Amaral, director de evaluaci\u00f3n de la Capes, dice que el cambio fue necesario porque la escala adoptada anteriormente hab\u00eda perdido su capacidad de discriminar entre los programas de posgrado. “Siempre se debe enfatizar que la evaluaci\u00f3n de los programas de posgrado considera un conjunto de indicadores y que el Qualis Peri\u00f3dicos se aplica solamente a uno de ellos, el que se refiere a la producci\u00f3n intelectual”, dijo Amaral. \u00c9ste argumenta que la estratificaci\u00f3n se realiz\u00f3 por cada una de las 47 coordinaciones de \u00e1reas de la Capes y que no todas trabajan con el FI. Tambi\u00e9n recuerda que esa medida es asignada mediante un conjunto de procedimientos independientes de la agencia. “Tal como sabemos, para que una determinada revista tenga un factor de impacto, debe ser indexada y analizada en el ISI-Thomson. Una vez atribuido un factor de impacto, es uno y s\u00f3lo uno, ya sea en Brasil o en cualquier otro pa\u00eds del mundo”, afirm\u00f3.<\/p>\n

El editorial de Qu\u00edmica Nova repercuti\u00f3 en otras de las as\u00ed llamadas ciencias duras. En Boletim da Sociedade Brasileira de F\u00edsica, Silvio Salinas, docente del Instituto de F\u00edsica de la Universidad de S\u00e3o Paulo, endos\u00f3 la cr\u00edtica. “Francamente, pienso que hemos llegado a un l\u00edmite peligroso, que pone en riesgo al propio concepto de evaluaci\u00f3n. Por ejemplo, \u00bfqu\u00e9 significa clasificar a Physical Review D como A2 y Physical Review B como B1? \u00bfPor casualidad los particuleros son mejores que los solidistas?”, pregunta el profesor. “Creo que es hora de reflexionar sobre esta numerolog\u00eda, que poco a poco se acent\u00faa en todas las \u00e1reas, impulsada por las facilidades de la inform\u00e1tica y por una vaga idea de globalizaci\u00f3n. \u00bfSer\u00e1 que la numerolog\u00eda realmente ocupar\u00e1 el lugar de la evaluaci\u00f3n a cargo de pares?”, dice Salinas.<\/p>\n

El profesor de la USP toca en un punto clave, que es la utilizaci\u00f3n cada vez m\u00e1s recurrente de criterios bibliom\u00e9tricos como herramientas de evaluaci\u00f3n. \u00c9stos han venido reemplazando a sistemas m\u00e1s complejos, tales como la evaluaci\u00f3n por pares (peer review), en la cuales los miembros de una comunidad acad\u00e9mica miden la calidad de un determinado trabajo, como hace la FAPESP en la evaluaci\u00f3n de los proyectos de investigaci\u00f3n que financia. La discusi\u00f3n es internacional. El Reino Unido, por ejemplo, planea la sustituci\u00f3n de Research Assessment Ejercise (RAE), que peri\u00f3dicamente eval\u00faa la calidad de la investigaci\u00f3n de sus universidades y orienta la distribuci\u00f3n de recursos y se basa primordialmente en peer review. En su lugar surgir\u00eda un sistema m\u00e1s sencillo y barato, que utilizar\u00e1 m\u00e1s criterios bibliom\u00e9tricos como el factor de impacto, pero preservar\u00e1 una buena dosis de peer review (lea en Pesquisa FAPESP<\/em> n\u00ba 156<\/a>). El formato del nuevo sistema a\u00fan se encuentra en construcci\u00f3n e inspira controversias en la comunidad acad\u00e9mica brit\u00e1nica. A comienzos de este a\u00f1o, editores de publicaciones internacionales del \u00e1rea de humanidades y ciencias sociales lanzaron un manifiesto levant\u00e1ndose contra una propuesta de la Uni\u00f3n Europea que apuntaba a categorizarlas en tres escalas seg\u00fan su factor de impacto y propagaci\u00f3n. La idea de la escala termin\u00f3 siendo abandonada (lea en Pesquisa FAPESP<\/em> n\u00ba 157<\/a>).<\/p>\n

Rog\u00e9rio Meneghini, coordinador cient\u00edfico de la biblioteca electr\u00f3nica SciELO Brasil, explica que la utilizaci\u00f3n creciente de indicadores bibliom\u00e9tricos se debe a la necesidad de evaluar una producci\u00f3n cient\u00edfica que crece a un ritmo veloz. “El factor de impacto es una herramienta adecuada para evaluar la producci\u00f3n acad\u00e9mica de grupos de posgrado, pues incluso desv\u00edos hacia arriba o hacia abajo que puedan surgir en la evaluaci\u00f3n de cada investigador se compensan cuando se ve el grupo entero”, afirma. L\u00edvio Amaral, de la Capes, a\u00f1ade: “El uso del Qualis Peri\u00f3dicos es totalmente inadecuado en la evaluaci\u00f3n de los investigadores. Se destina al an\u00e1lisis de programas de posgrado, y no de investigadores individualmente”.<\/p>\n

Condena
\n<\/strong>Un gran riesgo embutido en el cambio del Qualis, seg\u00fan dicen sus cr\u00edticos, es la condenaci\u00f3n de publicaciones importantes, mal evaluadas por razones que van de la periodicidad irregular a la escasez de recursos. Es razonable suponer que sean menos consultadas por investigadores de peso y se sumerjan en un c\u00edrculo vicioso de p\u00e9rdida de prestigio. El zo\u00f3logo Miguel Trefaut Rodrigues, docente del Instituto de Biociencias de la USP, da ejemplos en su \u00e1rea. “No puedo aceptar la idea de que publicaciones tradicionales y de alta penetraci\u00f3n y respeto internacional como Arquivos do Museu Nacional, Boletim do Museu Nacional, Arquivos de Zoologia, Boletim do Museu Goeldi y algunas publicaciones nuevas con un cuerpo editorial de alta calidad vengan listadas con B5, al lado de panfletos y periodicuchos de divulgaci\u00f3n hechos por amateurs”, dijo Trefaut. \u00c9ste recuerda que algunas de estas publicaciones no tienen \u00edndice de impacto porque su periodicidad es irregular, pero tuvieron y mantienen una importancia significativa en el desarrollo de la ciencia brasile\u00f1a.<\/p>\n

La falta de periodicidad, explica, se debi\u00f3 sobre todo a la escasez de recursos, pero sirvieron para informar a la comunidad internacional sobre avances del conocimiento, como la descripci\u00f3n de nuevas especies, una etapa que ya no existe m\u00e1s en los pa\u00edses del Primer Mundo que ya conocen su fauna. “Se trata de una total falta de visi\u00f3n de la realidad de la ciencia brasile\u00f1a. No estamos en el Primer Mundo. Si actualmente tenemos excelentes bibliotecas zool\u00f3gicas con colecciones completas de peri\u00f3dicos extranjeros en el Museo de Zoolog\u00eda de la USP, esto se debe al trueque que hicimos con las publicaciones internacionales, utilizando nuestras revistas como moneda de cambio. Esto y el elevado concepto que a\u00fan tienen revelan la importancia que tuvieron en el avance de la ciencia nacional. \u00bfTiraremos todo eso a la basura?”<\/p>\n

La soci\u00f3loga de la ciencia Lea Velho, docente de la Universidad Estadual de Campinas, llama la atenci\u00f3n sobre el impacto que la p\u00e9rdida de prestigio de las publicaciones puede traer aparejado. “En la mayor\u00eda de los campos del conocimiento existe una diversidad de paradigmas y publicaciones que los contemplan -un economista marxista no publica sus papers en peri\u00f3dicos de orientaci\u00f3n neocl\u00e1sica, por ejemplo. El riesgo es quitarles la voz a paradigmas minoritarios y exigir que se publique todo en el llamado mainstream. Esto es una locura para la ciencia”, afirma. Seg\u00fan la profesora, las \u00e1reas multidisciplinarias se ven especialmente afectadas por los criterios de la Capes. “Existe un discurso seg\u00fan el cual la multidisciplinariedad es el camino que debe seguirse, pues enfrenta los problemas de la vida real. Pero los investigadores del \u00e1rea publican en peri\u00f3dicos nuevos y poco citados, porque sus comunidades son a\u00fan peque\u00f1as e incipientes. El sesgo de la Capes es marcadamente disciplinario: quien quiera ser bien evaluado deber\u00e1 publicar en \u00e1reas consolidadas”, afirma Lea Velho. Y hace otra salvedad: investigaciones de inter\u00e9s pura y exclusivamente regional tambi\u00e9n saldr\u00e1n perdiendo. “Existe una tendencia en la investigaci\u00f3n agr\u00edcola a abocarse a temas de inter\u00e9s internacional en detrimento de la soluci\u00f3n de problemas de la agricultura nacional, que siempre fue la t\u00f3nica do Brasil en el \u00e1rea.”<\/p>\n

Falta de criterio
\n<\/strong>Rog\u00e9rio Meneghini formula una cr\u00edtica a la falta de criterio en la pol\u00edtica de evaluaci\u00f3n de la Capes. “La mayor\u00eda de estas publicaciones cont\u00f3 en los \u00faltimos a\u00f1os con apoyos financieros del gobierno federal, como los pliegos del CNPq. El cambio en la evaluaci\u00f3n va en detrimento de esta inversi\u00f3n”, afirma. Seg\u00fan \u00e9l, el impacto que alcanzan publicaciones de muchos pa\u00edses desarrollados se debe al incentivo para que las publicaciones mejoren. Esto est\u00e1 haci\u00e9ndose en Brasil en el marco de SciELO, financiada por la FAPESP, que estimul\u00f3 la adopci\u00f3n de normas r\u00edgidas de calidad por parte de los peri\u00f3dicos y lo torn\u00f3 m\u00e1s visibles, gracias a un sistema de acceso abierto. “Las publicaciones de SciELO se beneficiaron enormemente con este est\u00edmulo”, afirma Meneghini.<\/p>\n

En carta enviada al presidente de la Capes, Jorge Guimar\u00e3es, al final de mayo, 78 investigadores de bot\u00e1nica y zoolog\u00eda se quejaron por el rebajamiento de peri\u00f3dicos de sus especialidades con el nuevo Qualis, pese a los esfuerzos denodados para mejorar su calidad. “En tal sentido, apuntamos como un camino alternativo para las revistas nacionales que la Capes use el sistema SciELO, que ha venido evaluando y monitoreando desde hace a\u00f1os el parque de revistas cient\u00edficas brasile\u00f1as”, dice el manifiesto elevado a la Capes por Rodney Ramiro Cavichioli, presidente de la Sociedad Brasile\u00f1a de Zoolog\u00eda. Hussam Zaher, docente del Instituto de Biociencias de la USP y uno dos coordinadores del manifiesto, dice que la Capes, al adoptar un sistema de evaluaci\u00f3n que privilegia un par\u00e1metro, termina por decidir sola sobre un campo atinente a otros atores, como es el caso, por ejemplo, del Ministerio de Ciencia y Tecnolog\u00eda.\u00a0 “El escenario es\u00a0 muy complejo y no se lo puede gestionar de una forma simplista. No debemos rechazar las evaluaciones, pero lo que pedimos es que el sistema sea bien pensado, bien articulado”, dice el profesor, que es editor de las revistas del Museo de Zoolog\u00eda de la USP. “Me gustar\u00eda ver un sistema que calificase a nuestras revistas y nos ayudase a competir. Este sistema llevar\u00e1 a la extinci\u00f3n de publicaciones. No creo que sea saludable reducir la posibilidad de expresi\u00f3n de la comunidad cient\u00edfica brasile\u00f1a”, afirm\u00f3.<\/p>\n

Pero existen pa\u00edses, dice Rog\u00e9rio Meneghini, que adoptan una estrategia diferente. Menciona los ejemplos de Suecia o de Holanda, que poco se preocupan con la manutenci\u00f3n de sus publicaciones, pero tienen una estrategia clara de cultivar editores en los comit\u00e9s de las publicaciones internacionales. “Quienes est\u00e1n en estos comit\u00e9s tienen poder de decisi\u00f3n, y eso se traduce en la aceptaci\u00f3n de los buenos art\u00edculos publicados en el pa\u00eds. Pero la cantidad de editores brasile\u00f1os en publicaciones internacionales es todav\u00eda es muy peque\u00f1a”, afirma Meneghini.<\/p>\n","protected":false},"excerpt":{"rendered":"Criterios del Sistema Qualis recibe cr\u00edticas de la comunidad cient\u00edfica","protected":false},"author":11,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[189],"tags":[284,299],"coauthors":[98],"class_list":["post-84343","post","type-post","status-publish","format-standard","hentry","category-politica-ct","tag-cienciometria-es","tag-etica-es"],"acf":[],"_links":{"self":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/84343","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/comments?post=84343"}],"version-history":[{"count":0,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/84343\/revisions"}],"wp:attachment":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/media?parent=84343"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/categories?post=84343"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/tags?post=84343"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/coauthors?post=84343"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}