{"id":220659,"date":"2016-07-12T16:47:22","date_gmt":"2016-07-12T19:47:22","guid":{"rendered":"http:\/\/revistapesquisa.fapesp.br\/es\/?p=220659"},"modified":"2016-07-19T15:40:15","modified_gmt":"2016-07-19T18:40:15","slug":"cuidado-con-la-marea","status":"publish","type":"post","link":"https:\/\/revistapesquisa.fapesp.br\/es\/cuidado-con-la-marea\/","title":{"rendered":"Cuidado con la marea"},"content":{"rendered":"

\"Metrica_05_2JG0788\"L\u00e9o Ramos<\/span>El debate sobre la confiabilidad de los m\u00e9todos cuantitativos destinados a medir el impacto de la producci\u00f3n cient\u00edfica y acad\u00e9mica tiene ahora un nuevo cap\u00edtulo con la divulgaci\u00f3n, en julio, de un informe solicitado por el Higher Education Funding Council for England (Hefce), el organismo encargado de financiar y evaluar el sistema universitario y de investigaci\u00f3n de Inglaterra. Fruto de 15 meses de trabajo de un equipo interdisciplinario independiente, el documento intitulado The metric tide<\/em> (la marea de las m\u00e9tricas) aborda la utilidad y el uso exagerado de indicadores en la evaluaci\u00f3n del m\u00e9rito de universidades y grupos de investigaci\u00f3n. Frente a la constataci\u00f3n de que se han propagado par\u00e1metros tales como indicadores de impacto y rankings<\/em> universitarios, el grupo sugiere prudencia en su utilizaci\u00f3n. \u201cLas m\u00e9tricas deben seleccionarse con cuidado y deben suplementar y servir de apoyo siempre en el an\u00e1lisis a cargo de expertos, y no reemplazarlo\u201d, dice Richard Jones, prorrector de Investigaci\u00f3n e Innovaci\u00f3n de la Universidad de Sheffield, miembro del panel que elabor\u00f3 el documento.<\/p>\n

El grupo plante\u00f3 el concepto de \u201cm\u00e9trica responsable\u201d, basado en cinco puntos. Uno de ellos es la humildad, entendida como el reconocimiento de que el an\u00e1lisis por pares, aunque sea imperfecto y est\u00e9 sujeto a equ\u00edvocos, es capaz de vislumbrar de manera amplia la calidad de la producci\u00f3n cient\u00edfica, algo que indicadores aislados a\u00fan no logran hacer. El segundo punto es la robustez, condici\u00f3n que excluye el uso de datos descontextualizados o no suficientemente representativos en un proceso de an\u00e1lisis por pares. Seg\u00fan el informe, el \u00e9nfasis en par\u00e1metros \u201cestrechos y mal dise\u00f1ados\u201d produce consecuencias negativas. Un ejemplo desaconsejable es la utilizaci\u00f3n del factor de impacto de una revista cient\u00edfica para definir la calidad de cualquier trabajo publicado en ella o el m\u00e9rito de sus autores. Sucede que tales \u00edndices tan s\u00f3lo reflejan medias observadas en conjuntos de art\u00edculos publicados en per\u00edodos anteriores. El documento tambi\u00e9n menciona el uso de citas de art\u00edculos como un criterio universal de calidad, sin contemplar las distintas realidades de las disciplinas.<\/p>\n

El tercer punto es la transparencia, que asegura que el recabado de datos y sus an\u00e1lisis sean abiertos y comprensibles para los investigadores y la sociedad. La utilizaci\u00f3n masiva de rankings<\/em> universitarios es criticada en el informe, con el argumento de que falta en muchos de ellos transparencia con respecto a la elecci\u00f3n de indicadores. El cuarto punto es la diversidad, el esfuerzo para adoptar un conjunto de indicadores capaz de abarcar aspectos variados del aporte de los investigadores. Por \u00faltimo, el quinto elemento es la reflexividad, entendida como la preocupaci\u00f3n de identificar con r\u00e1pidamente los efectos indeseables que el uso de indicadores pueda generar y la disposici\u00f3n para corregirlos.<\/p>\n

\u201cLa atracci\u00f3n por las m\u00e9tricas tiende a aumentar\u201d, escribi\u00f3 en la revista Nature<\/em> James Wilsdon, docente de la Universidad de Sussex y l\u00edder del panel que produjo el informe. Seg\u00fan el profesor, existen demandas crecientes con miras a evaluar la inversi\u00f3n p\u00fablica en investigaci\u00f3n y educaci\u00f3n superior y, al mismo tiempo, la cantidad de datos sobre el desempe\u00f1o cient\u00edfico y la capacidad de analizarlos se multiplicaron. \u201cLas instituciones deben administrar sus estrategias de investigaci\u00f3n y, simult\u00e1neamente, competir por prestigio, por estudiantes y por recursos.\u201d<\/p>\n

El tema es especialmente sensible en el Reino Unido, pues, cada cinco a\u00f1os, sus universidades y sus grupos de investigaci\u00f3n se someten a un extenso proceso de evaluaci\u00f3n que define la distribuci\u00f3n de fondos p\u00fablicos durante el per\u00edodo siguiente. El \u00faltimo de ellos, el Research Excellence Framework (REF 2014), fue dado a conocer por el Hefce en diciembre pasado. Ciento cincuenta y cuatro universidades pusieron en evaluaci\u00f3n 1.911 apartados en 36 campos del conocimiento. Cada apartado presentado reuni\u00f3 un conjunto de trabajos cient\u00edficos, estudios de caso, patentes, proyectos de investigaci\u00f3n en marcha, informaci\u00f3n sobre el desempe\u00f1o de investigadores e indicadores bibliom\u00e9tricos vinculados a un departamento o a un grupo de investigaci\u00f3n, y la evaluaci\u00f3n qued\u00f3 a cargo de paneles de expertos. La calidad de la producci\u00f3n cient\u00edfica fue responsable del 65% de la evaluaci\u00f3n, el impacto de la investigaci\u00f3n fuera de la academia (una novedad del REF 2014) vali\u00f3 un 20%, y el ambiente de investigaci\u00f3n, un 15%. La evaluaci\u00f3n arroj\u00f3 que el 30% de las universidades del Reino Unido se ubica como l\u00edderes mundiales, el 46% tiene un nivel internacional de excelencia, el 20% tiene reconocimiento internacional y el 3% reconocimiento \u00fanicamente nacional.<\/p>\n

\"Metrica_06_2JG0774\"L\u00e9o Ramos<\/span>Discrepancias
\n<\/strong>El equipo responsable del informe analiz\u00f3 los datos del REF 2014 y arrib\u00f3 a la conclusi\u00f3n de que no siempre indicadores individuales y an\u00e1lisis por pares produc\u00edan\u00a0 resultados convergentes. Se observaron discrepancias acentuadas, por ejemplo, en el desempe\u00f1o de investigadores en inicio de carrera. De la misma manera, la cobertura de los indicadores se mostr\u00f3 desigual en los campos del conocimiento, con problemas espec\u00edficos especialmente en el panel de Artes y Humanidades. En el informe se recomend\u00f3 que el modelo actual del REF se mantenga, basado en la evaluaci\u00f3n cualitativa realizada por expertos que, sin embargo, pueden considerar indicadores seleccionados de manera criteriosa. Y sugiri\u00f3 que se aumenten las inversiones en \u201cinvestigaci\u00f3n sobre la investigaci\u00f3n\u201d, para profundizar la comprensi\u00f3n acerca del uso de indicadores. El grupo tambi\u00e9n instituy\u00f3 un premio al contrario, el Bad Metric Prize, para denunciar los usos inapropiados de indicadores cuantitativos. Los primeros premiados se conocer\u00e1n el a\u00f1o que viene.<\/p>\n

Mientras se elaboraba el informe, la comunidad cient\u00edfica brit\u00e1nica qued\u00f3 chocada con una tragedia relacionada con la presi\u00f3n ejercida sobre los investigadores por las m\u00e9tricas. Stefan Grimm, durante diez a\u00f1os docente de toxicolog\u00eda de la Facultad de Medicina del Imperial College, se suicid\u00f3 a los 51 a\u00f1os de edad. Estaba deprimido debido al anuncio de su despido y dej\u00f3 un e-mail<\/em> relatando las sucesivas amenazas que sufri\u00f3 de su superior para lograr un determinado nivel de financiamiento para su laboratorio, al cual no logr\u00f3 llegar. El Imperial College anunci\u00f3 la revisi\u00f3n de sus criterios de evaluaci\u00f3n despu\u00e9s del episodio, mencionado en la presentaci\u00f3n del informe.<\/p>\n

El documento solicitado por el Hefce se perfila con textos recientes que defienden ideas similares. Uno de ellos es el Manifiesto de Leiden<\/em> sobre m\u00e9tricas de investigaci\u00f3n, presentado en septiembre de 2014 durante la 19\u00aa Conferencia Internacional de Indicadores en Ciencia y Tecnolog\u00eda, realizada en Leiden, en Holanda. Sus diez principios coinciden en buena medida con las recomendaciones del grupo brit\u00e1nico. Hace referencia a la necesidad de transparencia en el an\u00e1lisis de datos y propone considerar las diferencias entre \u00e1reas en las pr\u00e1cticas de publicaci\u00f3n y de citas, por ejemplo. Otra referencia es Dora<\/em>, sigla para San Francisco declaration on research assessment<\/em>, lanzada en diciembre de 2012 en un encuentro de la American Society for Cell Biology, que emite 18 recomendaciones para investigadores, instituciones, organismos de fomento y editores cient\u00edficos. La principal de \u00e9stas plantea eliminar el uso del factor de impacto de revistas como indicador de la calidad de un art\u00edculo. Casi 600 instituciones cient\u00edficas y 12.500 investigadores han firmado hasta ahora la declaraci\u00f3n, y el informe del Hefce sugiere que instituciones y agencias se conviertan en signatarias de la declaraci\u00f3n para orientar p\u00fablicamente sus pr\u00e1cticas en el terreno de la evaluaci\u00f3n.<\/p>\n

La importancia de que el Reino Unido adopte ese tipo de actitud no es desde\u00f1able. \u201cSi bien la mayor\u00eda de los pa\u00edses a\u00fan est\u00e1 en la infancia de la discusi\u00f3n sobre evaluaci\u00f3n, el Reino Unido est\u00e1 algunos pasos adelantado y aspira a salir de la adolescencia\u201d, asevera Sergio Salles-Filho, docente de la Universidad de Campinas (Unicamp) y coordinador del Grupo de Estudios sobre Organizaci\u00f3n de la Investigaci\u00f3n Cient\u00edfica y la Innovaci\u00f3n (Geopi), que evalu\u00f3 programas de la FAPESP. Salles-Filho sostiene que la inclusi\u00f3n de nuevos par\u00e1metros destinados a analizar la producci\u00f3n cient\u00edfica tambi\u00e9n se ve motivada por la necesidad de sofisticar la evaluaci\u00f3n, midiendo aspectos diversos ligados a su impacto en la sociedad. \u201cEn determinadas \u00e1reas, lo m\u00e1s importante no es publicar art\u00edculos, sino producir manuales utilizados en la industria, promover cambios en las pol\u00edticas p\u00fablicas o cambiar las directrices de la pol\u00edtica econ\u00f3mica. Los procesos de evaluaci\u00f3n se est\u00e1n transformando y dentro de 20 a\u00f1os ser\u00e1n muy diferentes.\u201d<\/p>\n

\"Metrica_08_2JG0830\"L\u00e9o Ramos<\/span>Ciclo completo
\n<\/strong>Brasil ha avanzado en la ampliaci\u00f3n de los criterios de evaluaci\u00f3n. \u201cLas agencias de fomento ya no se satisfacen con saber \u00fanicamente cu\u00e1l es el impacto espec\u00edfico de un art\u00edculo cient\u00edfico y apuntan a hacer evaluaciones de ciclo completo, que acumulan informaci\u00f3n sobre el trabajo de investigadores y los resultados de programas para medir su contribuci\u00f3n a largo plazo\u201d, dice, en referencia al esfuerzo de la FAPESP y m\u00e1s recientemente de la Financiadora de Estudios y Proyectos (Finep) de sistematizar un proceso de recabado de datos que siga reuniendo informaci\u00f3n sobre los resultados de investigaci\u00f3n en el transcurso del tiempo.<\/p>\n

Rog\u00e9rio Mugnaini, docente de la Escuela de Comunicaci\u00f3n y Artes (ECA) de la Universidad de S\u00e3o Paulo (USP), est\u00e1 estudiando la diversidad de criterios de evaluaci\u00f3n de los programas de posgrado realizada por la Coordinaci\u00f3n de Perfeccionamiento del Personal de Nivel Superior (Capes), bas\u00e1ndose en todos los documentos propuestos por las \u00e1reas del conocimiento desde 1998. Y ha observado que las \u00e1reas recurren cada vez m\u00e1s a indicadores de impacto, aun cuando esos par\u00e1metros no sean valorizados por la cultura de la disciplina en cuesti\u00f3n. \u201cAlgunas \u00e1reas, tal como es el caso de la geograf\u00eda, est\u00e1n adoptando el modelo de evaluaci\u00f3n de las ciencias duras\u201d, dice Mugnaini. \u201cComo el volumen de t\u00edtulos que debe evaluarse es muy extenso, existe una tendencia a la adopci\u00f3n de indicadores que soslaya sus limitaciones\u201d. Para Salles-Filho, existen m\u00e1s aspectos que deben contemplarse en la evaluaci\u00f3n de los programas de posgrado. \u201cSe reciben 15 mil doctores por a\u00f1o en Brasil, pero no sabemos d\u00f3nde est\u00e1n y qu\u00e9 est\u00e1n haciendo con el conocimiento y la experiencia que adquirieron en el doctorado, si est\u00e1n dirigiendo tesis, si trabajan en el sector p\u00fablico o en la iniciativa privada. Deber\u00edamos tener una visi\u00f3n de los impactos sociales de la formaci\u00f3n de posgrado\u201d, dice.<\/p>\n","protected":false},"excerpt":{"rendered":"Se plantean l\u00edmites al uso de indicadores en la evaluaci\u00f3n cient\u00edfica","protected":false},"author":11,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[189],"tags":[299],"coauthors":[98],"class_list":["post-220659","post","type-post","status-publish","format-standard","hentry","category-politica-ct","tag-etica-es"],"acf":[],"_links":{"self":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/220659","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/comments?post=220659"}],"version-history":[{"count":0,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/220659\/revisions"}],"wp:attachment":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/media?parent=220659"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/categories?post=220659"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/tags?post=220659"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/coauthors?post=220659"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}