Veridiana Scarpelli En un estudio publicado en la edición de enero de la revista Scientometrics, realizado por el Grupo de Estudios sobre Organización de la Investigación y la innovación (Geopi), del Instituto de Geociencias de la Universidad de Campinas (Unicamp), se midió el impacto de los distintos mecanismos de selección que aplican los organismos de fomento de Brasil sobre el desempeño de sus becarios. La principal conclusión del estudio, con base en datos de un proyecto en el que fueron evaluados los programas de becas de la FAPESP, apunta que los becarios brasileños de iniciación a la investigación científica, maestría y doctorado cuyos proyectos fueron aprobados después de pasar por una evaluación individual realizada por miembros de la comunidad científica –el sistema conocido como evaluación por pares, tal como sucede en la FAPESP– publicaron más en revistas con mayor factor de impacto que aquéllos que, con sus solicitudes de becas rechazadas por la FAPESP, recibieron igual beneficio mediante cupos de becas para universidades del Consejo Nacional de Desarrollo Científico y Tecnológico (CNPq) y de la Coordinación de Perfeccionamiento del Personal de Nivel Superior (Capes). No obstante, en el estudio también se observó que los desempeños de ambos grupos tienden a aproximarse durante los cinco años posteriores a la conclusión del doctorado, a medida que empiezan a producir investigaciones autónomamente.
El trabajo muestra que alumnos de doctorado con apoyo de la FAPESP publicaron en promedio un 37% más artículos que postulantes cuyos proyectos fueron rechazados por la institución y que recibieron otro tipo de becas en igual período. “Una hipótesis indica que el modelo de evaluación por pares representa un filtro académico clásico al momento de evaluar proyectos de investigación”, explica Sérgio Salles-Filho, uno de los autores del artículo y coordinador adjunto de Programas Especiales de la FAPESP. El estudio evaluó alrededor de 55 mil artículos publicados por más de 8.500 investigadores que recibieron becas de iniciación a la investigación científica, maestría y doctorado de la FAPESP, el CNPq y la Capes entre 1995 y 2009. Para efectuar el análisis, los autores evaluaran la trayectoria académica de los becarios con base en la Plataforma Lattes, del CNPq, y estudiaron respuestas a cuestionarios online especialmente preparados para dicha evaluación. Ese contingente fue dividido en dos grupos: por un lado, los postulantes cuyos proyectos fueron aprobados por evaluadores de la FAPESP y, por otro lado, el grupo de control, formado por aquéllos cuyas solicitudes de becas la Fundación denegó, pero una agencia federal contempló. La comparación entre ambos grupos fue posible merced a la utilización de una metodología destinada a acercar características de los grupos de tratamiento y de control en un diseño cuasi experimental (lea en Pesquisa FAPESP, edición nº 224).
El efecto del sistema de evaluación por pares en la producción científica se observó en diferentes áreas del conocimiento. En la maestría, los becarios de la FAPESP publicaron un 24% más de artículos en ciencias agrarias y un 25% en ingenierías. En las restantes áreas no hubo diferencias significativas estadísticamente en términos de cantidad de publicaciones. Considerando las diferencias de factores de impacto de las revistas, los ex becarios de maestría de la FAPESP publicaron un 13% más en periódicos de mayor impacto, y se destacaron las áreas de ciencias agrarias (un 24% más) y biología (un 16% más).
Con relación al doctorado, la cantidad de publicaciones también fue mayor entre los ex becarios de la FAPESP en casi todas las áreas (véase el gráfico). No obstante, en lo que atañe al factor de impacto de las revistas, tan sólo el área de humanidades presentó superioridad (un 87% más de artículos). En las demás áreas, no hubo diferencias significativas, con excepción de la de ciencias sociales, en la cual los ex becarios de la FAPESP publicaron en revistas de menor impacto cuando se los comparó con el grupo de control: alrededor de un 67% menos.
De acuerdo con el estudio, la trayectoria profesional de los doctores en ciencias sociales exhibió un comportamiento peculiar. “Tal como vimos en el estudio, esos investigadores mostraron una menor inclinación al posdoctorado y un mayor índice de empleabilidad que en otras áreas, y un menor compromiso con el mundo de la investigación científica”, dice Adriana Bin, también docente de la Unicamp y autora principal del artículo.
Los autores del estudio observaron que luego de la conclusión del doctorado, ambos grupos de investigadores tienden a producir de acuerdo con estándares similares si se tiene en cuenta la cantidad de artículos y el factor de impacto de las revistas científicas en las cuales publican. A tal fin, se analizaron los cinco años anteriores al año de la defensa de tesis y los cinco años posteriores (véase el gráfico). Un dato que llamó la atención fue el hecho de que los becarios de la FAPESP exhibieron un aumento de los índices de publicación inmediatamente después de la obtención del título de doctor, en tanto que el grupo de control experimentó una pequeña disminución en la cantidad de artículos publicados. “Una de las hipótesis que explican este fenómeno indica que los becarios de la FAPESP se involucran de manera más rápida en actividades de investigación luego del doctorado”, explica Bin. De los investigadores que contaron con becas de la FAPESP, alrededor del 40% se vinculó al posdoctorado tan pronto como concluyeron el doctorado. Entre los que recibieron otras becas, el índice fue del 30%. Para Rogério Meneghini, coordinador científico de la biblioteca virtual SciELO Brasil, ésta es una información sorprendente. “En Brasil, la gran mayoría de los investigadores no hace su posdoctorado enseguida después del doctorado, y con la expansión de la cantidad de universidades públicas que se crearon en los últimos años, gran parte de los doctores se está dedicando a la enseñanza”, dice.
Dos pesos
El sistema que utilizan las agencias federales, conocido como modelo institucional, se basa en el desempeño de cada institución, en una clasificación nacional de programas de posgrado: las instituciones con los programas mejor evaluados reciben más becas. Cabe al propio programa de posgrado o a la universidad decidir sobre la distribución de las becas, y esto se lleva a cabo mediante la aplicación de criterios que varían según el caso: el currículo del postulante, su condición socioeconómica, una evaluación del proyecto o una combinación de todos ellos. En tanto, la revisión por pares que adopta la FAPESP también puede tener en cuenta indicadores de desempeño, pero evalúa individualmente y en profundidad el perfil del postulante y la calidad del proyecto, aparte de la experiencia del director tesis o supervisor. La diferencia esencial entre ambos sistemas, dice Salles-Filho, radica en que, en el de evaluación por pares, la agencia que otorga las becas tiene el dominio del proceso de evaluación de los proyectos, mediante el trabajo de investigadores calificados que emiten dictámenes orientando a la institución a conceder o no la beca. En tanto, en el otro sistema, la decisión está descentralizada. El modelo institucional también se vale de una forma particular de evaluación por pares. “No se puede afirmar que la evaluación por pares necesariamente asegure la selección del mejor candidato. No obstante, este proceso de selección es el método canónico de la ciencia y sigue siendo el modelo más respetado”, afirma Salles-Filho.
Los primeros programas de becas de posgrado empezaron a surgir en Estados Unidos y en Europa luego de la Segunda Guerra Mundial, en una época de expansión de la interferencia del Estado en la financiación de la investigación científica, asociada con altas inversiones en tecnología e innovación. Desde el comienzo, el principal mecanismo empleado para la concesión de becas se basaba en la evaluación por pares. Un artículo publicado en la revista Science en 1977 por investigadores de la Universidad de Columbia destacaba la importancia de ese modelo para la National Science Foundation (NSF), la principal agencia de fomento de la investigación básica de Estados Unidos, ya en aquella época. Dicho artículo rebate una crítica de ese tiempo, según la cual los evaluadores les daban preferencia a los proyectos de científicos de renombre y que publicaban más. Los autores argumentan que no había datos empíricos que atestiguasen que la evaluación por pares a cargo de la NSF fuese subjetiva.
El sistema siguió gozando de prestigio en el seno de la comunidad científica, y se lo adoptó en otras importantes instituciones de apoyo, tales como los Institutos Nacionales de Salud (NIH), que constituyen la principal institución de fomento de la investigación biomédica de Estados Unidos, y los Research Councils del Reino Unido. Algunas de estas instituciones incluyeron en sus evaluaciones internas estudios destinados a verificar los impactos de la revisión por pares en la producción científica de sus becarios. En 2002, por ejemplo, la NSF evaluó sus programas de becas de posgrado y arribó a la conclusión de que el sistema de revisión por pares tenía un efecto positivo en la producción académica de sus becarios. En algunas áreas, tales como matemática y economía, alumnos contemplados con becas de la NSF llegaron a publicar alrededor de tres artículos científicos más que el grupo de control, compuesto por becarios de organismos que no emplean el mecanismo de revisión por pares. Sin embargo, otros estudios muestran que es difícil confirmar la relación entre los sistemas de selección de becarios y su rendimiento en publicaciones científicas. Uno de éstos fue publicado por John Rigby, docente de la Universidad de Manchester, Inglaterra, en 2013. Rigby afirma que la aceptación de un proyecto por parte de una agencia de financiación no predice el impacto que la investigación podrá tener en el futuro.
La manutención de un ejército de evaluadores también constituye un desafío para las instituciones de fomento. En 2009, el Research Assessment Exercise (RAE) realizó un gran esfuerzo de apreciación de la calidad de la investigación científica en el Reino Unido y sustituyó su método basado primordialmente en la revisión por pares por un nuevo sistema, el Research Excellence Framework (REF), que si bien no abandona la evaluación por pares, hace un uso mayor de indicadores bibliométricos tales como la cantidad de citas de las publicaciones realizadas por los científicos (lea en Pesquisa FAPESP, edición nº 156). El objetivo del gobierno del Reino Unido consistió en disminuir costos y dotar de mayor agilidad a la evaluación. Este cambio dividió a la comunidad científica británica. “Tomadas de manera aislada, las citas se han mostrado repetidamente como una medida pobre de la calidad de la investigación científica”, según publicó en editorial, en esa época, la revista Nature, con respecto a los cambios anunciados, haciendo mención a un estudio de 1998 en el cual se compararon los resultados de dos análisis de un conjunto de artículos sobre física: en uno se aplicaban métricas como citas y el otro se basaba en la revisión por pares. Las divergencias llegaron al 25% de los artículos analizados. “A los formuladores de políticas no les queda otra opción a no ser el reconocimiento de que la revisión a cargo de expertos desempeña un papel indispensable en la evaluación”, se afirma en el editorial de Nature.
Artículo científico
BIN, A. et al. What difference does it make? Impact of peer-reviewed scholarships on scientific production. Scientometrics. v. 102, n. 2, p. 1167-88. 2015.
