{"id":190224,"date":"2015-03-13T15:15:30","date_gmt":"2015-03-13T18:15:30","guid":{"rendered":"http:\/\/revistapesquisa.fapesp.br\/?p=190224"},"modified":"2015-08-06T17:47:28","modified_gmt":"2015-08-06T20:47:28","slug":"desempenos-comparados","status":"publish","type":"post","link":"https:\/\/revistapesquisa.fapesp.br\/es\/desempenos-comparados\/","title":{"rendered":"Desempe\u00f1os comparados"},"content":{"rendered":"

\"030-033_RevisaoVeridiana Scarpelli <\/span>En un estudio publicado en la edici\u00f3n de enero de la revista Scientometrics<\/em>, realizado por el Grupo de Estudios sobre Organizaci\u00f3n de la Investigaci\u00f3n y la innovaci\u00f3n (Geopi), del Instituto de Geociencias de la Universidad de Campinas (Unicamp), se midi\u00f3 el impacto de los distintos mecanismos de selecci\u00f3n que aplican los organismos de fomento de Brasil sobre el desempe\u00f1o de sus becarios. La principal conclusi\u00f3n del estudio, con base en datos de un proyecto en el que fueron evaluados los programas de becas de la FAPESP, apunta que los becarios brasile\u00f1os de iniciaci\u00f3n a la investigaci\u00f3n cient\u00edfica, maestr\u00eda y doctorado cuyos proyectos fueron aprobados despu\u00e9s de pasar por una evaluaci\u00f3n individual realizada por miembros de la comunidad cient\u00edfica \u2013el sistema conocido como evaluaci\u00f3n por pares, tal como sucede en la FAPESP\u2013 publicaron m\u00e1s en revistas con mayor factor de impacto que aqu\u00e9llos que, con sus solicitudes de becas rechazadas por la FAPESP, recibieron igual beneficio mediante cupos de becas para universidades del Consejo Nacional de Desarrollo Cient\u00edfico y Tecnol\u00f3gico (CNPq) y de la Coordinaci\u00f3n de Perfeccionamiento del Personal de Nivel Superior (Capes). No obstante, en el estudio tambi\u00e9n se observ\u00f3 que los desempe\u00f1os de ambos grupos tienden a aproximarse durante los cinco a\u00f1os posteriores a la conclusi\u00f3n del doctorado, a medida que empiezan a producir investigaciones aut\u00f3nomamente.<\/p>\n

El trabajo muestra que alumnos de doctorado con apoyo de la FAPESP publicaron en promedio un 37% m\u00e1s art\u00edculos que postulantes cuyos proyectos fueron rechazados por la instituci\u00f3n y que recibieron otro tipo de becas en igual per\u00edodo. \u201cUna hip\u00f3tesis indica que el modelo de evaluaci\u00f3n por pares representa un filtro acad\u00e9mico cl\u00e1sico al momento de evaluar proyectos de investigaci\u00f3n\u201d, explica S\u00e9rgio Salles-Filho, uno de los autores del art\u00edculo y coordinador adjunto de Programas Especiales de la FAPESP. El estudio evalu\u00f3 alrededor de 55 mil art\u00edculos publicados por m\u00e1s de 8.500 investigadores que recibieron becas de iniciaci\u00f3n a la investigaci\u00f3n cient\u00edfica, maestr\u00eda y doctorado de la FAPESP, el CNPq y la Capes entre 1995 y 2009. Para efectuar el an\u00e1lisis, los autores evaluaran la trayectoria acad\u00e9mica de los becarios con base en la Plataforma Lattes, del CNPq, y estudiaron respuestas a cuestionarios online<\/em> especialmente preparados para dicha evaluaci\u00f3n. Ese contingente fue dividido en dos grupos: por un lado, los postulantes cuyos proyectos fueron aprobados por evaluadores de la FAPESP y, por otro lado, el grupo de control, formado por aqu\u00e9llos cuyas solicitudes de becas la Fundaci\u00f3n deneg\u00f3, pero una agencia federal contempl\u00f3. La comparaci\u00f3n entre ambos grupos fue posible merced a la utilizaci\u00f3n de una metodolog\u00eda destinada a acercar caracter\u00edsticas de los grupos de tratamiento y de control en un dise\u00f1o cuasi experimental (lea en<\/em> Pesquisa FAPESP, \u00a0edici\u00f3n n\u00ba 224<\/em><\/a>).<\/p>\n

El efecto del sistema de evaluaci\u00f3n por pares en la producci\u00f3n cient\u00edfica se observ\u00f3 en diferentes \u00e1reas del conocimiento. En la maestr\u00eda, los becarios de la FAPESP publicaron un 24% m\u00e1s de art\u00edculos en ciencias agrarias y un 25% en ingenier\u00edas. En las restantes \u00e1reas no hubo diferencias significativas estad\u00edsticamente en t\u00e9rminos de cantidad de publicaciones. Considerando las diferencias de factores de impacto de las revistas, los ex becarios de maestr\u00eda de la FAPESP publicaron un 13% m\u00e1s en peri\u00f3dicos de mayor impacto, y se destacaron las \u00e1reas de ciencias agrarias (un 24% m\u00e1s) y biolog\u00eda (un 16% m\u00e1s).<\/p>\n

Con relaci\u00f3n al doctorado, la cantidad de publicaciones tambi\u00e9n fue mayor entre los ex becarios de la FAPESP en casi todas las \u00e1reas (v\u00e9ase el gr\u00e1fico<\/a><\/em>). No obstante, en lo que ata\u00f1e al factor de impacto de las revistas, tan s\u00f3lo el \u00e1rea de humanidades present\u00f3 superioridad (un 87% m\u00e1s de art\u00edculos). En las dem\u00e1s \u00e1reas, no hubo diferencias significativas, con excepci\u00f3n de la de ciencias sociales, en la cual los ex becarios de la FAPESP publicaron en revistas de menor impacto cuando se los compar\u00f3 con el grupo de control: alrededor de un 67% menos.<\/p>\n

De acuerdo con el estudio, la trayectoria profesional de los doctores en ciencias sociales exhibi\u00f3 un comportamiento peculiar. \u201cTal como vimos en el estudio, esos investigadores mostraron una menor inclinaci\u00f3n al posdoctorado y un mayor \u00edndice de empleabilidad que en otras \u00e1reas, y un menor compromiso con el mundo de la investigaci\u00f3n cient\u00edfica\u201d, dice Adriana Bin, tambi\u00e9n docente de la Unicamp y autora principal del art\u00edculo.<\/p>\n

\"030-033_Revisao_229-01\"<\/a><\/p>\n

Los autores del estudio observaron que luego de la conclusi\u00f3n del doctorado, ambos grupos de investigadores tienden a producir de acuerdo con est\u00e1ndares similares si se tiene en cuenta la cantidad de art\u00edculos y el factor de impacto de las revistas cient\u00edficas en las cuales publican. A tal fin, se analizaron los cinco a\u00f1os anteriores al a\u00f1o de la defensa de tesis y los cinco a\u00f1os posteriores (v\u00e9ase el gr\u00e1fico<\/a><\/em>). Un dato que llam\u00f3 la atenci\u00f3n fue el hecho de que los becarios de la FAPESP exhibieron un aumento de los \u00edndices de publicaci\u00f3n inmediatamente despu\u00e9s de la obtenci\u00f3n del t\u00edtulo de doctor, en tanto que el grupo de control experiment\u00f3 una peque\u00f1a disminuci\u00f3n en la cantidad de art\u00edculos publicados. \u201cUna de las hip\u00f3tesis que explican este fen\u00f3meno indica que los becarios de la FAPESP se involucran de manera m\u00e1s r\u00e1pida en actividades de investigaci\u00f3n luego del doctorado\u201d, explica Bin.\u00a0De los investigadores que contaron con becas de la FAPESP, alrededor del 40% se vincul\u00f3 al posdoctorado tan pronto como concluyeron el doctorado. Entre los que recibieron otras becas, el \u00edndice fue del 30%. Para Rog\u00e9rio Meneghini, coordinador cient\u00edfico de la biblioteca virtual SciELO Brasil, \u00e9sta es una informaci\u00f3n sorprendente. \u201cEn Brasil, la gran mayor\u00eda de los investigadores no hace su posdoctorado enseguida despu\u00e9s del doctorado, y con la expansi\u00f3n de la cantidad de universidades p\u00fablicas que se crearon en los \u00faltimos a\u00f1os, gran parte de los doctores se est\u00e1 dedicando a la ense\u00f1anza\u201d, dice.<\/span><\/p>\n

Dos pesos
\n<\/strong>El sistema que utilizan las agencias federales, conocido como modelo institucional, se basa en el desempe\u00f1o de cada instituci\u00f3n, en una clasificaci\u00f3n nacional de programas de posgrado: las instituciones con los programas mejor evaluados reciben m\u00e1s becas. Cabe al propio programa de posgrado o a la universidad decidir sobre la distribuci\u00f3n\u00a0 de las becas, y esto se lleva a cabo mediante la aplicaci\u00f3n de criterios que var\u00edan seg\u00fan el caso: el curr\u00edculo del postulante, su condici\u00f3n socioecon\u00f3mica, una evaluaci\u00f3n del proyecto o una combinaci\u00f3n de todos ellos. En tanto, la revisi\u00f3n por pares que adopta la FAPESP tambi\u00e9n puede tener en cuenta indicadores de desempe\u00f1o, pero eval\u00faa individualmente y en profundidad el perfil del postulante y la calidad del proyecto, aparte de la experiencia del director tesis o supervisor. La diferencia esencial entre ambos sistemas, dice Salles-Filho, radica en que, en el de evaluaci\u00f3n por pares, la agencia que otorga las becas tiene el dominio del proceso de evaluaci\u00f3n de los proyectos, mediante el trabajo de investigadores calificados que emiten dict\u00e1menes orientando a la instituci\u00f3n a conceder o no la beca. En tanto, en el otro sistema, la decisi\u00f3n est\u00e1 descentralizada. El modelo institucional tambi\u00e9n se vale de una forma particular de evaluaci\u00f3n por pares. \u201cNo se puede afirmar que la evaluaci\u00f3n por pares necesariamente asegure la selecci\u00f3n del mejor candidato. No obstante, este proceso de selecci\u00f3n es el m\u00e9todo can\u00f3nico de la ciencia y sigue siendo el modelo m\u00e1s respetado\u201d, afirma Salles-Filho.<\/p>\n

\"030-033_Revisao_229-02\"<\/a>Los primeros programas de becas de posgrado empezaron a surgir en Estados Unidos y en Europa luego de la Segunda Guerra Mundial, en una \u00e9poca de expansi\u00f3n de la interferencia del Estado en la financiaci\u00f3n de la investigaci\u00f3n cient\u00edfica, asociada con altas inversiones en tecnolog\u00eda e innovaci\u00f3n. Desde el comienzo, el principal mecanismo empleado para la concesi\u00f3n de becas se basaba en la evaluaci\u00f3n por pares. Un art\u00edculo publicado en la revista Science<\/em> en 1977 por investigadores de la Universidad de Columbia destacaba la importancia de ese modelo para la National Science Foundation (NSF), la principal agencia de fomento de la investigaci\u00f3n b\u00e1sica de Estados Unidos, ya en aquella \u00e9poca. Dicho art\u00edculo rebate una cr\u00edtica de ese tiempo, seg\u00fan la cual los evaluadores les daban preferencia a los proyectos de cient\u00edficos de renombre y que publicaban m\u00e1s. Los autores argumentan que no hab\u00eda datos emp\u00edricos que atestiguasen que la evaluaci\u00f3n por pares a cargo de la NSF fuese subjetiva.<\/p>\n

El sistema sigui\u00f3 gozando de prestigio en el seno de la comunidad cient\u00edfica, y se lo adopt\u00f3 en otras importantes instituciones de apoyo, tales como los Institutos Nacionales de Salud (NIH), que constituyen la principal instituci\u00f3n de fomento de la investigaci\u00f3n biom\u00e9dica de Estados Unidos, y los Research Councils del Reino Unido. Algunas de estas instituciones incluyeron en sus evaluaciones internas estudios destinados a verificar los impactos de la revisi\u00f3n por pares en la producci\u00f3n cient\u00edfica de sus becarios. En 2002, por ejemplo, la NSF evalu\u00f3 sus programas de becas de posgrado y arrib\u00f3 a la conclusi\u00f3n de que el sistema de revisi\u00f3n por pares ten\u00eda un efecto positivo en la producci\u00f3n acad\u00e9mica de sus becarios. En algunas \u00e1reas, tales como matem\u00e1tica y econom\u00eda, alumnos contemplados con becas de la NSF llegaron a publicar alrededor de tres art\u00edculos cient\u00edficos m\u00e1s que el grupo de control, compuesto por becarios de organismos que no emplean el mecanismo de revisi\u00f3n por pares. Sin embargo, otros estudios muestran que es dif\u00edcil confirmar la relaci\u00f3n entre los sistemas de selecci\u00f3n de becarios y su rendimiento en publicaciones cient\u00edficas. Uno de \u00e9stos fue publicado por John Rigby, docente de la Universidad de Manchester, Inglaterra, en 2013. Rigby afirma que la aceptaci\u00f3n de un proyecto por parte de una agencia de financiaci\u00f3n no predice el impacto que la investigaci\u00f3n podr\u00e1 tener en el futuro.<\/p>\n

La manutenci\u00f3n de un ej\u00e9rcito de evaluadores tambi\u00e9n constituye un desaf\u00edo para las instituciones de fomento. En 2009, el Research Assessment Exercise (RAE) realiz\u00f3 un gran esfuerzo de apreciaci\u00f3n de la calidad de la investigaci\u00f3n cient\u00edfica en el Reino Unido y sustituy\u00f3 su m\u00e9todo basado primordialmente en la revisi\u00f3n por pares por un nuevo sistema, el Research Excellence Framework (REF), que si bien no abandona la evaluaci\u00f3n por pares, hace un uso mayor de indicadores bibliom\u00e9tricos tales como la cantidad de citas de las publicaciones realizadas por los cient\u00edficos (lea en<\/em> Pesquisa FAPESP, \u00a0edici\u00f3n n\u00ba 156<\/em><\/a>). El objetivo del gobierno del Reino Unido consisti\u00f3 en disminuir costos y dotar de mayor agilidad a la evaluaci\u00f3n. Este cambio dividi\u00f3 a la comunidad cient\u00edfica brit\u00e1nica. \u201cTomadas de manera aislada, las citas se han mostrado repetidamente como una medida pobre de la calidad de la investigaci\u00f3n cient\u00edfica\u201d, seg\u00fan public\u00f3 en editorial, en esa \u00e9poca, la revista Nature<\/em>, con respecto a los cambios anunciados, haciendo menci\u00f3n a un estudio de 1998 en el cual se compararon los resultados de dos an\u00e1lisis de un conjunto de art\u00edculos sobre f\u00edsica: en uno se aplicaban m\u00e9tricas como citas y el otro se basaba en la revisi\u00f3n por pares. Las divergencias llegaron al 25% de los art\u00edculos analizados. \u201cA los formuladores de pol\u00edticas no les queda otra opci\u00f3n a no ser el reconocimiento de que la revisi\u00f3n a cargo de expertos desempe\u00f1a un papel indispensable en la evaluaci\u00f3n\u201d, se afirma en el editorial de Nature<\/em>.<\/p>\n

Art\u00edculo cient\u00edfico
\n<\/em>BIN, A. et al<\/em>. What difference does it make? Impact of peer-reviewed scholarships on scientific production<\/a>. Scientometrics<\/strong>. v. 102, n. 2, p. 1167-88. 2015.<\/p>\n","protected":false},"excerpt":{"rendered":"Proyectos elegidos por pares salen en revistas con mayor impacto","protected":false},"author":421,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[189],"tags":[284],"coauthors":[740],"class_list":["post-190224","post","type-post","status-publish","format-standard","hentry","category-politica-ct","tag-cienciometria-es"],"acf":[],"_links":{"self":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/190224","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/users\/421"}],"replies":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/comments?post=190224"}],"version-history":[{"count":0,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/190224\/revisions"}],"wp:attachment":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/media?parent=190224"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/categories?post=190224"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/tags?post=190224"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/coauthors?post=190224"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}