{"id":531497,"date":"2024-10-10T13:46:28","date_gmt":"2024-10-10T16:46:28","guid":{"rendered":"https:\/\/revistapesquisa.fapesp.br\/?p=531497"},"modified":"2024-10-10T13:46:28","modified_gmt":"2024-10-10T16:46:28","slug":"un-algoritmo-estimula-la-revision-por-pares-constructiva-y-sin-groserias","status":"publish","type":"post","link":"https:\/\/revistapesquisa.fapesp.br\/es\/un-algoritmo-estimula-la-revision-por-pares-constructiva-y-sin-groserias\/","title":{"rendered":"Un algoritmo estimula la revisi\u00f3n por pares constructiva y sin groser\u00edas"},"content":{"rendered":"

\"\"C\u00e1ssia Roriz<\/span>\u201cMe temo que este manuscrito puede contribuir no tanto al avance del campo del conocimiento, sino m\u00e1s bien a su ca\u00edda.\u201d<\/em><\/p>\n

\u201c\u00bfTe dio un ataque cuando escribiste esa frase? Porque es lo que me pas\u00f3 a m\u00ed mientras le\u00eda.\u201d <\/em><\/p>\n

\u201cEste es un art\u00edculo que est\u00e1 luchando para no morirse.\u201d<\/em><\/p>\n

Los c\u00e1usticos y groseros comentarios anteriores, que nos hacen acordar a los insultos que circulan en las redes sociales, fueron retirados de dict\u00e1menes enviados a cient\u00edficos despu\u00e9s de que remitieron art\u00edculos para su publicaci\u00f3n en revistas o en congresos cient\u00edficos. Los autores esperaban que sus trabajos recibieran cr\u00edticas constructivas, que les permitieran mejorar los puntos d\u00e9biles y\/o que se\u00f1alaran nuevos caminos. Despu\u00e9s de todo, los evaluadores son sus pares, es decir, cient\u00edficos que trabajan en el mismo campo de conocimiento, que voluntariamente dedicaron su tiempo a leer versiones preliminares de los art\u00edculos de sus colegas. Sin embargo, en lugar de ayudar, estos evaluadores generaron una experiencia traum\u00e1tica, que puede resultar especialmente aterradora para los j\u00f3venes autores que est\u00e1n tratando de encontrar su camino en la carrera acad\u00e9mica.<\/p>\n

Pero, al fin y al cabo, esas groseras frases no fueron escritas en vano. Sucede que fueron recopiladas en cuatro bases de datos abiertos por cient\u00edficos inform\u00e1ticos del Instituto de Tecnolog\u00eda de Patna, en la India. Y forman parte de un conjunto de 2.716 frases pronunciadas en procesos de revisi\u00f3n por pares (algunas malhumoradas, otras educadas o neutras). Se utilizaron para crear un algoritmo, por ahora un prototipo, que si avanza podr\u00e1 ser \u00fatil para editores y revisores que deseen analizar el tono y la calidad de sus evaluaciones en ingl\u00e9s y modificarlas, de hacerse necesario. Este trabajo es una parte del doctorado del cient\u00edfico de la computaci\u00f3n Prabhat Kumar Bharti y sali\u00f3 publicado en febrero en la revista Scientometrics<\/em>.<\/p>\n

Para entrenar la herramienta, los investigadores indios utilizaron t\u00e9cnicas de ling\u00fc\u00edstica computacional y establecieron dos categor\u00edas \u2013 constructividad y pulidez (lea en el recuadro<\/em><\/a>) \u2013 con las cuales puede clasificarse una evaluaci\u00f3n. En un primer momento, las frases fueron analizadas por cuatro anotadores humanos, quienes llegaron a un consenso del 88,27 % al clasificar los niveles de constructividad y del 83,49 % para los de pulidez. Una vez entrenado, el modelo computacional coincidi\u00f3 con la clasificaci\u00f3n humana en el 87,4 % de las frases. El estudio se\u00f1al\u00f3 que, en general, cuanto m\u00e1s constructivo es el comentario, m\u00e1s educado tambi\u00e9n tiende a ser.<\/p>\n

No es ninguna novedad que las grandes bases de datos cient\u00edficos se utilizan para desarrollar y perfeccionar algoritmos y herramientas: en Brasil, la informaci\u00f3n proveniente de la plataforma de curr\u00edculums Lattes, analizadas computacionalmente, se utilizan para ampliar la comprensi\u00f3n sobre la actividad cient\u00edfica en el pa\u00eds, as\u00ed como para se\u00f1alar tendencias (lea <\/em>en Pesquisa FAPESP n\u00b0 233<\/em><\/a>). Bharti explic\u00f3 en su perfil de LinkedIn que el prop\u00f3sito de la l\u00ednea de investigaci\u00f3n es precisamente extraer nuevos conocimientos a partir de una gran cantidad de contenidos acad\u00e9micos. Junto a sus colaboradores destaca el potencial del modelo que desarrollaron en un sistema de comunicaci\u00f3n cient\u00edfica que re\u00fane m\u00e1s de 70 mil revistas con art\u00edculos cient\u00edficos revisados por pares (alrededor de 2 millones de manuscritos analizados por a\u00f1o). M\u00e1s que facilitar el trabajo de los cient\u00edficos evaluadores, uno de los objetivos del estudio, seg\u00fan los autores, es concientizar sobre los da\u00f1os causados por los juicios destructivos. \u201cAlgunos evaluadores han demostrado un comportamiento poco profesional, haciendo comentarios despectivos sobre el g\u00e9nero, la raza, el origen \u00e9tnico y el pa\u00eds de origen del autor\u201d, escribieron.<\/p>\n

El cient\u00edfico de la computaci\u00f3n Jes\u00fas Mena-Chalco, de la Universidad Federal del ABC (UFABC), sostiene que la creaci\u00f3n de herramientas como la propuesta por el grupo indio puede ser \u00fatil como primer filtro para los editores que tienen un gran volumen de dict\u00e1menes que evaluar. Relata que una vez fue v\u00edctima de un comentario que le exigi\u00f3 de manera grosera que presentase un certificado de revisi\u00f3n profesional del idioma ingl\u00e9s de su art\u00edculo. \u201cReconoc\u00ed la necesidad de mejorar el trabajo, pero la sugerencia podr\u00eda haber sido hecha de otra manera. Hay maneras de pedir: algunos nos van a estimular, mientras que otros har\u00e1n lo contrario\u201d, comenta.<\/p>\n

Para la ling\u00fcista Mar\u00eda Jos\u00e9 Borcony Finatto, de la Universidad Federal de Rio Grande do Sul (UFRGS) y especialista en ling\u00fc\u00edstica computacional, la propuesta de los indios arroja luz sobre un problema crucial en la revisi\u00f3n por pares. \u201cEste tema debe debatirse en diferentes ambientes, desde las revistas hasta las agencias cient\u00edficas de fomento\u201d, afirma la investigadora, quien tambi\u00e9n ya recibi\u00f3 una evaluaci\u00f3n inapropiada y grosera. \u201cEl mensaje fue desagradable y me atacaba como mujer investigadora\u201d, recuerda.<\/p>\n

La magnitud de este problema ya ha sido investigada en otros estudios. Un art\u00edculo publicado en 2019 mostr\u00f3 que el 58 % de 1.106 investigadores de 46 pa\u00edses dijeron haber recibido al menos una evaluaci\u00f3n no profesional por parte de una revista cient\u00edfica. Algunos de los participantes, todos de las \u00e1reas de ciencia, tecnolog\u00eda, ingenier\u00eda y matem\u00e1tica (CTIM), compartieron fragmentos de estas evaluaciones, tales como: \u201cFulano de tal intent\u00f3 lo mismo en los a\u00f1os 1990 y fracas\u00f3, pero era m\u00e1s creativo que t\u00fa\u201d; \u201cEste art\u00edculo es, sencillamente, esti\u00e9rcol\u201d; \u201cLa condici\u00f3n del autor como persona trans distorsion\u00f3 su visi\u00f3n del sexo m\u00e1s all\u00e1 de la realidad biol\u00f3gica\u201d. Este estudio de 2019 midi\u00f3 la percepci\u00f3n de los investigadores sobre los impactos de estos comentarios en tres aspectos: aptitud cient\u00edfica (confianza como cient\u00edfico), productividad (publicaciones por a\u00f1o) y progreso profesional (capacidad para avanzar dentro del campo). Los resultados indicaron que los hombres blancos eran m\u00e1s propensos a decir que la opini\u00f3n no les afectaba que los hombres negros, las mujeres y las personas no binarias blancas y negras. En otras palabras, los autores arribaron a la conclusi\u00f3n de que las investigadoras, y los investigadores de grupos minoritarios, parecen sentirse m\u00e1s afectados por estas evaluaciones groseras.<\/p>\n

\"\"C\u00e1ssia Roriz<\/span><\/p>\n

En busca de modelos constructivos
\n<\/strong>Si bien es cierto que la mayor\u00eda de las revistas cient\u00edficas tienen orientaciones para guiar la evaluaci\u00f3n por pares, no garantizan que el resultado sea constructivo ni profesional, seg\u00fan reflexiona la ling\u00fcista M\u00e1rcia Sipavicius Seide, de la Universidad Estadual del Oeste de Paran\u00e1 (Unioeste), editora de la revista Onom\u00e1stica desde Am\u00e9rica Latina<\/em>. Desde 2020, ella coordina grupos de redacci\u00f3n y cursos de formaci\u00f3n para editores como actividad de extensi\u00f3n universitaria y, en ocasiones, monitorea los dict\u00e1menes recibidos por los participantes sobre los art\u00edculos que fueron enviados para publicaci\u00f3n. \u201cAlgunos comentarios son rudos y no apuntan nuevas perspectivas. Si el dictamen no se\u00f1ala lo que est\u00e1 equivocado en el trabajo y simplemente lo rechaza, el autor no sabr\u00e1 por d\u00f3nde ir, lo que implica en una p\u00e9rdida para la ciencia en general\u201d.<\/p>\n

Esta percepci\u00f3n la motiv\u00f3 a crear modelos para evaluar la calidad de los dict\u00e1menes cient\u00edficos basados en r\u00f3tulos, es decir, conjuntos de criterios utilizados para medir el desempe\u00f1o de un texto escrito a trav\u00e9s de calificaciones, como ocurre en las redacciones de ingreso a la universidad. El objetivo es que estos criterios sean pedag\u00f3gicos, adecuados, justificados y se\u00f1alen caminos para la investigaci\u00f3n, en cualquier \u00e1rea del conocimiento. Seide propuso tres modelos: de aprobaci\u00f3n condicional de un art\u00edculo, en el que es necesario realizar ajustes; de desaprobaci\u00f3n, cuando el trabajo no ser\u00e1 aceptado, y de aprobaci\u00f3n directa, sin ajustes. Cada uno tiene cuatro criterios y cinco niveles, y suman entre 10 y 20 puntos: cuantos m\u00e1s puntos se obtienen, mejor ser\u00e1 la calidad del an\u00e1lisis. Fueron descritos en un art\u00edculo publicado en julio de 2023 en la Revista<\/em> Meta: Evaluaci\u00f3n<\/em>.<\/p>\n

En el caso de aceptaci\u00f3n condicional, uno de los criterios para que la evaluaci\u00f3n sea buena considera si el evaluador se dirige al autor, si le hace preguntas y le explica qu\u00e9 se puede hacer para mejorar el texto. Por otra parte, \u201cel texto de negaci\u00f3n debe ser cort\u00e9s, educado y no descalificar a quien escribi\u00f3 el manuscrito. Y el de aprobaci\u00f3n directa suma m\u00e1s puntos si justifica el elogio, declarando por qu\u00e9 el trabajo fue bien considerado\u201d, explica. Para la ling\u00fcista, evaluar un art\u00edculo es un proceso subjetivo, entonces los r\u00f3tulos pueden dejarlo m\u00e1s transparente. Desde 2023, \u00e9l est\u00e1 utilizando dicha metodolog\u00eda para evaluar los comentarios de los revisores de la revista Onom\u00e1stica<\/em>. \u201cSiempre confirmo si la evaluaci\u00f3n, cuando apunta defectos, hace tambi\u00e9n sugerencias encaminadas a resolver lo que se identific\u00f3 como un punto problem\u00e1tico en el art\u00edculo. Me importa que el autor se sienta motivado para seguir escribiendo\u201d.<\/p>\n

Para minimizar estos problemas existen publicaciones que buscan resaltar el trabajo de los buenos evaluadores. Desde 2008, American Physical sociedad <\/em>(APS) reconoce alrededor de 150 evaluadores \u201cque han sido excepcionalmente \u00fatiles en el an\u00e1lisis de manuscritos para su publicaci\u00f3n en revistas de APS<\/em>\u201d, seg\u00fan el sitio web de la instituci\u00f3n, que cuenta con una base de 91.600 evaluadores activos. En 2024, entre los 156 investigadores de 58 pa\u00edses destacados como Outstanding referees<\/em> se encuentra el f\u00edsico Paulo Campos, de la Universidad Federal de Pernambuco (UFPE), el \u00fanico brasile\u00f1o en la lista de este a\u00f1o. Para Campos, el camino de la cr\u00edtica constructiva consiste en apuntar caminos para que el art\u00edculo sea mejorado. \u201cSi presenta potencial de aprobaci\u00f3n, es necesario se\u00f1alar caminos y lagunas. Si se le negar\u00e1 la aprobaci\u00f3n, hay que se\u00f1alar los problemas\u201d, observa el f\u00edsico, que es evaluador de revistas de la APS <\/em>desde 2001. Considera fundamental el papel del editor cient\u00edfico a la hora de filtrar comentarios agresivos y solicitar aportes complementarios para los que no son constructivos.<\/p>\n

El editor de revistas del \u00e1rea de odontolog\u00eda, Sigmar de Mello Rode, explica que a menudo es necesario reformular los dict\u00e1menes o incluso demandar m\u00e1s explicaciones a los evaluadores que no respaldan adecuadamente sus sugerencias. Rode, investigador de la Universidade Estadual Paulista (Unesp), es presidente de la Asociaci\u00f3n Brasile\u00f1a de Editores Cient\u00edficos (Abec-Brasil), que cre\u00f3 un curso para evaluadores de art\u00edculos cient\u00edficos. La iniciativa trabaja el paso a paso de lo que es necesario observar para realizar un an\u00e1lisis cr\u00edtico y correcto. \u201cTuvimos m\u00e1s de 550 personas inscritas en dos a\u00f1os de curso y notamos que existe una demanda por saber c\u00f3mo hacer una buena evaluaci\u00f3n, porque muchas veces la informaci\u00f3n que le ofrecen las revistas a los evaluadores resulta insuficiente\u201d, dice Rode.<\/p>\n

\u201cTodav\u00eda se discute poco con relaci\u00f3n a las sombras del proceso de la revisi\u00f3n por pares, al cual muchas veces los autores no tienen acceso\u201d, comenta el especialista en tecnolog\u00eda y medios digitales Alex Mendon\u00e7a, coordinador del servidor SciELO Preprints. De acuerdo con su experiencia, es com\u00fan recibir de los editores de revistas hospedadas en la biblioteca SciELO relatos sobre problemas con evaluaciones destructivas o demasiado sucintas. \u201cNo existe una soluci\u00f3n milagrosa para afrontar esta situaci\u00f3n, pero hemos aceptado migrar hacia la ciencia abierta incluyendo la revisi\u00f3n por pares. A medida que los dict\u00e1menes se vayan volviendo p\u00fablicos, los evaluadores pensar\u00e1n m\u00e1s de una vez antes de escribir comentarios rudos y prejuiciosos\u201d. En Brasil, destaca el ejemplo de Bakhtiniana: Revista de Estudos do Discurso<\/em>, que pas\u00f3 a adjuntarle al contenido de los art\u00edculos recibidos el an\u00e1lisis cr\u00edtico de los evaluadores, mostrando su identidad. Eventualmente, el comentario puede recibir un DOI (Digital Object Identifier<\/em>), identificador \u00fanico para documentos digitales. \u201cDe esta manera, puede inclu\u00edrselo en el curr\u00edculum del evaluador, valorizando su trabajo y estimul\u00e1ndolo a elaborar un dictamen constructivo\u201d, explica Mendon\u00e7a.<\/a><\/p>\n<\/div>

\n \n \n \n <\/picture>Alexandre Affonso \/ Revista Pesquisa FAPESP<\/span><\/div>
\n

Art\u00edculos cient\u00edficos
\n<\/strong>BHARTI, P. K. et al.<\/em> Please be polite to your peers: A multi task model for assessing the tone and objectivity of critiques of peer review comments<\/a>. Scientometrics<\/strong>. feb. 2024
\nSILBIGER, N. J. y STUBLER, A. D. Unprofessional peer reviews disproportionately harm underrepresented groups in stem<\/a>. PeerJ<\/strong>. 7: e8247. dic. 2019.
\nSEIDE, M. S. Rubricas de avalia\u00e7\u00e3o de parecer cient\u00edfico<\/a>. Revista Meta: Avalia\u00e7\u00e3o<\/strong>, v. 15, n. 48, p. 620-40. jul. 2023.<\/p>\n","protected":false},"excerpt":{"rendered":"Dict\u00e1menes cient\u00edficos irrespetuosos, gen\u00e9ricos e incluso discriminatorios comprometen la eficacia de la evaluaci\u00f3n entre cient\u00edficos","protected":false},"author":684,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[189],"tags":[284],"coauthors":[2721],"class_list":["post-531497","post","type-post","status-publish","format-standard","hentry","category-politica-ct","tag-cienciometria-es","position_at_home-sumario"],"acf":[],"_links":{"self":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/531497","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/users\/684"}],"replies":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/comments?post=531497"}],"version-history":[{"count":5,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/531497\/revisions"}],"predecessor-version":[{"id":531520,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/531497\/revisions\/531520"}],"wp:attachment":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/media?parent=531497"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/categories?post=531497"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/tags?post=531497"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/coauthors?post=531497"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}