Dos investigadores españoles recabaron nuevas evidencias acerca de la voluntad y la capacidad de las revistas científicas para responder a las denuncias de errores o de mala conducta en los artículos publicados. Se detectó que solamente uno de cada cinco papers señalados como problemáticos o sospechosos en una red social académica fue objeto de notas editoriales, declaraciones públicas en las que las revistas informan sobre la existencia de investigaciones al respecto del trabajo en cuestión, publican erratas o bien, en casos graves, anuncian la retractación del estudio declarándolo inválido.
En una investigación publicada en enero en la revista Profesional de la Información, el científico de la información José Luis Ortega y la científica de datos Lorena Delgado-Quirós rastrearon comentarios sobre el contenido de miles de artículos almacenados en el sitio web PubPeer, una plataforma digital con sede en Estados Unidos creada en 2012, a través de la cual se puede opinar sobre las conclusiones de cualquier paper y señalar eventuales errores e inconsistencias, en una especie de revisión por pares realizada con posterioridad a la publicación de los trabajos. Como las críticas y los análisis pueden hacerse en forma anónima, este foro en línea se ha convertido en un popular repositorio de denuncias de mala conducta.
Ambos investigadores examinaron una muestra compuesta por 17.244 artículos que recibieron comentarios en PubPeer hasta 2020. En 14.290 de esos artículos, lo que equivale al 82,9 %, se hallaron pruebas de fraude, manipulaciones, fallas metodológicas o errores cometidos de buena fe. No se tuvieron en cuenta las denuncias formuladas por robots, como las formuladas en 2016 por el software Statcheck, que detectó inconsistencias estadísticas en más de 50.000 trabajos del área de la psicología y publicó alertas automáticos en la lista de comentarios de cada uno de ellos en PubPeer (lea en Pesquisa FAPESP, edición nº 253).
El paso siguiente consistió en identificar si las denuncias tuvieron repercusiones. Para ello se analizaron los registros de bases de datos como PubMed, que recopila resúmenes de artículos de las áreas biomédicas, y del sitio web Retraction Watch, que monitorea las retractaciones. El resultado fue que tan solo el 21,5 % de los trabajos de la muestra señalados como problemáticos fue objeto de alguna declaración de sus editores. Dependiendo del tipo de error o de mala conducta, la cantidad de advertencias editoriales era variable; en términos relativos, fueron más frecuentes cuando la denuncia incluía fraude, categoría que abarca contravenciones tales como plagio, falsa autoría y manipulación de la revisión por pares: de 1.698 artículos que recibieron comentarios que incluían estas formas de mala conducta, 499 –el 29,4 %– dieron lugar a algún tipo de manifestación por parte de la revista. En cifras absolutas, la impugnación más frecuente incluía manipulación o falsificación de datos o imágenes. Fueron 10.989 papers, de los cuales 2.256 –el 20,5 %– motivaron reacciones editoriales. “Las revistas deben mejorar su respuesta a los artículos problemáticos”, escribieron Ortega y Delgado Quirós, ambos del Instituto de Estudios Sociales Avanzados de Córdoba, vinculado al Consejo Nacional de Investigaciones Científicas de España.
Los autores reconocen que este estudio tiene una limitación importante: las denuncias presentadas a PubPeer no siempre se basan en evidencias y, en una cantidad de casos difícil de calcular, pueden ser infundadas e injustas. Es posible que muchas denuncias hayan sido investigadas preliminarmente y desestimadas. Y como las publicaciones no lo registran abiertamente ni se jactan de este tipo de averiguaciones, no puede saberse cuántas han sido.
No obstante, algunas publicaciones son mucho más rigurosas que otras a la hora de evaluar y aportar transparencia al respecto de errores y casos de mala conducta, lo que parece dar cuenta de algunas deficiencias en los mecanismos de autocorrección de los registros científicos. El estudio mostró datos sobre las 10 revistas con más artículos problemáticos de la muestra evaluada. La centenaria Journal of Biological Chemistry, revista publicada por la Sociedad Estadounidense de Bioquímica y Biología Molecular, quedó al tope de la lista, con un 5,3 % de los artículos problemáticos de la muestra. Luego se ubicó PLOS ONE, con un 3,7 %. Pero ambas también fueron las que publicaron notas editoriales y fe de erratas con mayor frecuencia, en un 38,2 % y un 36,3 % de los casos respectivamente. En el caso de PLOS ONE, la respuesta está relacionada con la creación, en 2018, de un equipo abocado a la averiguación de los problemas éticos, tras haber sido objeto de una ola de denuncias de manipulación de imágenes en papers publicados entre 2014 y 2016 (lea en Pesquisa FAPESP, edición nº 319).
En el extremo opuesto, títulos tales como Oncotarget y Oncogene fueron los que menos reaccionaron, con respuestas para el 13 % y el 14,3 % de los trabajos denunciados respectivamente. Las áreas de ciencias de la vida (el 56,6 %) y ciencias de la salud (el 19,6 %) fueron las que más artículos sospechosos registraron. Las revistas con contenido multidisciplinario (el 28,6 %) publicaron más notas editoriales que las de ciencias de la vida (el 22,5 %) y de ciencias sociales y humanidades (el 21 %). “Esto sugiere que las revistas multidisciplinarias tendrían un mayor control sobre las publicaciones problemáticas”, escribieron los autores.
El índice de respuesta de las revistas fue mayor para los trabajos publicados más recientemente: entre los de 2019, se publicaron notas editoriales sobre el 34 % de los artículos. Según los autores, existen indicios de que la rigurosidad, si bien lentamente, ha ido aumentando año tras año. Otro hallazgo interesante del estudio apunta que las revistas prestigiosas, aquellas que ostentan los índices de cita más altos, concentran más denuncias de manipulación de imágenes, mientras que el plagio es la principal objeción en las revistas de bajo impacto.
La idea de que las revistas no siempre son capaces de activar los mecanismos de autocorrección no es nueva y ya ha sido delineada en otros estudios. En algunos, el número de artículos con problemas que escaparon de la retractación fue pequeño, lo que se atribuye al hecho de que los casos incluyeron denuncias formales ante organismos de averiguación. Un estudio publicado en 2007 en la revista Science and Engineering Ethics examinó casos de mala conducta en artículos del área biomédica descritos en los informes anuales de los Institutos Nacionales de Salud (NIH), que constituyen la agencia de investigación biomédica de Estados Unidos, y de la Oficina de Integridad Científica (ORI) de ese país, y verificó que el 83 % de los papers mencionados como defectuosos en esos informes fue objeto de retractación. En otros casos, la cifra de artículos sospechosos que no han sido retractados parece haber sido mucho mayor. En 2016, la microbióloga Elizabeth Bik inspeccionó manualmente imágenes de pruebas western blot –un método empleado en el ámbito de la biología molecular para identificar proteínas– divulgadas en 20.621 estudios del área biomédica publicados en 40 revistas entre 1995 y 2014 (lea en Pesquisa FAPESP, edición nº 245). Identificó imágenes alteradas en 782 papers, un 3,8 % del total, y en muchos de esos casos, según Bik, las modificaciones realizadas con Photoshop parecían intencionales y de carácter fraudulento. La investigadora informó a los editores de las publicaciones y les escribió a 10 instituciones en donde trabajaban investigadores responsables de problemas recurrentes. El saldo de la iniciativa, según reveló entonces, fue modesto: tan solo 6 artículos fueron retractados y 60 corregidos.
Republicar