Ya a principios de la pandemia, dos artículos científicos sobre el nuevo coronavirus publicados en revistas científicas de renombre tuvieron amplio impacto y repercusión. El primero, divulgado el 1º de mayo de 2020 en New England Journal of Medicine, evaluó los efectos de algunos medicamentos para las enfermedades cardíacas en pacientes infectados con el Sars-CoV-2. El otro, publicado el 22 de mayo en The Lancet, sugería que la hidroxicloroquina, aparte de no ser eficaz contra el covid-19, incrementaba el riesgo de muerte por problemas cardíacos. Ambos estudios fueron retractados el 5 de junio debido a sospechas de fraude de la empresa que aportó los datos en los cuales se basaban sus conclusiones; y la imposibilidad de garantizar la veracidad de la información hizo inviable la comprobación de los resultados (lea en Pesquisa FAPESP, edición nº 293). Esto debería haber puesto fin a las trayectorias científicas de esos trabajos, pero no fue así. Según un estudio que llevaron a cabo investigadores de Australia y Suecia, aun cuando fueron anulados, siguieron acumulando citas en la literatura especializada como si fueran válidos.
Con base en los datos de la plataforma Retraction Watch, que rastrea los artículos científicos dados de baja por errores o mala conducta, se analizaron 212 papers sobre el covid-19 retractados hasta enero de 2022. Una cuarta parte presentaba hallazgos clínicos de importancia para el tratamiento de las personas afectadas por la enfermedad. Los autores constataron que estos estudios habían recibido 1.036 citas, el 80 % de las mismas después de haber sido declarados inválidos. Además, el 86 % no indicaba que habían sido retractados, propagando la falsa idea de que la comunidad científica aún los consideraba válidos. “En teoría, los científicos solamente deberían citar los estudios retractados en forma crítica, dejando en claro que se están refiriendo a datos inválidos y sin credibilidad”, subrayó el politólogo y sociólogo Steve McDonald, investigador de la Facultad de Salud Pública y Medicina Preventiva de la Universidad Monash, en Australia, uno de los autores del estudio, publicado en junio como preprint en la plataforma medRxiv. “No obstante, hemos constatado que en muchos casos no los citaron como una retractación, sino como prueba de que ‘esta intervención concreta es eficaz’ o ‘no hay nada erróneo en esta investigación’. En otras palabras, citaron acríticamente papers anulados”.
Los investigadores examinaron casos específicos de artículos retractados sobre covid-19, “pero basándome en mi experiencia, es razonable suponer que lo mismo esté ocurriendo con artículos sobre otros temas, sobre todo porque parecen ser escasos los científicos que verifican criteriosamente los trabajos que citan en sus manuscritos antes de publicarlos”, declaró a la revista The Scientist el epidemiólogo Gideon Meyerowitz-Katz, de la Facultad de Salud y Sociedad de la Universidad Wollongong, en Australia, uno de los autores de la investigación.
Ciertamente, el descuido no es algo infrecuente. En los últimos años, varios estudios han llamado la atención sobre este fenómeno que afecta la integridad de la producción científica. En uno de ellos, publicado a finales de 2020, investigadores de la Universidad de Illinois, en Estados Unidos, y de Adelaida, en Australia, analizaron el itinerario de un artículo del cirujano Wataru Matsuyama, de la Universidad Kagoshima, en Japón. El trabajo, publicado en 2005, presentaba los resultados de un ensayo clínico que demostraba los efectos positivos de la grasa poliinsaturada omega-3 en las personas con enfermedad pulmonar obstructiva crónica. Una investigación sobre la producción de Matsuyama derivó en la retractación del artículo en 2008 por falsificación de datos. Así y todo, los autores hallaron otros 35 papers que lo citaban directamente entre 2010 y 2019; y ninguno de ellos mencionaba su retractación. Recientemente, científicos de las universidades de Graz y Salzburgo, en Austria, analizaron artículos del anestesiólogo estadounidense Scott Reuben, quien fuera profesor de la Universidad Tufts, en Boston (EE. UU.), condenado a seis meses de prisión en 2009 por falsificar datos en trabajos publicados en las décadas de 1990 y 2000. Al revisar el índice de citas de varios artículos de Reuben, retractados o no, verificaron que sus trabajos habían sido citados en 420 oportunidades en otros artículos publicados entre 2009 y 2019: 360 aludían a trabajos anulados, y la mayoría no aclaraban que ya no se los consideraba válidos.
Los casos no terminan ahí. Muchos artículos siguen ejerciendo influencia luego de haber sido anulados, y estudiosos de distintas áreas tratan de entender los factores que convergen para que ellos sigan teniendo repercusión en la literatura científica. Lo que parece estar claro es que en la mayoría de los casos los autores no han caído en la cuenta de que están citando como referencia artículos inválidos. En parte, esto sucede porque existen copias de los papers anulados en diversos repositorios y no todos cuentan con mecanismos para actualizar el estatus de cada manuscrito, de manera que, al realizar una búsqueda de un tema en Google Académico, por ejemplo, el científico puede ser redirigido a las copias intactas de los artículos retractados. Lo ideal sería que las retractaciones siempre estuvieran señalizadas. “Plataformas como Research Gate podrían ser más eficientes en este sentido”, dice la microbióloga neerlandesa Elisabeth Bik, experta en identificación de errores y fraudes en la producción científica.
En estos casos, se corre el riesgo de que los trabajos anulados comprometan la validez de los artículos que los tomaron como base, y que estos induzcan a otros investigadores a perpetuar el error, contaminando la literatura científica con conocimientos erróneos y falsos que pueden poner en riesgo la vida de las personas. Para Bik, las editoriales deberían esforzarse más en comunicar las correcciones y retractaciones, aunque reconoce que sería difícil que fueran cien por ciento eficientes. “Esto es similar al caso de un fabricante que retira de circulación un producto defectuoso”, explica. “Resulta casi imposible localizar a todos los clientes que lo adquirieron”. A juicio del periodista Ivan Oransky, fundador del blog Retraction Watch, “el esfuerzo para evitar que los papers retractados sigan infiltrándose en la literatura científica debe ser compartido por toda la comunidad académica”.
Los esfuerzos para evitar la difusión de papers anulados deben ser una tarea compartida por toda la comunidad académica
Una de las iniciativas en tal sentido es el proyecto denominado Para Reducir la Propagación Inadvertida de la Ciencia Retractada (RISRS, por sus siglas en inglés), puesto en marcha en 2020 por el científico de la información Jodi Schneider, de la Facultad de Ciencia de la Información de la Universidad de Illinois en Urbana-Champaign (EE. UU.). La propuesta consiste en reunir a científicos, editores, oficinas de integridad en la investigación científica, consultores, entre otros representantes del ecosistema académico para debatir sobre el fenómeno y pensar alternativas para combatirlo. Las discusiones que han tenido lugar hasta ahora han dejado como resultado una serie de recomendaciones, como la creación de una plataforma que puedan utilizar todas las editoriales para realizar un seguimiento de los artículos anulados y comprobar si aparecen en las referencias de otros manuscritos aceptados recientemente. “Muchas han adoptado sistemas que les permiten a los lectores chequear si la versión del artículo que están consultando es la más reciente”, subraya Bik.
Otra derivación de la implementación del RISRS ha sido la creación, a finales de 2021, de un panel de expertos en el seno de la Organización Nacional de Normas de Información de Estados Unidos (Niso) para elaborar directrices sobre cómo deben comunicar las retractaciones, correcciones y “expresiones de preocupación” las editoriales, con declaraciones indicando que los resultados de determinado artículo están siendo reevaluados. “La propuesta se centrará en lo que sucede cuando el estudio es retractado, es decir, cuáles metadatos deben actualizarse, cómo puede señalarse la retractación y cómo se comunicará esta información a los interesados”, informó Schneider en una entrevista concedida al portal The Scholarly Kitchen. “Si la iniciativa prospera, los editores, servidores de preprints y repositorios de datos dispondrán de una orientación clara y normalizada sobre los metadatos y un estándar de visualización”.
“Esto será muy útil para los editores brasileños”, comenta Sigmar de Mello Rode, presidente de la Asociación Brasileña de Editores Científicos (Abec Brasil). Con todo, él subraya que “el mecanismo de control más eficaz para evitar la propagación de los artículos retractados sigue siendo una revisión por pares rigurosa y ética”.
Para el paleontólogo Alexander Kellner, director del Museo Nacional de la Universidad Federal de Río de Janeiro (UFRJ) y editor en jefe de la revista Anais da Academia Brasileira de Ciências, la lucha contra este problema en Brasil pasa por la profesionalización de los editores científicos. “Las revistas brasileñas son administradas por investigadores que deben lidiar con varias otras exigencias en su carrera, a diferencia de lo que sucede con las publicaciones principales de Estados Unidos y del Reino Unido, que cuentan con los recursos e infraestructura para desarrollar esta actividad”, dice. “No disponemos de recursos humanos y técnicos que nos permitan analizar cada referencia en los manuscritos que nos envían”. Bik advierte que ya existen mecanismos automáticos para ejecutar esa tarea a través de un software de gestión de referencias, tales como LibKey, Zotero y Endnote, que son capaces de cotejar el código de identificación de los estudios citados con la lista de más de 36.000 artículos retractados de la base de datos de Retraction Watch.
La bióloga Jacqueline Leta, del Instituto de Bioquímica Médica de la UFRJ, experta en cientometría, coincide en que sería útil adoptar herramientas automáticas para rastrear los artículos inválidos. “La mayoría de las revistas están utilizando distintos software para comprobar si los manuscritos enviados para publicar contienen plagio”, dice. “No sería muy difícil incluir en su rutina editorial la verificación de las referencias”. Al detectar una retractación, la revista les avisaría a los autores y les daría la opción de excluir la cita o bien indicarla solamente en una nota al pie de página, para evitar que su mención se compute en los índices de citas –que no distinguen entre referencias positivas y negativas– y genere distorsiones en uno de los mecanismos cuantitativos más utilizados para evaluar el desempeño de los investigadores, el índice h (lea en Pesquisa FAPESP, edición nº 207).
Leta también apunta al avance en otro frente. “Las notas de retractación no pueden ser ambiguas ni elusivas. Deben aportar transparencia y el mayor detalle posible sobre los problemas detectados en el artículo, incluyendo cuáles fueron los motivos, quién solicitó su anulación y si la misma fue consensuada entre los editores.
Incluso si son negativas, las citas que hacen referencia a artículos retractados dan repercusión a trabajos que deberían quedar en el olvido
En 1998, el médico británico Andrew Wakefield publicó un artículo en The Lancet en el que sugería que la vacuna triple viral (SPR) estaría asociada a casos de autismo en niños. El trabajo fue retractado en 2010 por problemas metodológicos y de mala conducta, pero eso no fue suficiente para mitigar sus efectos nocivos. El paper en cuestión sigue siendo una referencia para los movimientos antivacunas y sus resultados suelen ser dados por válidos en las redes sociales.
También sigue siendo objeto de discusión entre la comunidad científica. Un estudio coordinado por la bióloga Jacqueline Leta, de la UFRJ, indica que el trabajo recibió 1.577 citas en artículos indexados en la base de datos Scopus, el 53 % de las mismas con posterioridad a su retractación. Al analizar los 60 artículos que mencionaban el estudio de Wakefield y recibieron más de 100 citas cada uno, ella constató que la mayoría lo reconocían como un artículo inválido y aludían a él negativamente, poniendo de relieve sus problemas metodológicos e impacto pernicioso en la sociedad. “Así y todo”, dice Leta, “ayudan a promocionar a Wakefield, permitiendo que su nombre figure en revistas de alta circulación”.
Estos resultados ponen de manifiesto un aspecto paradójico de la crítica a los artículos anulados. Aunque destaquen que sus conclusiones son erróneas y traten de discutir sus efectos dañinos, esos trabajos promocionan papers que deberían ser olvidados.
Los científicos todavía no han llegado a un consenso sobre cómo lidiar con ello. Algunos sostienen que los artículos retractados deberían ser sacados de circulación, ya que perdieron su valor científico. Otros opinan que ni siquiera deberían ser objeto de nuevos estudios.
La microbióloga neerlandesa Elisabeth Bik no coincide con esta última idea. “Es importante que los artículos retractados puedan estudiarse”, dice. La práctica es válida, pero como los indicadores de productividad del autor no diferencian entre citas positivas y negativas, se recomienda que al aludir al artículo retractado se lo haga mediante una nota al pie, que es lo que hizo Leta con el paper de Wakefield, aunque el nombre del médico aparezca en el título del estudio.
