Imprimir Republish

PRODUCCIÓN CIENTÍFICA

Esfuerzo colectivo en la evaluación de preprints

Una iniciativa moviliza a investigadores para revisar rápidamente versiones preliminares de estudios sobre enfermedades infecciosas

Yagi Studio / Getty Images

La divulgación de las investigaciones sobre el nuevo coronavirus se agilizó en la pandemia gracias al uso de preprints, trabajos científicos aún no revisados por expertos en la materia, que se publican en plataformas de acceso abierto en cuanto están listos. Durante 12 semanas, entre junio y agosto, una iniciativa movilizó a una red de investigadores de todo Brasil para analizar 12 preprints sobre enfermedades infecciosas. Los estudios, todos en idioma portugués, habían sido publicados en el repositorio brasileño SciELO Preprints, una plataforma creada hace dos años por la biblioteca de revistas de acceso abierto SciELO. El objetivo era animar a que más científicos participen de este tipo de evaluación, que depende del voluntariado, proporcionando así rápidamente a los autores y lectores de los estudios una opinión acerca de la calidad de los resultados.

La selección de los trabajos y los evaluadores estuvo a cargo de la organización estadounidense ASAPBio, creada en 2015 para promover el uso de preprints en el ámbito de las ciencias de la vida. Este esfuerzo colectivo no tuvo lugar solamente en Brasil. En Estados Unidos, un equipo de revisores local está completando el análisis de unos 30 manuscritos sobre biología y bioquímica, escritos en inglés. “Queremos garantizar que todas las comunidades, independientemente del área del conocimiento, del idioma y de la región, intervengan en la comunicación científica a través de los preprints”, dijo Iratxe Puebla, directora asociada de ASAPBio.

“La experiencia fue productiva”, dice el experto en tecnología y medios digitales Alex Mendonça, coordinador de SciELO Preprints. Hubo manuscritos que atravesaron varias de las etapas de esta forma de comunicación científica. Se publicaron como preprints y fueron evaluados rápidamente por expertos, pero también se enviaron a revistas de la colección SciELO, que los están sometiendo a una revisión minuciosa. Al mismo tiempo, sus datos de investigación se encuentran almacenados en nuestro repositorio SciELO Data”. Decenas de investigadores solicitaron participar cuando los organizadores dieron a conocer la actividad. “Si hay un punto que puede mejorarse en futuras iniciativas es el de ampliar la cantidad de revisores”, dice Mendonça. “La participación del grupo fue desigual. Algunos contribuyeron con casi todos los artículos, mientras que otros estuvieron menos disponibles”.

Cada semana se elegía un estudio y se lo distribuía entre los revisores. Cada uno escribía sus consideraciones, que quedaban asentadas en un texto adjunto al PDF del manuscrito. En el mes de abril, Raphael Guimarães, de la Fundación Oswaldo Cruz, publicó en SciELO Preprints y en simultáneo envió a una revista científica uno de los trabajos evaluados por la iniciativa. Se trata de un estudio realizado en forma conjunta con Mariana Passos y Viviane Dutra, que analiza el “exceso de mortalidad” durante el primer año de la pandemia: la cantidad de muertes superó lo que cabría esperar con base en la tendencia de los cinco años anteriores. El excedente podría haber sido causado por los casos de covid-19 y también por las deficiencias en la atención de otras enfermedades durante la emergencia sanitaria.

Según el estudio, el exceso de mortalidad en el país, durante 2020, fue de un 19 %. Los fallecimientos por enfermedades infecciosas, entre las cuales se encuadra el covid-19, fueron en un 80 % superiores a lo esperado, pero también se destacaron otras causas no relacionadas con el nuevo coronavirus. Las muertes relacionadas con los trastornos mentales fueron un 29 % superiores al promedio y las de mujeres embarazadas, un 27 % más. En cuanto a las enfermedades endócrinas y cardiovasculares, el índice fue un 16 % superior.

Tan solo dos meses después de enviar el trabajo, Guimarães recibió una respuesta de los revisores del preprint y de los editores de la revista –la Revista Brasileira de Epidemiologia–, que aceptaron publicar el artículo. En este caso, los aportes de ambos procesos fueron complementarios. El grupo de seis evaluadores del preprint se ciñó a los aspectos formales y sugirió la incorporación de datos y explicaciones. “El original no contenía detalles porque optamos por publicar una comunicación rápida, en la que los resultados generales se presentan en textos breves”, explica Guimarães. En cambio, los revisores de la revista propusieron análisis más profundos, y consideraron que el manuscrito contenía material para ser más extenso. “Tomamos las sugerencias de los dos grupos y reescribimos el artículo, que pasó de 900 palabras a más de 3.000”, dice Guimarães.

En algunos casos, los autores consideraron que las evaluaciones de los preprints eran un tanto genéricas. Fabianne Dias de Sousa, del Departamento de Enfermería de la Universidad Federal de Pará, presentó junto con sus colaboradores una investigación realizada con 49 pacientes que tuvieron covid-19, fueron hospitalizados en un nosocomio de Belém y, tras el alta, siguieron siendo atendidos en sus domicilios por profesionales médicos. El estudio demostró que los cuidados domiciliarios tuvieron un nivel satisfactorio en la muestra y sirvió para validar un cuestionario desarrollado para medir su eficacia. “Utilizamos gran parte de las contribuciones para elaborar una segunda versión del trabajo, que ha sido presentado a una revista”, explica Sousa. Ella aceptó las sugerencias formales, pero consideró que otras no tenían sentido, como la eliminación de la mención a las rehospitalizaciones en el resumen del artículo. “Me pareció que los revisores no tenían un conocimiento detallado sobre los cuidados transitorios, un tema que se aborda en el artículo”, dice.

Una ventaja que señalaron la mayoría de los autores es la posibilidad de obtener una devolución rápida y promover un diálogo con interlocutores calificados al respecto de los resultados. “La producción de un artículo científico puede llegar a ser una tarea solitaria. Lo habitual es enviar el manuscrito a una revista y aguardar durante meses la respuesta de los revisores. La evaluación durante la fase de preprint ayuda a romper este aislamiento”, dice la economista Raquel Maria Soares Freitas, quien realiza una maestría en Gestión de Políticas Públicas en la Universidad de São Paulo (USP). Ella es la coautora de un estudio redactado en forma conjunta con la abogada Marta Battaglia Custódio –ambas trabajan en el Ministerio de Ciudadanía–, que analiza las tasas de mortalidad de los ancianos de 65 a 85 años que recibieron el Beneficio de Prestación Continua (BPC) –una pensión permanente no contributiva– entre 2015 y 2021. El BPC, cuyo monto es el de un salario mínimo mensual, se concede a los ancianos y discapacitados que no tienen medios de subsistencia. El estudio comparó los datos de los dos primeros años de la pandemia con los de los años previos. Los resultados confirman que en ese grupo hubo un incremento en la tasa de mortalidad de un 18,76 % en 2020, y de un 21,64 % en 2021, en comparación con el período comprendido entre 2005 y 2019.

El grupo de evaluadores recomendó desarrollar varios puntos. Una sugerencia llevó a las autoras a confeccionar no solo las tablas de mortalidad separadas por sexo y rango de edad de los beneficiarios, sino también las cifras consolidadas por año. “Cuando vimos esos datos, surgieron nuevos interrogantes que tuvimos que incluir en el artículo”, dice Battaglia. Uno de ellos aludía a un pico de mortalidad en 2016, que quedó evidenciado en las tablas añadidas. “Planteamos como hipótesis que ese aumento tuvo relación con la epidemia de gripe H1N1 y que un cambio en el sistema de gestión del BPC en 2016 podría haber incluido muertes que se habían producido con anterioridad”, dice. En agosto, las dos investigadoras presentaron una nueva versión del manuscrito, que contempla buena parte de las sugerencias, y ahora van a enviarlo a una revista científica.

Para los evaluadores, la experiencia también fue útil. La farmacéutica Mariana de Almeida Rosa Rezende fue una de las voluntarias seleccionadas. Estudiante de doctorado en la Universidad Federal de Juiz de Fora, campus de Governador Valadares, en Minas Gerais, ella se enteró de la iniciativa en un sitio web de internet y vislumbró la oportunidad de entrar en contacto con temas emergentes. “En los trabajos sobre temas que conozco en profundidad, hice recomendaciones que atañen a la bibliografía y a una descripción adecuada de la metodología. En otros, me centré en los problemas en los aspectos formales. Un punto que preocupa es la ausencia de datos importantes en el resumen”. Lo que más aprecio fue el carácter colectivo de la revisión. “Los evaluadores tienen perfiles diferentes. Algunos hacen hincapié en los errores ortográficos y en la conjugación de los verbos, mientras que otros marcan problemas estructurales o sugieren bibliografía. Aprendí mucho de mis colegas y utilizaré este aprendizaje en mi producción”, explica.

Alex Mendonça, de SciELO Preprints, dice que la experiencia ayudó a inspirar cambios en el sitio web del repositorio. “Hoy en día, no es fácil encontrar los comentarios realizados por los revisores. Hay que ingresar al PDF del manuscrito y realizar una búsqueda en un campo específico. Vamos a darle más visibilidad a esos aportes, agrupando todos los comentarios en una página de nuestra plataforma”.

Republicar