La Biblioteca Cochrane, una colección de bancos de datos con sede en el Reino Unido, presentó un nuevo conjunto de directrices para ayudar a identificar artículos científicos con errores, sesgos o indicios de fraude. El objetivo es evitar que los trabajos defectuosos socaven la credibilidad de la cartera de la biblioteca, compuesta por 7.500 revisiones de la literatura científica sobre temas de salud, y diseñada para proporcionarles a médicos y enfermeros información de calidad para su labor.
Los responsables de las revisiones, expertos encargados de recopilar y comparar las evidencias científicas obtenidas en diversos papers y ensayos clínicos, ahora disponen de directrices formales sobre qué hacer si algún artículo que habían seleccionado es retractado (dependiendo de la implicación del problema, la revisión también podrá cancelarse y deberá rehacerse) o se lo marca con el sello “expresión de preocupación”, una marca que indica que podría contener errores y se lo está revaluando. En este último caso, la revisión debe exhibir una nota informando sobre las sospechas y advirtiendo que el texto podría ser actualizado.
La tarea se vuelve más compleja y exigente cuando existen razones como para dudar de la confiabilidad de un resultado, pero no hay una retractación o una sospecha formal que involucre al trabajo. En este caso, se recomienda contactar a los autores del estudio y exponerles claramente las dudas, empleando un lenguaje neutro, sin llegar a acusarlos de incurrir en mala conducta. El mismo procedimiento debe seguirse con el editor del periódico científico donde se publicó el estudio.
También es posible tomar otras medidas. Una de las sugerencias es el uso de checklists, para comparar si los estudios se hicieron correctamente. Una de ellas contiene 58 elementos y ya la están utilizando los editores de revistas para evaluar manuscritos. La han llamado Reappraised, una sigla que está compuesta por las iniciales en inglés de las 11 dimensiones evaluadas: gobernanza de la investigación, ética, autoría, productividad, plagio, conducta científica, análisis y métodos, manipuleo de imágenes, datos y estadísticas, errores y duplicación de datos. La lista analiza aspectos formales, tales como la confirmación de la aprobación del estudio por comisiones de ética y la presentación de una declaración especificando la contribución de cada autor. Y también cuestiona la solidez de los datos presentados. En el caso de un ensayo clínico, ¿la cantidad de participantes es compatible con el plazo utilizado para reclutarlos? ¿Los resultados son significativos estadísticamente? ¿Hay discrepancia entre los valores absolutos y los porcentajes? ¿La envergadura del trabajo involucrado en el estudio es compatible con el tamaño del grupo de investigación?
En un texto publicado al respecto de los cambios, tres editores de la biblioteca Cochrane hicieron hincapié en las dificultades que plantea la realización de una evaluación justa. Una de ellas alude a cómo definir un estudio “problemático”, ya que ello implica cierta carga subjetiva. “A los efectos de establecer la política de Cochrane, definimos a un estudio problemático como ‘cualquier estudio, publicado o no, que despierte serias dudas acerca de la confiabilidad de sus datos o sus resultados, independientemente de que el estudio haya sido formalmente retractado’, pero sabemos que estos términos tienen significados diferentes para distintos individuos, lo que denota un mayor o menor grado de seriedad”, escribieron los autores, Stephanie Boughton y Lisa Bero, editoras de integridad científica de la biblioteca, y Jack Wilkinson, editor de estadística.
Un problema adicional reside en que las estrategias de verificación disponibles no han sido comprobadas en profundidad ni validadas: los editores subrayan la necesidad de llevar a cabo estudios para determinar su eficiencia en la identificación de errores y sesgos. “El uso de métodos no homologados implica el riesgo de detectar estudios problemáticos en forma exagerada o insuficiente. Es necesario ser cautos, porque si se califica a un estudio genuino como problemático, esto puede acarrear una revisión errónea y generar un perjuicio a la reputación de sus autores”.
En un artículo de opinión publicado en julio en la revista The British Medical Journal (BMJ), su antiguo editor, Richard Smith, profesor emérito de la Universidad de Warwick, deslizó un comentario sobre la iniciativa de la Biblioteca Cochrane y alertó sobre un problema de fondo: la presencia en la literatura científica de informes de ensayos clínicos que no se han llevado a cabo. Y citó como ejemplo un estudio publicado por el anestesiólogo John Carlisle, del Servicio Nacional de Salud del Reino Unido, que evaluó 536 ensayos clínicos remitidos para su publicación en la revista Anaesthesia entre 2017 y 2020. El trabajo salió publicado en la propia Anaesthesia, una revista prestigiosa vinculada a una asociación profesional del Reino Unido e Irlanda, que estaba interesada en detectar fallas en su proceso de evaluación. Ello se debe a que años antes había publicado papers fraudulentos de dos investigadores que en la actualidad son los campeones mundiales en cuanto a cantidad de artículos retractados: el japonés Yoshitaka Fujii y el alemán Joachim Boldt (lea en Pesquisa FAPESP, edición nº 272). Tan es así que el estudio de Carlisle constató que 73 ensayos –el 14 % del total– contenían datos manipulados y 43, el equivalente al 8 %, eran “zombis”. Es decir, sus resultados habían sido inventados. La mayoría de los fraudes se referían a ensayos realizados en Egipto, China, India, Irán, Japón, Corea del Sur y Turquía.
Sin acceso a los datos primarios de los ensayos, los autores de las revisiones de la literatura pueden ser engañados. Smith también alude en su artículo al caso de un colega suyo, Ian Roberts, de la Escuela de Higiene y Medicina Tropical de Londres, autor de una revisión de la literatura acerca de un tratamiento para las lesiones cerebrales que, tal como él descubrió tardíamente, estaba basado en ensayos cuyos datos probablemente eran fabricados.
Smith, quien durante años fue uno de los miembros del comité supervisor de Cochrane, atisba en la nueva política de la biblioteca un cambio de paradigma que, a su juicio, debería servir como guía para el análisis de los ensayos clínicos. “Puede que haya llegado el momento de dejar de asumir que la investigación realmente se ha realizado e informado honestamente, y pasar a presumir que la misma es fraudulenta hasta disponer de evidencias que prueben su veracidad y que fue informada honestamente”, dice.
Republicar