La Real Academia de Artes y Ciencias de Holanda emitió un documento proponiendo cambios en las prácticas de investigación científica con el fin de afrontar aquello que se acordó en denominar “crisis de reproducibilidad”, una andanada de casos de artículos científicos que quedaron desacreditados porque sus resultados no han podido confirmarse en experimentos ulteriores.
Las recomendaciones del informe que se divulgó en el mes de enero, intitulado Estudios de replicación – Para mejorar la reproducibilidad en las ciencias empíricas, promueven un aumento de la rigurosidad con la que se efectúa el trabajo científico y ayudan a aquellos investigadores interesados en verificar los resultados obtenidos por pares. Una de las propuestas planteadas consiste en estimular la financiación de los estudios enfocados en ratificar otros estudios, siguiendo el ejemplo de la Organización Holandesa para la Investigación Científica (NWO, por sus siglas en holandés), que el año pasado destinó 3 millones de euros a un programa piloto en proyectos de esa naturaleza. Las sugerencias también incluyen reforzar la capacitación de científicos y estudiantes en temas tales como el diseño de experimentos y análisis estadístico, e incentivar a periódicos científicos a que publiquen aquellas investigaciones que no confirmaron las hipótesis testeadas, o bien arribaron a resultados nulos.
“El conocimiento sólo avanza si los científicos pueden confiar en los resultados de los estudios previos”, escribió en el prólogo del informe la presidenta de la Real Academia, José van Dijck, investigadora de medios y cultura de la Universidad de Utrecht. Según el análisis de la entidad, la producción de datos fidedignos es esencial para evitar el desperdicio de recursos en la investigación científica y garantizar la confianza del público en la ciencia. “En el informe se concluye que los estudios para reproducir otros estudios deben realizarse con mayor frecuencia y en forma sistemática, lo que exige un esfuerzo conjunto de agencias de fomento, investigadores, periódicos e instituciones científicas”, dijo Van Dijck.
El panorama de la “crisis de reproducibilidad” presentado en el informe muestra la relevancia del problema. En la búsqueda de nuevos medicamentos contra el cáncer, la empresa farmacéutica Amgen intentó confirmar los hallazgos de 53 estudios preclínicos publicados que parecían tener gran potencial. Tan sólo se pudo corroborar un 11% de esos resultados. Otra farmacéutica, Bayer, realizó un esfuerzo similar para intentar validar datos sobre blancos potenciales de nuevos medicamentos, que se obtuvieron a partir de 67 proyectos de investigación, y sólo tuvo éxito en el 25% de los casos. Un trabajo conjunto internacional para investigar estudios de psicología experimental, un área que fue el escenario de escándalos que involucraron manipulaciones y fraudes, sólo pudo ratificar los resultados obtenidos en 36 de los 100 artículos evaluados. Al final del año pasado, las Academias Nacionales de Ciencias, Ingenierías y Medicina de Estados Unidos crearon un comité integrado por 15 miembros para estudiar estrategias tendientes a la prevención de la publicación de estudios no homologables y sus conclusiones serán divulgadas en 2019.
Aunque la crisis se manifiesta de modo abierto en medicina, ciencias de la vida y psicología, el documento propone que el resto de las áreas investiguen la extensión del problema en sus comunidades. “Cuando observamos el conocimiento existente acerca de las causas de la no reproducibilidad, queda claro que muchas de ellas están presentes en todas las disciplinas”, expresó en la revista Science Johan Mackenbach, investigador del área de salud pública del Centro Médico Erasmus, en Róterdam, jefe del panel que organizó el informe. El científico se refiere a las causas genéricas que se consignan en el documento, como por ejemplo la presión para que los investigadores publiquen novedades o hallazgos de impacto en la forma más rápida posible, caso contrario quedan en desventaja en la competencia por financiamiento y oportunidades laborales.
El informe enumera 20 razones diferentes para que una investigación científica arribe a resultados que no pueden homologarse. La mayoría está relacionada con aspectos metodológicos, tales como fallas en el control de tendencias, conclusiones basadas en muestras acotadas o falta de rigor estadístico en la interpretación de datos. En el origen del problema también hay vicios en la forma de reportar resultados: la selección de datos favorables a la hipótesis que plantea el estudio, omitiendo los negativos, o la modificación de la propuesta original para adaptarla a las conclusiones obtenidas.
Los fraudes son la forma más extrema de generar resultados inválidos, pero también existen amenazas a la reproducibilidad que naturalmente forman parte de la actividad científica, tales como errores humanos, fallas técnicas inesperadas o cambios no detectados en las condiciones de las muestras. No todos los estudios no ratificados están equivocados. Hay situaciones en las que no es posible lograr el resultado obtenido porque el autor de la investigación omitió detalles del experimento esenciales para poder replicarlo. Para evitar esas eventualidades, dice el informe, los periódicos científicos y las agencias de fomento de la investigación científica les deben exigir a los investigadores que dejen a disposición en repositorios públicos los datos brutos de los estudios e información sobre las metodologías que adoptaron.
Existen propuestas de carácter práctico para la prevención de deslices, tales como determinar que el investigador, al proponer su proyecto, registre anticipadamente y en forma transparente su hipótesis, el protocolo de investigación y el plan de análisis que será adoptado. Este tipo de precaución ya viene siendo exigido por las agencias de fomento, pero se lo está perfeccionando. En el marco de una iniciativa articulada por la Royal Society, del Reino Unido, varios periódicos científicos están publicando sistemáticamente lo que denominan informes registrados, un tipo de papers que representa los métodos y los planes de análisis de investigaciones aún no iniciadas, pero que fueron evaluados por pares. Más adelante, las revistas publican los resultados obtenidos, aunque los mismos sean nulos.
El informe es explícito acerca de la importancia de divulgar estudios con resultados nulos. Propone que las agencias de fomento estimulen a los investigadores para que reporten tales conclusiones y a las revistas para que las publiquen. “Instituciones de investigación, agencias de fomento y periódicos deben promover incentivos para que los investigadores realicen estudios rigurosos y elaboren resultados de estudios reproducibles, en lugar de recompensarlos principalmente mediante publicaciones de ‘alto impacto’, estudios ‘innovadores’ y afirmaciones exageradas”, enuncia el documento.
Republicar