Un trabajo que salió publicado en la plataforma PsyArXiv indica que el porcentaje de estudios que no logran confirmar las hipótesis que postulan sus autores es mayor de lo que se calculaba y sugiere que el habitual recurso de descartar u omitir esos resultados negativos por considerarlos irrelevantes sobrevalora los hallazgos positivos y puede llegar a introducir sesgos. Los psicólogos Chris Allen y David Mehler, de la Universidad de Cardiff, en el Reino Unido, analizaron por primera vez una práctica que viene creciendo para aportarle mayor transparencia al proceso científico: la publicación en revistas especializadas de lo que se denomina informes registrados, un tipo de paper que presenta métodos y planes de análisis de investigaciones aún no iniciadas pero evaluadas por pares. Con posterioridad, esas revistas se comprometieron a publicar los resultados, incluso si fueran nulos o no resultaran determinantes, lo que permite comparar las pretensiones del proyecto con su desenlace.
Al evaluar 113 de esos informes, que involucraban experimentos en ciencias biomédicas y psicología, el dúo de investigadores computó 296 hipótesis formuladas y notaron que el 61% de ellas no pudo confirmarse con los resultados obtenidos. De acuerdo con los dos autores, la literatura científica consideraba un porcentaje de resultados negativos ubicado en un rango bastante inferior, entre un 5% y un 20%. Actualmente existen alrededor de 140 periódicos que registran previamente los objetivos de investigaciones y luego divulgan los resultados, sean cuales sean. Buena parte de esas revistas cataloga protocolos de ensayos clínicos de medicamentos y nuevas terapias, que según lo impuesto por la legislación de Estados Unidos deben registrarse antes de llevarse a cabo. Esa precaución de oficializar los objetivos de un experimento científico evita ciertas prácticas viciadas, tal como es el caso de la modificación extemporánea de hipótesis para adaptarlas a datos que se van registrando, o al menos evita que los resultados negativos sean soslayados.
La omisión de la publicación de resultados que no estuvieron dentro de lo esperado no supone una práctica deshonesta de los autores, dado que estos, a menudo, se topan con dificultades para publicar hallazgos con escaso impacto. “Los informes registrados garantizan protección contra las prácticas dudosas y también ofrecen a los autores una manera de publicar posteriormente los resultados, incluso si los mismos fueran nulos”, escribieron Allen y Mehler en su estudio, que publicaron bajo el formato de un preprint. Ahora ellos se proponen ampliar el análisis de los informes registrados, evaluando una cantidad mayor de protocolos de investigación. Si bien la omisión de datos negativos no se considera como mala conducta, la sobrevaloración de los resultados positivos o su publicación selectiva puede comprometer la fiabilidad de los hallazgos científicos pasando a engrosar el cúmulo de investigaciones cuyos resultados, pese a su apariencia prometedora, no logran ser reproducidos por otros científicos.
La publicación selectiva de hallazgos favorables puede comprometer los intentos de reproducción de las investigaciones
Un artículo que salió publicado en el mes de noviembre en la revista Psychological Medicine reveló distintas facetas de este problema. Sus autores, de las universidades de Groninga, en Holanda, y de Bristol, en el Reino Unido, analizaron 105 ensayos clínicos de antidepresivos registrados en la Food and Drug Administration (FDA), la agencia que regula el comercio de remedios y alimentos en Estados Unidos. De ese conjunto, 53 arribaron a conclusiones que la FDA considera positivas, mientras que los otros 52 registraron resultados negativos o dudosos. A pesar de ese reparto por mitades, el 90% de los ensayos con resultados positivos fueron publicados en revistas científicas, mientras que solo se publicó el 48% de los negativos. “En artículos de revisión de la literatura sobre el tema, casi todos los estudios mencionados eran positivos, mientras que los negativos fueron ignorados”, comentó, a propósito del estudio angloholandés, el pediatra estadounidense Aaron Carroll, docente de la Escuela de Medicina de la Universidad de Indiana en una columna de opinión publicada en septiembre en el periódico The New York Times. También se detectaron otros inconvenientes en algunos de los estudios con resultados negativos que generaron artículos científicos, tales como omisiones de datos desfavorables y alteraciones de la hipótesis original para adaptarla a los resultados. En algunos casos, los resultados secundarios sin valor estadístico fueron presentados como si fueran positivos, y también se apuntaron tendencias sin respaldo de datos.
Reproducibilidad
Los informes registrados también se utilizan en estudios de reproducibilidad, un tipo de experimento que se realiza exclusivamente para verificar si los hallazgos obtenidos en investigaciones publicadas realmente son sólidos. Un trabajo de ese tipo se proclamó ganador en la primera edición de un premio instituido por el Colegio Europeo de Neuropsicofarmacología (ECNP, por sus siglas en inglés) que reconoce la contribución de aquellos estudios que condujeron a resultados negativos. Los investigadores Laura Luyten y Tom Beckers, de la Universidad Católica de Lovaina, en Bélgica fueron recompensados con un premio de 10 mil euros en el marco de un congreso de la ECNP que se llevó a cabo en Barcelona, en el mes de octubre. En un artículo publicado hace un año en la revista Neurobiology of Learning and Memory, ellos demostraron que un tipo de entrenamiento conductual efectuado con ratas y que tendría la facultad de mitigar experiencias de temor, en realidad estaba basado en parámetros falaces y los datos presentados eran exagerados. Ese entrenamiento, propuesto en 2009 por el grupo de la psicóloga Marie Monfils, de la Universidad de Texas, en Austin, parecía tener potencial para el tratamiento de la ansiedad en los seres humanos, pero ningún científico había podido obtener los mismos efectos. Los investigadores belgas intentaron reproducir, en vano, tres experimentos clave realizados por Monfils, recurriendo a los mismos procedimientos originales, pero no detectaron diferencias significativas entre las respuestas de los animales sometidos al entrenamiento y aquellos que formaban parte de un grupo de control.
Thomas Steckler, investigador de la compañía farmacéutica Janssen y miembro de la ECNP, ensalzó la importancia de los resultados negativos. “La ciencia cuenta con sus propios mecanismos de autocorrección, pero este proceso es más eficiente cuando se conocen los resultados positivos y negativos”, dijo, según consta en el sitio web de la entidad. “La omisión en la publicación de datos constituye un desperdicio de dinero y de capital humano, particularmente de cara a los desafíos de reproductibilidad que afrontan varios campos de la ciencia. Más de la mitad de los datos que se publican en el campo de las investigaciones biomédicas no logran reproducirse”.
Artículos científicos
Allen, C. y Mehler, D. Open Science challenges, benefits and tips in early career and beyond. PsyArXiv. Preprints. Online. 12 nov. 2018.
Vries, Y. A et al. The cumulative effect of reporting and citation biases on the apparent efficacy of treatments: The case of depression. Psychological Medicine. v. 48, n. 15, p. 2453-55. nov. 2018.
Luyten, L. y Beckers. T. A preregistered, direct replication attempt of the retrieval-extinction effect in cued fear conditioning in rats. Neurobiology of Learning and Memory. v. 144, p. 208-15. oct. 2017.
