Un banco de datos experimental puso a disposición unos 1.100 artículos científicos de las áreas de psicología, medicina y administración, acompañados de sus respectivos estudios de replicación, es decir, trabajos realizados por otros investigadores exclusivamente para verificar la validez de los hallazgos originales. El repositorio está coordinado por la iniciativa Marco para la Formación en Investigación Abierta y Reproducible (Forrt, por sus siglas en inglés), creada en 2018 por científicos de 28 países para hacer más frecuentes y accesibles estas confirmaciones de resultados, un mecanismo de autocorrección de la ciencia que busca evaluar la fiabilidad de las publicaciones y descartarlas en caso que no sean consistentes.
“Pretendemos facilitar el rastreo de los estudios de replicación, que por lo general son difíciles de hallar, porque las revistas rara vez los asocian con los trabajos originales”, le dijo a la revista Nature Index uno de los coordinadores de la iniciativa, el psicólogo Lukas Röseler, director del Centro de Ciencia Abierta de la Universidad de Münster, en Alemania. También persigue el objetivo adicional de estimular a los investigadores para que divulguen sus intentos de confirmar los resultados obtenidos por sus pares. “Independientemente de sus conclusiones, la publicación de este tipo de trabajos es difícil”, dijo el investigador, en alusión al escaso interés que despiertan estos estudios en las revistas científicas de renombre.
De momento, la recopilación de artículos y sus comprobaciones se está haciendo manualmente: los voluntarios que trabajan en el proyecto están reuniendo los estudios de replicación y los asocian a los hallazgos originales en una planilla en línea. Algunos papers están vinculados a hasta otros cuatro trabajos que verificaron la validez de uno o más de sus resultados. Está claro que la iniciativa saca partido de los esfuerzos que ha llevado a cabo la comunidad científica en los últimos 15 años para revaluar artículos de distintos campos del conocimiento y comprobar si son realmente fiables.
El propósito de estos análisis era hacerle frente a lo que se ha dado en llamar “crisis de reproducibilidad”, producto de una seguidilla de artículos que han caído en descrédito tras haber sido refutados en experimentos ulteriores o cuyos resultados han sido más pobres que lo que prometían inicialmente, que incluyen posibles terapias contra el cáncer. Por ahora, la mayoría de los trabajos almacenados en el repositorio corresponde al área de la psicología, un campo de investigación especialmente afectado por la crisis de confiabilidad, a lo que han contribuido algunos escándalos como el protagonizado por el psicólogo social Diederick Stapel, despedido en 2011 de la Universidad de Tilburg, en los Países Bajos, a quien se le retractaron 58 artículos por fraude y manipulación de datos. En 2016, una comisión internacional para investigar estudios de psicología experimental publicados en tres revistas del área solo consiguió confirmar los resultados obtenidos en 36 de los 100 papers evaluados. Ese mismo año, un conjunto de unos 50.000 artículos de psicología fueron sometidos a escrutinio por un software capaz de detectar inconsistencias estadísticas que detectó problemas en la mitad de ellos (lea en Pesquisa FAPESP, edición nº 253).
En la lista de artículos recopilados por la iniciativa Forrt hay diferentes desenlaces. En el 40 % de ellos, el intento de confirmar los resultados originales fue exitoso. Este fue el caso de un estudio publicado en 2015 en la revista Personality and Social Psychology Bulletin por Benjamin Cheung y Steven Heine, de la Universidad de Columbia Británica, en Canadá. El trabajo afirmaba que el uso de factores genéticos para explicar conductas delictivas produce percepciones diferentes a las generadas cuando el delito se atribuye a influencias del ambiente, algo que, no obstante, no supone un beneficio para el reo ante un jurado, según los autores. Sucede que la percepción, favorable para el acusado, de que no tenía control sobre sus actos, se ve compensada por la percepción negativa de que podría reincidir fácilmente, por lo que sigue constituyendo una amenaza. Esta conclusión se basó en más de 600 entrevistas con estudiantes universitarios e individuos que respondieron a un cuestionario pago en una plataforma online. En 2016, el psicólogo Jarret Crawford, investigador de The College of New Jersey, en Estados Unidos, repitió el estudio y revaluó 16 efectos observados por Cheung y Heine. En 14 de ellos obtuvo los mismos resultados y en un 15º, aunque diferente, el significado fue similar. Solo un efecto no pudo constatarse. “Los autores del artículo original abonaron a los participantes de la investigación el triple de lo que les pagué yo, pero esto no parece haber influido en los resultados”, escribió Crawford.
Por otra parte, fracasó el 58 % de los intentos de replicación registrados en el repositorio. Lo fue por diferentes motivos: los datos apuntaban en dirección opuesta al hallazgo original, los resultados, aun siendo convergentes, eran estadísticamente insustanciales, o las muestras no permitieron una comparación fidedigna. Uno de estos casos que no tuvieron éxito fue un artículo publicado en 2008 en la revista Journal of Personality and Social Psychology por un grupo de la Universidad de Leiden, en Países Bajos. Según su análisis, los individuos iracundos en medio de una negociación no necesariamente tienen más posibilidades de conseguir que sus oponentes cedan que aquellos que se muestran apacibles al regatear, como describía la literatura académica. Según el paper, en algunas situaciones específicas, mostrarse enfadado puede entorpecer las negociaciones y acarrear perjuicios. El estudio de replicación, realizado en 2014 por dos psicólogos de la Universidad de Viena, no detectó esa desventaja al repetir el experimento con 27 varones y 53 mujeres de Austria utilizando la misma metodología. En el 2 % restante los trabajos no fueron concluyentes o sus resultados fueron dispares, ya que un intento confirmó los datos originales y el otro no.
La iniciativa Forrt tiene otras aspiraciones, como la de generar conocimiento sobre la reproducibilidad partiendo del análisis del contenido de la base de datos. Röseler pone un ejemplo: hoy en día se anima a los investigadores a publicar informes registrados de sus proyectos antes de llevarlos a cabo, indicando el diseño y la metodología adoptados, así como las hipótesis que se van a evaluar. Así se busca evitar que el autor manipule estas premisas a la hora de publicar los resultados para adaptarlas a lo encontrado. “Pretendemos comprobar empíricamente si este tipo de estrategias afectan la probabilidad de que un estudio sea replicable”, dijo. Otro de los planes del grupo es el lanzamiento una revista científica de acceso abierto y revisada por pares para la publicación exclusiva de estudios de replicación de distintas disciplinas.
Republicar