Imprimir PDF

Boas práticas

A relevância dos resultados nulos

Experimentos que chegam a respostas negativas são mais frequentes do que se imaginava e desconsiderá-los pode gerar vieses, mostra estudo

Maurício Pierro

Um trabalho publicado na plataforma PsyArXiv indica que a proporção de pesquisas que não conseguem confirmar hipóteses formuladas por seus autores é maior do que se calculava – e sugere que o expediente de descartar ou omitir esses resultados negativos por considerá-los irrelevantes sobrevaloriza os achados positivos e pode produzir vieses. Os psicólogos Chris Allen e David Mehler, da Universidade de Cardiff, no Reino Unido, avaliaram pela primeira vez uma prática que vem ganhando espaço para dar mais transparência ao processo científico: a publicação em revistas especializadas dos chamados relatórios registrados, um tipo de paper que apresenta métodos e planos de análise de uma pesquisa ainda não iniciada, mas que foram avaliados por pares. Posteriormente, essas revistas se comprometeram a publicar os resultados, mesmo que sejam nulos ou inconclusivos, o que permite comparar a ambição do projeto com o seu desfecho.

Ao analisar 113 desses relatórios, que envolviam experimentos em ciências biomédicas e psicologia, a dupla de pesquisadores contabilizou 296 hipóteses formuladas – e observou que 61% delas não foram confirmadas pelos resultados alcançados. De acordo com os dois autores, a literatura científica considerava uma proporção em um patamar bem inferior, entre 5% e 20% de resultados negativos. Existem hoje cerca de 140 periódicos que registram previamente objetivos de pesquisas e depois divulgam os resultados, sejam eles quais forem. Boa parte dessas revistas cataloga protocolos de ensaios clínicos de medicamentos e novas terapias, que, por imposição da legislação dos Estados Unidos, precisam ser registrados antes de sua realização. O cuidado em oficializar os objetivos de um experimento científico previne práticas viciadas, como a modificação extemporânea de hipóteses para adaptá-las a dados já encontrados, ou ao menos evita que resultados negativos sejam esquecidos.

Maurício PierroDeixar de publicar resultados que ficaram aquém do esperado não configura uma postura desonesta dos autores – eles, com frequência, encontram dificuldade em publicar achados de pouco impacto. “Os relatórios registrados garantem proteção contra práticas questionáveis e também oferecem aos autores um caminho para a publicação posterior dos resultados, mesmo que sejam nulos”, escreveram Allen e Mehler em seu estudo, publicado na forma preprint. Os dois autores querem agora ampliar a avaliação dos relatórios registrados, com um número maior de protocolos de pesquisa. Embora a omissão de dados negativos não seja considerada má conduta, a sobrevalorização de resultados positivos ou a sua publicação seletiva pode comprometer a fidedignidade de descobertas científicas e engrossar o contingente de pesquisas cujos resultados, apesar da aparência promissora, não são reproduzidos por outros pesquisadores.

Um artigo publicado em novembro na revista Psychological Medicine mostrou facetas desse problema. Os autores, das universidades de Groningen, na Holanda, e de Bristol, no Reino Unido, analisaram 105 ensaios clínicos de antidepressivos registrados na Food and Drug Administration (FDA), a agência que regula o comércio de remédios e alimentos nos Estados Unidos. Desse universo, 53 chegaram a conclusões consideradas positivas pela FDA, enquanto 52 alcançaram resultados negativos ou inconclusivos. Apesar da divisão meio a meio, 90% dos ensaios com resultados positivos foram publicados em revistas científicas, ante 48% dos negativos. “Em artigos de revisão de literatura sobre o tema, quase todos os estudos referenciados eram positivos, enquanto os negativos acabaram ignorados”, comentou, a propósito do estudo anglo-holandês, o pediatra norte-americano Aaron Carroll, professor da Escola de Medicina da Universidade de Indiana, em um texto de opinião publicado em setembro no jornal The New York Times. Foram encontrados outros problemas também em parte dos estudos com resultados negativos que renderam artigos científicos, como omissões de dados desfavoráveis e alteração da hipótese original para adaptá-la aos achados. Em alguns casos, resultados secundários sem significância estatística foram apresentados como se fossem positivos, assim como foram apontadas tendências sem respaldo nos dados.

Publicação seletiva de achados favoráveis pode comprometer as tentativas de reproduzir pesquisas

Reprodutibilidade
Os relatórios registrados também são utilizados em estudos de reprodutibilidade, um tipo de experimento realizado exclusivamente para verificar se são mesmo robustos os achados obtidos em pesquisas já publicadas. Um trabalho desse tipo venceu a primeira edição de um prêmio criado pelo Colégio Europeu de Neuropsicofarmacologia (ECNP) para reconhecer a contribuição de pesquisas que chegaram a resultados negativos (ver Pesquisa FAPESP nº 261). Laura Luyten e Tom Beckers, pesquisadores da Universidade Católica de Leuven, na Bélgica, foram agraciados com um prêmio de € 10 mil em um congresso da ECNP realizado em outubro em Barcelona. Em artigo publicado há um ano na revista Neurobiology of Learning and Memory, eles mostraram que um tipo de treinamento comportamental realizado com ratos e que teria o condão de atenuar memórias de medo, na verdade, baseou-se em parâmetros falhos e apresentou dados inflados. Esse treinamento, proposto em 2009 pelo grupo da psicóloga Marie Monfils, da Universidade do Texas, em Austin, parecia ter um potencial para tratamento de ansiedade em seres humanos, mas nenhum pesquisador havia conseguido obter os mesmos efeitos. Os pesquisadores belgas tentaram reproduzir, em vão, três experimentos-chave realizados por Monfils, utilizando os mesmos procedimentos originais, mas não encontraram diferenças significativas entre as respostas dos animais submetidos ao treinamento e as de um grupo de controle.

Thomas Steckler, pesquisador da empresa farmacêutica Janssen e membro da ECNP, defendeu a relevância dos resultados negativos.“A ciência tem seus mecanismos de autocorreção, mas esse processo é mais eficiente quando resultados positivos e negativos são conhecidos”, afirmou, de acordo com o site da entidade. “Deixar de publicar dados é um desperdício de dinheiro e de capital humano, particularmente em face dos desafios de reprodutibilidade que vários campos da ciência enfrentam. Mais da metade dos dados publicados de pesquisas biomédicas não é reproduzido.”

Artigos científicos
ALLEN, C. e MEHLER, D. Open Science challenges, benefits and tips in early career and beyond. PsyArXiv preprints. On-line. 12 nov. 2018.
VRIES, Y. A et al. The cumulative effect of reporting and citation biases on the apparent efficacy of treatments: The case of depression. Psychological Medicine. v. 48, n. 15, p. 2453-55. nov. 2018.
LUYTEN, L. e BECKERS. T.  A preregistered, direct replication attempt of the retrieval-extinction effect in cued fear conditioning in rats. Neurobiology of Learning and Memory. v. 144, p. 208-15. out. 2017.