A quantidade de artigos científicos na área de psicologia com resultados estatísticos frágeis diminuiu nos últimos 10 anos, segundo uma análise feita pelo neurocientista Paul Bogdan, pesquisador de pós-doutorado da Universidade Duke, nos Estados Unidos. Em um estudo publicado na revista Advances in Methods and Practices in Psychological Science, Bogdan analisou o valor de “p” de 240.355 artigos de psicologia empírica de 2004 a 2024. O valor de p é uma medida que representa a probabilidade de o efeito observado dever-se ao acaso e não aos fatores que estão sendo estudados.
O pesquisador criou um programa capaz de extrair de forma automática o valor de “p” dos artigos. A expectativa era encontrar, ao acaso, apenas 26% dos resultados com valor de “p” entre 0,01 e 0,05 – se a porcentagem fosse mais alta, seria um indicador da existência de vieses. Entre os artigos publicados em 2004, 32% dos valores de “p” estavam nessa faixa, em um forte sinal de que havia autores adotando práticas questionáveis para alcançar resultados desejados. Já entre os papers de 2024, o índice foi próximo do esperado, de 26%. Isso sugere que os psicólogos estão conduzindo estudos de melhor qualidade, com menos problemas que geraram preocupações sobre o rigor, disse Bogdan à revista Science.
Ele observou outras evidências de que a qualidade dos artigos em psicologia melhorou. Em 2004, os estudos na maioria das subáreas da psicologia se baseavam em amostras de menos de 100 pessoas. Vinte anos mais tarde, a média em algumas áreas tinha aumentado para cerca de 250 indivíduos analisados. Também constatou que artigos com valores de “p” mais baixos, indicando serem mais fortes, tinham maior probabilidade de serem publicados em periódicos de maior prestígio e receber mais citações, em um sinal de que o campo da psicologia estava reconhecendo e valorizando trabalhos robustos.
No passado, trabalhos com resultados impressionantes, mas não necessariamente robustos, tinham maior probabilidade de serem publicados. “Acho que a área progrediu a ponto de isso não acontecer mais. Estamos em uma posição muito melhor”, afirmou. A mudança é resultado da reação dos pesquisadores da área à chamada crise da reprodutibilidade da psicologia, provocada por uma sucessão de casos de artigos científicos que caíram em descrédito porque seus resultados não foram confirmados em experimentos subsequentes – alguns por erros e outros por fraudes não detectados no processo de revisão por pares.
Um dos escândalos envolveu Diederick Stapel, professor de psicologia social demitido em 2011 da Universidade de Tilburg, nos Países Baixos, que teve 58 artigos retratados por fraude e manipulação de dados (ver Pesquisa FAPESP nº 190). Em 2016, uma colaboração internacional para investigar estudos de psicologia experimental publicados em três revistas da área só conseguiu confirmar resultados obtidos em 36 dos 100 papers avaliados. No mesmo ano, um conjunto de cerca de 50 mil artigos de psicologia passou pelo escrutínio de um software capaz de detectar inconsistências estatísticas – e foram encontrados problemas na metade deles (ver Pesquisa FAPESP nº 253).
Republicar