Em um trabalho divulgado em fevereiro na plataforma MetaArXiv, um grupo de pesquisadores dos Estados Unidos, Reino Unido, Alemanha e Países Baixos avaliou o que ocorreu com quatro influentes artigos científicos na área de psicologia depois que suas conclusões foram contestadas por novos experimentos. Apesar dos prejuízos em sua credibilidade, esses papers continuaram a ser citados em outros manuscritos em ritmo parecido com o que se via anteriormente – na maioria dos casos, simplesmente se ignorou o fato de que não puderam ser confirmados. Houve, é verdade, uma queda discreta em menções favoráveis a tais estudos e um ligeiro aumento nas citações negativas. Entre os artigos que se referiram aos trabalhos e reconheciam que estavam em xeque, apenas a metade apresentou argumentos ou evidências para defender os achados originais.
A análise dos quatro artigos sugeriu que os chamados estudos de replicação, feitos para confirmar descobertas e tidos como essenciais para expor equívocos, podem não acionar de forma imediata os mecanismos de autocorreção da ciência. O trabalho divulgado na MetaArXiv é um preprint, manuscrito ainda não submetido à revisão, e foi coordenado pelo epidemiologista John Ioannidis, da Universidade Stanford, nos Estados Unidos, um especialista em integridade científica.
A escolha dos papers da área de psicologia não foi ocasional. Na década passada, uma sucessão de artigos científicos da disciplina caiu em descrédito porque seus resultados não foram confirmados em experimentos subsequentes. Isso gerou o que se convencionou em chamar de “crise da reprodutibilidade da psicologia”. Entre as iniciativas para enfrentar o problema, houve um esforço para submeter a um escrutínio mais rigoroso estudos com grande repercussão na área, como os quatro artigos analisados por Ioannidis.
Um desses trabalhos foi publicado em 1988 por Fritz Strack, hoje professor emérito da Universidade de Würzburg, na Alemanha. Seus resultados supostamente corroboraram uma hipótese, postulada pelo filósofo e psicólogo americano William James (1842-1910), de que a expressão facial de uma pessoa afeta diretamente seu estado emocional. Strack pediu aos participantes do estudo que segurassem uma caneta com a boca, de modo a forçar dois diferentes tipos de expressão: sorriso ou testa franzida. Em seguida, fez os indivíduos verem desenhos animados. Ele concluiu que os participantes forçados a sorrir consideravam os desenhos animados mais engraçados do que os que mantinham a expressão carrancuda.
Em 2016, o trabalho foi reavaliado pela iniciativa Registered Replication Reports, da Association for Psychological Science, que utilizou os mesmos desenhos animados, mas não conseguiu reproduzir os resultados de Strack. O psicólogo alemão defende a fidedignidade de seu experimento e argumenta que, no estudo de confirmação, os voluntários sabiam que estavam sendo observados e filmados. Isso, segundo afirma, pode ter alterado o comportamento em relação ao que se viu em 1988.
Na década passada, vários artigos científicos de psicologia caíram em descrédito após serem contestados por outros experimentos
Outro trabalho no rol dos contestados é um artigo de 1998 do psicólogo social norte-americano Roy Baumeister, que apontou limites para a capacidade de autocontrole dos indivíduos. Em experimentos, Baumeister e seus colaboradores pretenderam mostrar que pessoas que conseguiam resistir à tentação de comer chocolate tinham mais dificuldade em cumprir tarefas difíceis logo em seguida, como montar um quebra-cabeças. Da mesma forma, indivíduos forçados a fazer discursos defendendo ideias contrárias às suas sofreriam para realizar esforços exigidos em sequência. Os achados teriam corroborado a ideia de que ocorre o “esgotamento do ego” quando o autocontrole é muito demandado. Tal efeito foi reavaliado em um estudo em 2016, com 2.141 participantes, que não registrou as evidências sobre o esgotamento do ego. Mas isso, segundo a análise de Ioannidis, não teve nenhum impacto nas tendências de citação do paper original.
Os outros dois artigos referiam-se aos efeitos da exposição de indivíduos a certas situações e como isso influía na resposta a estímulos subsequentes. Em 2013, Eugene Caruso, da Escola de Gestão da Universidade da Califórnia em Los Angeles, nos Estados Unidos, publicou um paper postulando que a exposição de indivíduos ao dinheiro tinha impacto na forma como eles defendiam princípios de livre mercado. De forma semelhante, Travis Carter, da Universidade de Chicago, concluiu que a exposição de indivíduos à imagem da bandeira nos Estados Unidos influenciava comportamentos políticos conservadores. Esses dois estudos foram reavaliados por uma iniciativa chamada Many Labs, utilizando a metodologia original e aplicando-a a um número maior de indivíduos. Os resultados não se confirmaram.
Ioannidis levanta a hipótese de que parte dos autores possa ter citado os estudos simplesmente porque não soube das contestações. Isso já ocorreu até mesmo com papers que são desqualificados por erros ou fraudes e sofreram retratação – ainda assim acabam citados por pesquisadores incautos. A desconexão entre os resultados originais e de replicação não é um problema novo. Em 2012, os psicólogos Joshua Hartshorne e Adena Schachner, da Universidade Harvard, propuseram em artigo da revista Frontiers in Computational Neuroscience a criação de bancos de dados capazes de conectar estudos originais com os trabalhos que buscaram replicar seus achados.
O médico Olavo Amaral, professor do Instituto de Bioquímica Médica da Universidade Federal do Rio de Janeiro (UFRJ), chama a atenção para um outro aspecto: a possibilidade de que a análise dos pesquisadores sofra um viés de confirmação, selecionando argumentos e evidências que corroborem suas crenças. “Não é incomum que as pessoas citem trabalhos que lhes interessem para provar um ponto em vez de tentar fazer uma revisão isenta da evidência existente. Talvez por isso não seja infrequente que alguns consensos se bifurquem na ciência”, afirma Amaral. Ele lidera a Iniciativa Brasileira de Reprodutibilidade, um projeto financiado pelo Instituto Serrapilheira que pretende repetir uma centena de experimentos de artigos brasileiros da área biomédica para verificar o quanto é possível reproduzir os resultados publicados (ver Pesquisa FAPESP nº 267).
Um trabalho que avaliou esse problema na área médica foi coordenado pelo próprio Ioannidis, em 2007, e divulgado no Journal of the American Medical Association (Jama). Foram analisadas as referências feitas a estudos observacionais que apontaram benefícios da vitamina E para o coração, do betacaroteno contra o câncer e do estrogênio contra o mal de Alzheimer – isso, depois que esses resultados foram refutados por ensaios clínicos randomizados. Observou-se que, após a contestação, houve uma diminuição muito lenta na frequência de citações dos estudos observacionais e, ainda assim, um segmento dos pesquisadores continuou a citar favoravelmente os resultados desmentidos.
Republicar