romoloA Real Academia de Artes e Ciências da Holanda lançou um documento propondo mudanças em práticas de pesquisa a fim de enfrentar o que se convencionou chamar de “crise da reprodutibilidade” – uma sucessão de casos de artigos científicos que caíram em descrédito por seus resultados não terem sido confirmados em experimentos subsequentes. As recomendações do relatório divulgado em janeiro, intitulado Estudos de replicação – Melhorando a reprodutibilidade nas ciências empíricas, buscam aumentar o rigor com que o trabalho científico é realizado e apoiar pesquisadores interessados em verificar resultados obtidos por colegas. Uma das propostas apresentadas consiste em estimular o financiamento de estudos voltados para ratificar outros estudos, seguindo o exemplo da Organização Holandesa para Pesquisa Científica (NWO), que destinou no ano passado € 3 milhões a um programa-piloto para projetos dessa natureza. As sugestões também incluem reforçar o treinamento de cientistas e estudantes em tópicos como desenho de experimentos e análise estatística, e incentivar periódicos científicos a publicar pesquisas que não confirmaram as hipóteses testadas ou então chegaram a resultados nulos.
“O conhecimento só avança se os pesquisadores puderem confiar nos resultados de estudos feitos anteriormente”, escreveu, no prefácio do relatório, a presidente da Real Academia, José van Dijck, pesquisadora de mídia e cultura da Universidade de Utrecht. Na avaliação da entidade, produzir dados fidedignos é essencial para evitar o desperdício de recursos na pesquisa e garantir a confiança do público na ciência. “O relatório conclui que estudos para reproduzir outros estudos devem ser conduzidos de forma mais frequente e sistemática, o que exige um esforço conjunto de agências de fomento, pesquisadores, periódicos e instituições científicas”, afirmou Van Dijck.
O panorama da “crise da reprodutibilidade” apresentado no relatório mostra a relevância do problema. À procura de novos medicamentos contra o câncer, a empresa farmacêutica Amgen tentou confirmar os achados de 53 estudos pré-clínicos publicados que pareciam ter grande potencial. Apenas 11% dos resultados foram corroborados. A Bayer fez um esforço semelhante para tentar validar dados sobre alvos potenciais de novos remédios, obtidos por 67 projetos de pesquisa, e só teve sucesso em 25% dos casos. Uma colaboração internacional para investigar estudos de psicologia experimental, área que foi palco de escândalos envolvendo manipulações e fraudes, só conseguiu ratificar resultados obtidos em 36 dos 100 artigos avaliados. No final do ano passado, as Academias Nacionais de Ciências, Engenharias e Medicina dos Estados Unidos criaram um comitê de 15 membros para estudar estratégias que previnam a publicação de estudos não confirmáveis – as conclusões devem ser divulgadas em 2019.
Embora a crise se manifeste de modo aberto em medicina, ciências da vida e psicologia, o documento propõe que as demais áreas investiguem a extensão do problema em suas comunidades. “Quando observamos o conhecimento existente sobre causas da irreprodutibilidade, fica claro que muitas delas estão presentes em todas as disciplinas”, disse à revista Science Johan Mackenbach, pesquisador da área de saúde pública do Centro Médico Erasmus, em Roterdã, chefe do painel que organizou o relatório. Ele se refere a causas genéricas apontadas pelo documento, como a pressão para que pesquisadores publiquem novidades ou achados de impacto da forma mais rápida possível, caso contrário ficam em desvantagem na competição por financiamento e oportunidades de trabalho.
O relatório enumera 20 diferentes razões para uma pesquisa chegar a resultados não confirmáveis. A maioria está relacionada a questões metodológicas, como falhas no controle de vieses, conclusões baseadas em amostras restritas ou falta de rigor estatístico na interpretação de dados. Na origem do problema, também há vícios na forma de reportar resultados, como selecionar dados favoráveis à hipótese da pesquisa, omitindo os
negativos, ou modificar a proposta original de modo a adaptá-la às conclusões obtidas.
Fraudes são o jeito mais extremo de gerar resultados inválidos, mas também existem ameaças à reprodutibilidade que são parte natural da atividade científica, como falhas humanas, erros técnicos inesperados ou mudanças não detectadas nas condições de amostras. Nem todos os estudos não ratificados estão equivocados. Há situações em que não é possível alcançar o resultado obtido porque o autor da pesquisa deixou de informar detalhes do experimento essenciais para sua replicação. Para evitar essas situações, diz o relatório, periódicos e agências de fomento devem exigir que pesquisadores disponibilizem em repositórios públicos seus dados brutos de pesquisa e informações sobre as metodologias que adotaram.
Há propostas de caráter prático para prevenir desvios, como determinar que o pesquisador, ao propor seu projeto, registre antecipadamente e de forma transparente sua hipótese, o protocolo de pesquisa e o plano de análise a serem adotados. Esse tipo de precaução já é exigido por agências de fomento, mas vem sendo aprimorado. Em uma iniciativa articulada pela Royal Society, do Reino Unido, varios periódicos já publicam sistematicamente os chamados relatórios registrados, um tipo de paper que apresenta os métodos e planos de análise de uma pesquisa ainda não iniciada, mas que foram avaliados por pares. Mais tarde,
as revistas publicam os resultados obtidos, mesmo que sejam nulos.
O relatório é explícito sobre a importância de divulgar estudos com resultados nulos. Propõe que agências de fomento incentivem os pesquisadores a reportar tais conclusões e as revistas a publicá-las. “Instituições de pesquisa, agências de fomento e periódicos devem oferecer aos pesquisadores incentivos para a condução de estudos rigorosos e a produção de resultados de pesquisa reproduzíveis, em vez de recompensá-los principalmente por publicações de ‘alto impacto’, estudos ‘inovadores’ e afirmações infladas”, afirma o documento.
Republicar