Imprimir PDF

Boas práticas

Por um novo sistema de recompensas

Conferência Mundial em Hong Kong propõe mudanças em processos de avaliação para promover a integridade científica

Rômolo

A 6ª Conferência Mundial sobre Integridade Científica, que aconteceu em Hong Kong, na China, entre os dias 2 e 5 de junho, deslocou o eixo do debate sobre a ética no ambiente de pesquisa. Em vez de tratar de temas vinculados diretamente ao problema, como o combate a plágio, falsificação e fraude ou a necessidade de garantir treinamento em boas práticas entre estudantes e pesquisadores, a reunião teve como foco a confiabilidade da ciência e a influência dos processos de avaliação em casos de má conduta. A ideia é que os sistemas de recompensa dos pesquisadores, ainda muito baseados em indicadores quantitativos de desempenho e em um conjunto limitado de atividades científicas, fomentam comportamentos deletérios, que vão desde o ímpeto em publicar em revistas de baixa qualidade para inflar a produção individual até o enviesamento de resultados para reforçar o impacto de trabalhos científicos. “É importante mudar a forma como avaliamos a pesquisa”, disse à rádio pública alemã Deutschlandfunk o epidemiologista Lex Bouter, copresidente da conferência e reitor da Universidade Livre de Amsterdã entre 2006 e 2013. Segundo ele, a ênfase em critérios de avaliação como número de publicações e citações é geradora de distorções. “Outras atividades, que também são importantes para a pesquisa, acabam negligenciadas. Isso envia a mensagem errada e cria incentivos ruins.”

Para balizar as discussões na conferência, os organizadores divulgaram o rascunho de um documento cuja versão final será apresentada em breve. O Manifesto de Hong Kong propõe cinco princípios a ser considerados na hora de promover pesquisadores e avaliar suas contribuições. O primeiro é reduzir o peso de métricas quantitativas, como número de artigos, índice-H dos cientistas ou o fator de impacto de revistas, e valorizar práticas que ao mesmo tempo promovam a integridade e a qualidade da pesquisa. Um exemplo dessas práticas, diz o manifesto, é o registro público de protocolos de pesquisas a fim de que as premissas e a realização de um estudo sejam conhecidas de forma transparente, reforçando a confiança nos resultados.

O segundo princípio é reconhecer o esforço de pesquisadores que divulgam todos os achados de seus experimentos, inclusive fracassos. O costume de publicar apenas resultados que deram certo gera um panorama parcial dos desafios enfrentados pelo pesquisador, e isso faz com que colegas que tentam reproduzir a pesquisa nem sempre cheguem às mesmas conclusões. Entre as práticas a serem valorizadas, incluem-se desde a divulgação de resultados preliminares em repositórios de preprints, por meio da qual achados podem sofrer escrutínio de uma gama ampla de especialistas no tema antes da publicação, até a publicação de relatórios registrados, papers que apresentam métodos e planos de análise de uma pesquisa ainda não iniciada, mas que foram avaliados por pares. Revistas especializadas nesses relatórios se comprometem a publicar os resultados finais, ainda que sejam nulos, o que permite comparar a ambição do projeto com o seu desfecho.

Os demais princípios tratam da necessidade de tornar a ciência mais aberta, ampliando o compartilhamento de dados de ensaios e experimentos; da valorização de um conjunto mais extenso de atividades científicas, como o trabalho de replicar estudos feitos por outros pesquisadores; e do reconhecimento de tarefas essenciais, como a avaliação por pares e a mentoria de estudantes e jovens pesquisadores.

Segundo Sonia Vasconcelos, pesquisadora no Programa de Educação, Gestão e Difusão em Biociências do Instituto de Bioquímica Médica da Universidade Federal do Rio de Janeiro (UFRJ), o manifesto atualiza a preocupação com a adoção de métricas de avaliação responsáveis, que já havia sido descrita em documentos anteriores, como a Declaração de São Francisco sobre Avaliação de Pesquisa (Dora), de 2012. “Agora, há uma ênfase mais forte e o documento é mais propositivo sobre a responsabilidade dos órgãos financiadores, no sentido de valorizar práticas responsáveis que devem estar mais bem representadas e explicitadas em regras para pedidos de bolsas e de financiamento”, afirma Vasconcelos, que apresentou em Hong Kong estudo sobre o papel de autores correspondentes na construção de uma cultura responsável de atribuição de autoria em países emergentes na ciência. Em 2015, ela coordenou a organização local da 4ª edição da conferência, no Rio de Janeiro.

Olavo Amaral, pesquisador da UFRJ que apresentou na conferência o projeto Iniciativa Brasileira de Reprodutibilidade, observa que a mudança no eixo das discussões sobre integridade científica evoluiu nos últimos anos: “O campo da integridade científica se estruturou em torno da discussão sobre a má conduta – ou seja, sobre cientistas burlando regras. Mas cada vez mais fica claro que a maior parte das distorções se dá por pesquisadores atuando nas regras e incentivos existentes – e o problema talvez seja que esses incentivos não favorecem a construção de uma ciência confiável”.

A participação dos pesquisadores brasileiros

Rômolo

Oito pesquisadores brasileiros participaram da 6ª Conferência Mundial de Integridade Científica, em Hong Kong, um contingente inferior ao registrado em edições anteriores do evento. Em Amsterdã, em 2017, havia cerca de 20 brasileiros, e no Rio de Janeiro, em 2015, mais de 200. Mas alguns de seus trabalhos tiveram repercussão. A biomédica Mariana Dias Ribeiro foi uma das três premiadas no Doctoral Forum, uma sessão da conferência em que alunos de doutorado apresentam seus projetos para uma banca de especialistas e ouvem comentários e recomendações. Doutoranda no Programa de Educação, Gestão e Difusão em Biociências do Instituto de Bioquímica Médica da UFRJ, Ribeiro pretende fazer uma avaliação sobre o impacto de retratações de artigos científicos na carreira de seus autores. Ela vai selecionar uma amostra em um universo de 2 mil pesquisadores da área biomédica que tiveram artigos retratados e entrevistá-los para saber que tipo de prejuízo amargaram, e se perderam alunos, emprego ou financiamento. O projeto deve estar concluído em 2022.“Foi muito importante apresentar um projeto em uma fase inicial e ter um feedback positivo.

A banca considerou minha iniciativa ambiciosa”, diz ela, que é orientada por Sonia Vasconcelos, da UFRJ.

Também obteve destaque a apresentação da Iniciativa Brasileira de Reprodutibilidade, feita pelo médico Olavo Amaral, pesquisador da UFRJ. Trata-se de um projeto que busca reproduzir os resultados de até 100 experimentos em ciências biomédicas descritos em artigos científicos assinados por brasileiros.“O trabalho foi bastante elogiado após a apresentação na conferência e se observou o grande espaço de diálogo com iniciativas e resultados de outros grupos, em vários países”, disse Sonia Vasconcelos. A enfermeira Rafaelly Stavale, mestranda na Universidade de Brasília (UnB), apresentou os resultados de uma análise de publicações da área de ciências da saúde que sofreram retratação entre 2004 e 2017 e tinham entre os autores pesquisadores afiliados a instituições brasileiras. Ela identificou 65 artigos e constatou que a maioria foi retratado por má conduta – 60% eram casos de plágio. Também observou que parte desses artigos continuava disponível em bases de dados sem nenhum alerta sobre sua retratação: 63% deles continuaram a ser citados mesmo depois do cancelamento. Os resultados foram publicados em abril na revista PLOS ONE. “Estou trabalhando para transformar o estudo em um projeto de doutorado para avaliar por que esses pesquisadores se envolveram em má conduta e até que ponto entendem a gravidade disso”, explica Stavale.

Republicar