catarina besselUm artigo publicado por brasileiros na revista científica Scientometrics mostra a utilidade de uma metodologia para avaliar o impacto de programas de pesquisa, sobretudo quando há um universo restrito de projetos a serem analisados e o chamado grupo de controle, aquele que serve de referência para comparação, tem características diferentes das do alvo do estudo. Assinado por Fernando Colugnati, da Universidade Federal de Juiz de Fora, Sergio Firpo, da Fundação Getúlio Vargas, Paula Drummond e Sergio Salles-Filho, ambos da Universidade Estadual de Campinas (Unicamp), o artigo esmiúça essa metodologia de conteúdo inovador desenvolvida para avaliar o Programa Biota-FAPESP, que desde 1999 estuda a biodiversidade paulista. Para obter dados sobre o impacto do programa, o grupo comparou projetos do Biota-FAPESP com outros de características equivalentes, mas que não fizeram parte do programa. O desafio era evitar que alguns vieses confundissem os resultados. Um deles era o fato de o grupo de controle ter um número maior de projetos e, em alguns casos, com características algo diferentes. Enquanto o Programa Biota agrega uma quantidade expressiva de projetos temáticos, que reúnem mais recursos humanos e financeiros e têm até cinco anos de duração, os projetos do grupo de controle eram, em boa medida, auxílios regulares à pesquisa, de prazos mais curtos e menor volume de recursos.
Buscou-se criar, então, uma metodologia capaz de dissociar estatisticamente os efeitos dos projetos temáticos do Biota. Os pesquisadores recorreram a uma teoria estatística fundamentada na década de 1980 para estimar a probabilidade de cada projeto do grupo de controle ser comparável com um projeto do Programa Biota. Foi definido um conjunto de variáveis, como a idade do coordenador do projeto, o número de artigos que publicou ou o tamanho da equipe, que seriam potenciais vieses para o estudo, ou seja, aumentariam a probabilidade de o projeto ser do grupo Biota. Essa probabilidade recebe o nome de escore de propensão (PS, do inglês propensity score) para os projetos do grupo de controle – o inverso deste valor fornece uma espécie de peso capaz de corrigir distorções. Outro desafio era compensar o fato de os dois grupos terem tamanhos e composições diferentes e de ser uma amostra proveniente de um universo pequeno de projetos. “Com o PS estimado, os projetos temáticos do grupo de controle, como eram mais raros, passaram a ter um peso maior. Assim, conseguimos dar mais homogeneidade e equilíbrio de distribuição, permitindo uma comparação entre os grupos menos enviesada com os modelos estatísticos”, diz Colugnati.
Para selecionar os projetos do grupo de controle, os pesquisadores tiveram acesso a 1,4 mil projetos de ciências biológicas da base de dados da FAPESP, mas que não faziam parte do Programa Biota-FAPESP. Uma seleção por palavras-chave (como biodiversidade, biomas) reduziu a amostra para aproximadamente 300 projetos, e uma análise caso a caso levou a uma amostra de 117 projetos para este grupo, entre temáticos, auxílios regulares e jovem pesquisador. O grupo do Biota foi constituído de 66 projetos, totalizando um universo de 183 projetos. Seus coordenadores foram convidados a preencher um questionário on-line que deu lastro à avaliação. Desse universo, 142 responderam, sendo 56 projetos do Programa Biota-FAPESP e 86 do grupo de controle. Sobre esses dados foram aplicados o escore de propensão e a modelagem estatística.
Prospecção
O saldo da avaliação do Programa Biota-FAPESP foi positivo, tanto em produtividade científica quanto em sua capacidade de fornecer base para novas políticas públicas, ainda que tenha obtido resultados tímidos na prospecção de compostos com potencial de desenvolvimento de produtos em segmentos como o farmacêutico e o de cosméticos (ver Pesquisa FAPESP nº 210).
A avaliação do Programa Biota foi realizada por meio de um auxílio FAPESP e executada pelo Grupo de Estudos sobre Organização da Pesquisa e da Inovação (Geopi), vinculado ao Departamento de Política Científica e Tecnológica (DPCT) do Instituto de Geociências da Universidade Estadual de Campinas (Unicamp), sob coordenação do professor Sergio Salles-Filho, também responsável pela avaliação de programas como o de bolsas, o Jovem Pesquisador e o de Equipamentos Multiusuários (EMU) e o Programa FAPESP Pesquisa Inovativa em Pequenas Empresas (Pipe), entre outros. Salles-Filho, que é coordenador adjunto de avaliação de programas da FAPESP, conta que as peculiaridades de cada programa costumam exigir o desenvolvimento de metodologias específicas para avaliação. “E às vezes não é necessário, mas aproveitamos para testar hipóteses e métodos novos”, afirma. “O grande desafio, ao avaliar o impacto de um programa, é garantir a atribuição de causalidade, ou seja, que as medidas obtidas sejam efetivamente atribuídas ao investimento feito pelo programa, procurando isolar demais fatores que possam ter influenciado os impactos. Sempre que possível é recomendado recorrer a um grupo de controle. Mas o grupo de controle precisa ser confiável, daí a utilidade da metodologia que utiliza o escore de propensão”, explica. A metodologia tem aplicações bem definidas. “Nosso grupo trabalhou numa avaliação de empresas que utilizaram os incentivos da lei de informática e não havia grupo de controle possível, pois a grande maioria das empresas no país é usuária desses incentivos, não havendo como construir um grupo de controle confiável”, afirma.
A formulação de novas metodologias, diz Salles-Filho, confere aos processos de avaliação a oportunidade de gerar conhecimento. A contribuição científica gerada pela avaliação do Biota-FAPESP não vai se limitar ao artigo da Scientometrics. O grupo do Geopi deve concluir um estudo até o final do ano comparando duas metodologias distintas, utilizando os resultados de avaliação do Biota. Uma delas é a que recorre ao grupo de controle, descrita na Scientometrics. A segunda, conhecida como metodologia de adicionalidade com verificação de causalidade, busca mensurar os impactos sem uso de grupo de controle, comparando dados do início e do fim do projeto. “O objetivo é saber se as duas metodologias produzem resultados equivalentes ou se surgem diferenças”, diz Salles-Filho.
Republicar