Catarina BesselUn artículo publicado por brasileños en la revista científica Scientometrics revela la utilidad de una metodología para evaluar el impacto de los programas de investigación, especialmente cuando el espectro de proyectos a analizar es acotado y el denominado grupo de control, aquél que sirve como referencia para la comparación, presenta características distintas a las del objeto de estudio. El artículo, rubricado por Fernando Colugnati, de la Universidad Federal de Juiz de Fora, Sergio Firpo, de la Fundación Getúlio Vargas, Paula Drummond y Sergio Salles-Filho, ambos de la Universidad de Campinas (Unicamp), describe minuciosamente esa metodología con contenido innovador desarrollada para analizar el Programa Biota-FAPESP, que desde 1999 estudia la biodiversidad paulista. Para recabar datos acerca del impacto del programa, el grupo comparó proyectos del Biota-FAPESP con otros de características equivalentes, pero que no formaron parte del programa. El desafío consistía en evitar que algunas tendencias confundieran los resultados. Uno de ellos era el hecho de que el grupo de control presenta un número mayor de proyectos y, en algunos casos, con ciertas características diferentes. Mientras el Programa Biota suma una cantidad significativa de proyectos temáticos, que reúnen mayores recursos humanos y financieros y tienen hasta cinco años de duración, los proyectos del grupo de control eran, en buena medida, ayudas regulares a la investigación, con plazos más breves y un menor volumen de recursos.
Se buscó generar, entonces, una metodología capaz de disociar estadísticamente los efectos de los proyectos temáticos del Biota. Los investigadores recurrieron a una teoría estadística fundamentada en la década de 1980 para estimar la probabilidad de que cada proyecto del grupo de control sea comparable con un proyecto del Programa Biota. Se definió un conjunto de variables, tales como la edad del coordinador del proyecto, la cantidad de artículos que publicó o el tamaño del equipo, que implicarían potenciales sesgos para el estudio, es decir, aumentarían la probabilidad de que el proyecto pertenezca al grupo Biota. Tal probabilidad recibe el nombre de puntaje de propensión (PS, del inglés propensity score) para los proyectos del grupo de control, donde el inverso de ese valor provee una especie de peso capaz de corregir distorsiones. Otro desafío radicaba en compensar el hecho de que los dos grupos tuvieran tamaños y composiciones diferentes y constituir una muestra proveniente de un universo pequeño de proyectos. “Al contar con una estimación del PS, los proyectos temáticos del grupo de control, como eran más raros, pasaron a tener un peso mayor. De ese modo, logramos aportarle mayor homogeneidad y equilibrio de distribución, posibilitando una comparación entre los grupos con menor injerencia de los modelos estadísticos”, dice Colugnati.
Para seleccionar los proyectos del grupo de control, los investigadores accedieron a 1.400 proyectos de ciencias biológicas de la base de datos de la FAPESP, pero que no formaban parte del Programa Biota-FAPESP. Una selección por palabras clave (tales como biodiversidad, biomas) redujo la muestra hasta aproximadamente 300 proyectos, y un análisis caso por caso condujo a una muestra integrada por 117 proyectos para este grupo, entre temáticos, ayudas regulares y joven investigador. El grupo del Biota se constituyó con 66 proyectos, totalizando un global de 183 proyectos. Se invitó a sus coordinadores a responder un cuestionario online en el cual se basó el análisis. Dentro de ese total, respondieron 142, de los cuales, 56 eran proyectos del Programa Biota-FAPESP y 86 del grupo de control. Sobre esos datos se aplicó el puntaje de propensión y el modulado estadístico.
Prospección
El saldo del análisis del Programa Biota-FAPESP fue positivo, tanto en cuanto a la productividad científica como en su capacidad para aportar una base para nuevas políticas públicas, aunque haya obtenido tímidos resultados en la prospección de compuestos con potencial de desarrollo de productos en segmentos tales como el farmacéutico y el de los cosméticos (lea en Pesquisa FAPESP, edición nº 210).
La evaluación del Programa Biota se realizó mediante una ayuda FAPESP y la ejecutó el Grupo de Estudios sobre Organización de la Investigación e Innovación (Geopi), vinculado al Departamento de Política Científica y Tecnológica (DPCT) del Instituto de Geociencias de la Universidad de Campinas (Unicamp), bajo la coordinación del profesor Sergio Salles-Filho, responsable también del análisis de programas tales como el de becas, Joven Investigador, Equipamientos Multiusuarios (EMU) y el Programa FAPESP Investigación Innovadora en Pequeñas Empresas (Pipe), entre otros. El profesor, que es coordinador adjunto del análisis de programas de la FAPESP, comenta que las peculiaridades de cada programa exigen usualmente el desarrollo de metodologías específicas para su evaluación. “Y a veces no es necesario, pero aprovechamos para probar hipótesis y métodos nuevos”, sostiene. “El desafío más grande, al evaluar el impacto de un programa, radica en garantizar la atribución de causalidad, o sea, que las cifras obtenidas correspondan efectivamente a la inversión efectuada por el programa, tratando de aislar otros factores que puedan haber afectado su impacto. Siempre que sea posible, se recomienda recurrir a un grupo de control. Pero el grupo de control debe ser confiable, de ello se desprende la utilidad de la metodología que emplea el puntaje de propensión”, explica. La metodología posee aplicaciones bien definidas. “Nuestro grupo trabajó en un análisis de las empresas que se valieron de los incentivos de la ley de informática y no había grupo de control posible, puesto que la gran mayoría de las empresas del país es usuaria de esos incentivos, y por eso no hay forma de conformar un grupo de control confiable”, afirma.
El planteo de nuevas metodologías, dice Salles-Filho, les confiere a los procesos de evaluación la oportunidad de generar conocimiento. El aporte científico generado por el análisis del Biota-FAPESP no se limitará al artículo en la Scientometrics. Para fin de año, el grupo del Geopi concluirá un estudio que comparará dos metodologías distintas, utilizando los resultados del análisis del Biota. Una de ellas es la referida al grupo de control, descrita en la Scientometrics. La segunda, a la que se conoce como metodología de adicionalidad con verificación de causalidad, plantea la medición de los impactos sin utilizar el grupo de control, comparando los datos al inicio y finalización del proyecto. “La meta radica en saber si las dos metodologías producen resultados equivalentes o bien, se suscitan diferencias”, dice Salles-Filho.
Republicar