Publié en Octobre 2012
GABRIEL BITTARLa Cour des Comptes de l’état du Mato Grosso (TCE/MT) contrôle les dépenses d’éducation et de santé de 141 communes et les impacts de ces politiques sur la qualité de la prise en charge par l’intermédiaire de la base de données géoréférencées développée par le Centre d’Études sur la Métropole (CEM). D’après Marta Arretche, professeur du département de science politique de l’Université de São Paulo (USP) et directrice du CEM, «ce modèle permet à la fois de voir si les communes dépensent ce qu’exige la Constitution et si elles améliorent leur performance».
Créée il y a cinq ans à la demande de la Cour des Comptes du Mato Grosso, la méthodologie a été transférée à l’état pour être utilisée comme outil d’évaluation de la compétence des administrations communales. Mais pas seulement. Les informations issues de l’application de l’Indice de performance en matière de santé et d’éducation des villes de l’état du Mato Grosso sont disponibles sur le site de la Cour des Comptes et peuvent être consultées par tout citoyen désireux d’en savoir plus sur la prise en charge et les dépenses de santé et d’éducation dans sa commune.
Le transfert de connaissances pour l’évaluation de politiques publiques est la mission principale du CEM, un des Centres de Recherche, Innovation et Diffusion (Cepid) soutenus par la FAPESP. Il est formé du Centre Brésilien d’Analyse et de Planification (Cebrap), de la Faculté de Philosophie, Lettres et Sciences Humaines (FFLCH) et de l’École de Communications et d’Arts (ECA) de l’USP. Depuis son ouverture en 2003, plus de 30 projets de recherche impliquant un transfert de méthodologie vers le secteur public ont été implantés.
Le partenariat entre la Cour des Comptes de l’état du Mato Grosso et le CEM a débuté en 2007, lorsque la première a décidé de mener une recherche ne se limitant pas à vérifier la régularité de la dépense publique en termes de légalité, légitimité et économicité. Auditeur public à la Cour des Comptes, Volmar Bucco Júnior raconte que «la Cour a compris qu’il fallait aussi voir si ces dépenses avaient un impact positif sur la société». D’où l’idée d’évaluer les politiques publiques au moyen d’indicateurs de résultats et de signer un partenariat avec le CEM. Selon lui, «il s’agit d’un outil précieux. En décrivant les résultats des politiques publiques de santé et d’éducation de l’état et des communes, le contrôle externe évalue l’efficacité de la gestion des ressources publiques». Ainsi, les administrations peuvent évaluer leurs propres actions, vérifier l’évolution des résultats et leur situation comparativement à la moyenne brésilienne, et prendre des décisions. D’un autre côté, la société peut accompagner le travail des administrateurs publics et revendiquer, le cas échéant, une amélioration des services.
L’Indice de performance en matière de santé et d’éducation est en réalité une base géoréférencée de données avec des informations fournies par les ministères de l’Éducation et de la Santé, ce qui permet de comparer la performance des différentes communes brésiliennes. L’évaluation se base sur 10 items pour chacun des domaines. Pour l’analyse des systèmes de santé, par exemple, sont comptabilisés : la mortalité néonatale, la couverture santé de la femme enceinte, des indicateurs sur la santé de l’enfant, les décès pour maladies infectieuses-contagieuses (comme la dengue et la tuberculose) et les nombres de prises en charge liées à la santé de la femme. Les données sont recueillies par la banque de données du Système Unique de Santé (Datasus). Quant à l’analyse du système d’éducation, elle porte entre autres sur les taux d’échec dans le primaire et le secondaire. Les informations ont été fournies par l’Institut National d’Études et de Recherches Éducatives (Inep) et par le Recensement Scolaire (systèmes d’évaluation de l’éducation de base du pays).
Données Nationales
Les cartes sur cette page et sur la page suivante permettent notamment de comparer la performance de systèmes de santé et d’éducation dans différentes communes du pays. Les taches rougeâtres signalent des situations jugées «très mauvaises». La couleur bleue foncée correspond à ce qui a été évalué comme «très bon». Ces deux couleurs et leurs différentes nuances consolident des données recueillies commune par commune sur tout le territoire national.
De l’avis de Marta Arretche, ce type d’étude ne peut être réalisé que parce que le pays dispose de vastes systèmes gratuits d’informations : «Pour savoir comment les autorités municipales ou étatiques dépensent, il faut monter un système fiable. Et cette information existe déjà. Seul le Japon peut être comparé au Brésil en termes de mise à disposition de l’information sur les systèmes publics». Aux États-Unis, ajoute-t-elle, il n’existe pas de systèmes d’informations nationaux sur les communes. Pour monter un système similaire, il faudrait parcourir les villes les unes après les autres en quête de l’information désirée, et ensuite la comptabiliser : «Au Brésil, nous avons le Recensement Scolaire, le système d’évaluation Prova Brasil, le Datasus, ainsi que les recherches d’informations municipales de l’Institut Brésilien de Géographie et Statistiques (IBGE)».
Ces informations doivent être notées pour permettre des comparaisons. Pour chaque indicateur, la commune reçoit la note de 0 ou 1 ; puis les items sont additionnés pour obtenir la note totale. Les conditions sont toujours analysées sur des périodes de trois ans (les cartes se réfèrent aux triennats de 2004 à 2006 et de 2007 à 2009). «On travaille avec une moyenne de trois ans parce que s’il se produit un événement extrême dans une ville au cours d’une année donnée, par exemple, il est possible de corriger des distorsions».
Le résultat des analyses comparatives pendant la période indique qu’en matière d’éducation il y avait une «masse» de communes dans une situation très mauvaise au début de la décennie, tandis qu’un petit nombre de villes représentait des «îles d’excellence» qui ont augmenté au cours de cette décennie. Dans le domaine de la santé, cette situation de contrastes n’existe pas. Marta Arretche précise qu’«il y a moins d’inégalité entre les communes mais pas non plus de points d’excellence, même si des améliorations significatives sont observées au fil des années».
Indicateur de Qualité de vie
L’auditeur public de la Cour des Comptes du Mato Grosso espère que cette méthodologie d’analyse pourra être utilisée par n’importe quel organisme public, voire même privé, du Brésil. Marta Arretche pense que l’étude peut aider à mesurer le degré de développement économique et la qualité de vie offerte à la population d’un pays de la taille du Brésil. L’Indice de Développement Humain (IDH) ne donne pas une assez bonne évaluation des systèmes décentralisés de prestation de services publics. La méthodologie du CEM, par contre, permet d’évaluer la performance des politiques sociales de santé et d’éducation dans des zones beaucoup plus vastes et plus proches de la réalité. Cela donne lieu à des politiques publiques plus précises et plus efficaces vis-à-vis de la population concernée.
En ce qui concerne l’état du Mato Grosso, il commence déjà à récolter les fruits de cette démarche. Les diagnostics consolidés par ce système ont entraîné des améliorations dans tout l’état. La directrice du CEM explique : «Comme la Cour des Comptes du Mato Grosso s’est aussi mise à utiliser cette méthodologie pour évaluer les comptes des administrateurs publics, le contrôle social s’est intensifié et l’instrument a commencé à montrer la situation de leur commune par rapport aux autres. […] Les agents publics ont alors dû prendre des mesures pour améliorer leur taux».
Le succès de l’implantation de la méthodologie a même eu des répercussions : le CEM a été invité à développer pour le secrétariat à la sécurité publique de l’état un panneau contrôlant le nombre de meurtres, basé sur un ensemble d’indicateurs qui mesurent la performance des actions de sécurité et permettent de faire des comparaisons entre différentes régions de l’état. Le panneau fonctionne comme une sorte d’alarme à chaque fois qu’il enregistre des changements négatifs des indicateurs, éloignés de la moyenne établie.
Eduardo Marques, chercheur du CEM et professeur du Département de Science Politique de l’USP, affirme que «cette méthodologie d’informations est devenue un outil important pour évaluer et aider à la formulation de politiques publiques». Le CEM a développé plus de 30 projets de recherche destinés à servir d’auxiliaires pour la formulation et la mise en place de politiques publiques. À titre d’exemple, la Carte de la vulnérabilité sociale, élaborée pour la mairie de São Paulo pour détecter les situations de carence sociale via l’analyse de la distribution de la structure socioéconomique. Ou encore les Indicateurs environnementaux et de gestion urbaine : défis pour la construction de la durabilité dans la ville de São Paulo, qui ont permis à l’administration d’identifier le degré élevé de variété des pressions et problèmes environnementaux dans différents espaces urbains. Deux autres études sur la précarité du logement – qui ont entraîné le Plan Logement de la Ville – ont aussi été développées pour la mairie de São Paulo. Cette dernière expérience a conduit le Ministère des Villes à commander une méthodologie pour analyser des ensembles d’habitations précaires et obtenir des informations sur les besoins en logement d’un groupe sélectionné dans 560 communes.
Les partenariats avec les organismes publics se sont établis progressivement, suite aux contacts entre les administrateurs. Marques signale que «le CEM a été l’un des premiers à numériser des bases de données. […] Nous avons commencé par la mairie de Mauá en 2003. L’information circule et les demandes apparaissent».
Republier