Repères pour l`évaluation de projets
Transcription
Repères pour l`évaluation de projets
Les outils méthodologiques de l’IAAT Poitou-Charentes n°2, septembre 2011 REPERES POUR L’EVALUATION DE PROJETS Ce guide propose des repères pour faciliter la construction de démarches d’évaluation de projets, de politiques ou de programmes. Ces éléments s’appuient sur l’expérience d’animation et d’accompagnement du Pôle Ingénierie Territoriale de l’IAAT Poitou-Charentes, depuis 2002. POUR INTRODUIRE L’EVALUATION « L’évaluation suggère plus qu’elle ne prouve, argumente plus qu’elle ne démontre, est plus crédible que certaine et elle est diversement acceptée plutôt qu’elle ne s’impose », Ernest House1, 1980. Décret relatif à l’évaluation des politiques publiques, n°90-82 du 22 janvier 1990 : « L’évaluation d’une politique publique a pour objet de rechercher si les moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets attendus de cette politique et d’atteindre les objectifs qui lui sont assignés. » Règlement CE n°1083/2006 portant dispositions générales sur le Fonds européen de développement régional, le Fonds social européen et le Fonds de cohésion, art.47 : « Les évaluations visent à améliorer la qualité, l’efficacité et la cohérence de l’intervention des Fonds ainsi que la stratégie et la mise en œuvre des programmes opérationnels ». UNE DIFFUSION DES PRATIQUES D’EVALUATION Une diffusion progressive L’évaluation s’est développée progressivement dans le cadre de dispositifs contractuels de type programmes européens, politique de la Ville, contractualisations Etat-Région et entre collectivités territoriales… L’évaluation est introduite dans les textes en 1986 avec le rapport Deleau « Evaluer les politiques publiques » . Le Décret du 22 janvier 1990 instaure un dispositif d’évaluation interministériel. Un sens à définir L’évaluation constitue un moment de prise de recul et d’aide à la décision. Il n’existe pas de ligne de lecture unique de l’évaluation d’un projet mais bien une pluralité de méthodes et outils, même si des questions et étapes clés permettent de guider ce processus. Le temps de l’appropriation du sens et des objectifs de l’évaluation d’un projet est primordial pour la qualité de la démarche. Elle est à construire en fonction du contexte et des questions évaluatives posées. DES ENJEUX L’EVALUATION ET CRITERES DE QUALITE DE La volonté politique : L’implication et l’information des élus constituent un enjeu important pour mener l’évaluation et en faire un outil d’aide à la décision. Un travail en amont : La méthode d’évaluation et ses objectifs gagnent à être définis en amont. Cela permet de mettre en place des outils de suivi adaptés et de rendre possible l’évolution du projet en cours de réalisation. La qualité et la faisabilité de l’évaluation : Des éléments sont à considérer (information, pertinence des critères, honnêteté intellectuelle, clarté des conclusions). A ce titre, les attentes fixées doivent être réalistes tant sur le plan de la faisabilité, des compétences disponibles que du budget alloué. Les dimensions quantitative et qualitative L’évaluation s’appuie sur des informations quantitatives et qualitatives. Les seuls résultats quantitatifs donnent un bilan chiffré. La dimension qualitative est nécessaire pour la réalisation d’une évaluation complète tant dans la mise en œuvre que dans les résultats et les impacts du projet. Une démarche partenariale : L’association des acteurs impliqués dans le projet favorise une évaluation au plus près des problématiques du projet. Le temps de l’évaluation : Les effets d’une action ou d’un projet s’inscrivent dans la durée. Il est important de laisser le temps à un projet de remplir ses objectifs. Tout ne peut être évalué et mesuré avec exactitude. Les impacts des projets sont multicritères et pas toujours quantifiables. La valorisation de l’évaluation : Elle est à préciser, dans les modalités de diffusion des résultats de l’évaluation et les publics ciblés. 1 Professeur Faculté de pédagogie de l’Université du Colorado à Boulder Repères pour l’évaluation de projets, septembre 2011 ©IAAT Poitou-Charentes 2011 – Pôle ingénierie territoriale 1 LES NIVEAUX D’ANALYSE DE L’EVALUATION D’UN PROJET Ils permettent de questionner et évaluer le projet ou programme dans ses différentes composantes : - Définition des objectifs de départ, - Pilotage et animation du projet, moyens mis en œuvre, - Réalisation et résultats du projet, - Approche des impacts. Ils sont complexes à appréhender, cependant leur questionnement peut apporter des éléments qualitatifs utiles pour la définition et la reconduite du projet, - Proposition d’évolution ou de reconduite du projet : le sens même de l’évaluation est de permettre au projet d’évoluer au regard de l’expérience et de nouvelles problématiques. Enjeux identifiés Objectifs pertinence Moyens mobilisés Réalisation cohérence Résultats Impacts efficience efficacité Pertinence : l’analyse des objectifs du projet en fonction des enjeux et problématiques identifiées. Est-ce bien cela qu’il fallait faire ? Cohérence : l’appréciation des objectifs par rapport aux moyens mobilisés. Est-ce comme cela qu’il fallait faire ? Efficience : l’analyse des moyens mis en oeuvre par rapport aux résultats obtenus. Le résultat est-il à la hauteur des moyens mobilisés (humains, techniques, financiers…) ? Efficacité : l’analyse des résultats obtenus par rapport aux objectifs fixés au départ. Le projet a-t-il atteint les objectifs de départ ? Il s’agit également de se questionner sur les impacts du projet, même s’ils ne sont pas toujours précisément identifiables. LES TEMPS DE L’EVALUATION L’évaluation constitue un des outils d’animation et de pilotage de projet. Elle n’intervient pas seulement une fois le projet achevé, mais bien tout au long du projet permettant de le modifier en cours de réalisation pour une plus grande efficacité. Elle fait référence au sens de l’action. évaluation ex-ante évaluation à mi-parcours évaluation finale ou ex-post évaluation in itinere ou en continu Evaluation ex-ante : évaluation réalisée en amont du projet dans un but de validation des objectifs initiaux, de vérification de la pertinence du projet, de la mise en place du suivi. Evaluation in itinere ou en continu : c’est un processus de suivi de la mise en oeuvre, de l’exécution des programmes et des changements dans leur environnement extérieur. Elle permet de mieux comprendre et d'analyser les réalisations et résultats obtenus ainsi que les améliorations et mesures correctives à apporter. Evaluation à mi-parcours : évaluation réalisée en cours de projet ou de politique évaluée, dans un but d’ajustement des choix stratégiques et opérationnels initiaux et de réallocation éventuelle de moyens. Evaluation finale ou ex-post : évaluation réalisée en fin de programme dans un but d’appréciation de l’atteinte des objectifs, de mesure de la valeur ajoutée de la politique ou du programme pour le territoire, de mise en évidence des progrès réalisés. Elle doit permettre par ces préconisations de préparer les générations suivantes de politiques publiques. Sources : - Atelier Evaluation à destination des pays, communautés d’agglomération et Leader +, IAAT Poitou-Charentes, 2005-2006. - Cycle régional de perfectionnement à l’évaluation en Aquitaine, Pays et Quartiers d’Aquitaine, 2006. - Orientations indicatives sur les méthodes d'évaluation, Nouvelle période de programmation 2007-2013, Commission Européenne, Direction Générale Politique régionale, avril 2007. Repères pour l’évaluation de projets, septembre 2011 ©IAAT Poitou-Charentes 2011 - Pôle ingénierie territoriale 2 DES ELEMENTS POUR CONSTRUIRE UNE DEMARCHE D’EVALUATION Un travail en amont sur le sens de l’évaluation Une sensibilisation des élus et des acteurs impliqués pour s’approprier l’évaluation et en faire un outil de pilotage de projet. Des critères à prendre en compte · Le contexte local et les problématiques, · Le contexte politique et réglementaire dans lequel s’inscrit le projet. Qui demande l’évaluation ? Que doit-elle comprendre à minima ? · Le champ de l’évaluation et le sens que l’on veut lui donner : que veut-on évaluer et pour faire quoi ? · Les moyens financiers et humains mobilisables pour la mise en œuvre de l’évaluation, · Les contraintes de calendrier, · Les questions transversales spécifiques : la participation des acteurs, la prise en compte du développement durable. Un état des lieux de l’existant à réaliser · Le repérage des évaluations déjà menées dans la structure ou la collectivité, · Le recensement des tableaux de suivi et outils existants sur le projet, · Le rassemblement des informations disponibles et pertinentes sur le projet à évaluer (modalités de mise en œuvre, résultats…). Une méthode d’évaluation à définir · Le contenu de l’évaluation : Que veut-on analyser ? Définir le champ de l’évaluation, les objectifs et les questions évaluatives (c’est à dire les principales questions auxquelles l’évaluation doit répondre) · Les moyens et outils de l’évaluation : moyens humains et financiers, prise en compte d’éléments quantitatifs et qualitatifs (tableaux de bords, entretiens d’acteurs, groupes de travail….). · Le pilotage de la démarche d’évaluation : Qui ? Quelle organisation ? Création d’un comité de pilotage ? Quels partenaires associés ? · La planification des phases de la démarche : Lancement, analyse du projet au regard des questions évaluatives, résultats de l’évaluation et préconisations pour la suite du projet. Des points clés pour la constitution d’un cahier des charges Une démarche d’évaluation menée en interne ou avec un prestataire extérieur, nécessite de prendre un temps de définition et de formalisation des objectifs de l’évaluation et de la méthode retenue. Exemple de composition d’un cahier des charges : - Le contexte de la démarche, - Les objectifs et le champ de l’évaluation, - La méthodologie souhaitée, - Le pilotage, - Le calendrier de travail, - L’état des lieux des informations existantes. Si l’évaluation fait appel à un prestataire extérieur, un appel d’offre de marché public se compose : - D’un acte d’engagement, - Du règlement de la consultation, - Du cahier des clauses administratives particulières, - Du cahier des clauses techniques particulières : il correspond au cahier des charges. Pour plus d’information : www.projetdeterritoire.com - Faire appel à un consultant : Comment rédiger le cahier des charges?, ETD, oct. 2003, 4p. - Le vade-mecum des petits marchés publics, MAPA (marché à procédure adaptée), ETD, sept. 2010, 36p. - Les marchés publics en 6 questions, ETD, sept. 2008, 9p. La communication sur l’évaluation · Pour informer sur le projet et ses résultats. · Pour appuyer les choix politiques d’évolution et/ou de définition du projet. · Pour partager l’information sur les résultats de l’action publique : Choix du support (réunion, note de synthèse, article …). Pour quels acteurs (élus, partenaires, financeurs, population…). Repères pour l’évaluation de projets, septembre 2011 ©IAAT Poitou-Charentes 2011 - Pôle ingénierie territoriale 3 DES OUTILS POUR L’EVALUATION Des exemples d’outils qui peuvent être mobilisés pour une évaluation quantitative et qualitative de projet en fonction des objectifs recherchés. Certains sont des outils de suivi mis en place en amont du projet (tableaux de bord, fiches actions…), d’autres peuvent être mobilisés pour l’évaluation du projet (entretiens qualitatifs, groupe de travail, étude de cas…). Tableaux de bord Objectifs et contenu : Ils visent à recueillir l’information essentielle sur la mise en oeuvre du projet dans ses différents aspects (gestion budgétaire, réalisation et résultats du projet, animation et pilotage…) Modalités : ils sont conçus en amont du projet, afin d’être complétés au fur et à mesure et de permettre un suivi du projet. Des éléments à définir : - Quelles informations à collecter ? - Qui recueille les informations ? - Quel outil informatique ? Excel, Access… - Quelles modalités de saisie partagées pour un outil d’information fiable ? Fiches actions Objectifs : Elles précisent de façon synthétique les objectifs, le contenu et le suivi des actions qui composent le projet. Elles favorisent la lisibilité du projet et son suivi. Exemple de contenu de fiche action : - Contexte de l’action, - Objectifs, - Pilotes ou co-pilotes, - Budget : montants et sources de financement mobilisées, - Calendrier : lancement et échéance, - Critères de suivi de l’action : indicateurs de réalisation et de résultat sur le contenu du projet et son animation, tant quantitatifs que qualitatifs, - Modalités d’évaluation de l’action. Entretiens qualitatifs (cf exemple guide d’entretien p6) Objectifs : Ils apportent des éléments pour alimenter l’évaluation et comprendre le fonctionnement et les résultats du projet. Modalités : Le guide d’entretien se construit en fonction du type d’acteurs rencontrés (porteurs de projet, acteurs partenaires, élus, animateur du projet, gestionnaire, bénéficiaires…) et des objectifs de l’évaluation. Repères pour l’évaluation de projets, septembre 2011 ©IAAT Poitou-Charentes 2011 - Pôle ingénierie territoriale Groupe de travail Objectifs : Contribuer à l’évaluation en mobilisant des acteurs impliqués dans le projet pour mettre en avant leur retour d’expérience. Proposer des pistes d’évolution du projet. Modalités : Le contenu, les modalités d’animation, les objectifs précis du groupe et le calendrier de travail doivent être définis. L’information disponible sur le suivi et les premiers éléments d’évaluation du projet peuvent être formalisés pour le groupe de façon synthétique afin de partir de l’existant. Nombre : 5 à 8 participants pour favoriser l’expression de chacun. Exemple de sujets possibles : Analyse globale du projet dans toutes ses composantes ou analyse ciblée sur certaines questions : Objectifs du projet, Réalisation et résultats, Animation du projet, Budget et gestion, Prise en compte du développement durable (économique, social, environnement, gouvernance…). Etude de cas Objectifs : Zoom sur des actions du projet qui seront analysées dans le détail tant au niveau quantitatif que qualitatif (objectifs, réalisation, modalités de mises en œuvre, pilotage et animation de l’action, résultats et approche des impacts). Modalités : Définir un nombre d’actions ainsi que des critères pour le choix des actions à étudier (les critères visent à faire un choix représentatif de la diversité des actions composant le projet : différents types d’actions, différents pilotes…). Contenu : Les actions sont analysées dans le détail (données et entretiens d’acteurs) en reprenant les niveaux d’analyse du projet (pertinence, cohérence efficience, efficacité) et en répondant aux questions clés de l’évaluation. L’étude de cas permet de mettre en avant des éléments précis sur le projet et de proposer des pistes d’évolution. 4 DES INDICATEURS, SOURCES D’INFORMATION Exemples de définition « Valeur observée comme représentative d’un phénomène à étudier », les mots de la géographie, dictionnaire critique, la Documentation française, janvier 1996. « Instrument de mesure d’une réalité empirique », dictionnaire de la géographie, Edition Belin, avril 2003. Des indicateurs à placer à un niveau d’outils Les indicateurs permettent de suivre et analyser la mise en œuvre et les résultats d’un projet. Le choix des indicateurs se fait en amont de la réalisation du projet, en fonction du champ et des objectifs de l’évaluation. Les indicateurs seuls ne sont pas suffisants pour réaliser une évaluation, la méthode d’évaluation et le sens de celle-ci sont indispensables à définir. Les indicateurs peuvent être quantitatifs et qualitatifs. Pour un choix d’indicateurs Plusieurs éléments entrent en ligne de compte dans le choix des indicateurs pour la faisabilité de l’évaluation. L’intérêt et le sens des indicateurs : ils apportent une information sur la mise en œuvre du projet (modalités de réalisation, résultats…) et ils contribuent à l’évaluation. S’assurer d’une définition partagée entre acteurs afin d’éviter les erreurs d’interprétation. La collecte de l’information : qui la réalise ? est-ce une information disponible ? à quelle échelle géographique ? La périodicité : quand est-elle collectée ? Avec quelle fréquence ? quelle mise à jour ? La fiabilité des indicateurs. Différents types d’indicateurs Indicateurs de réalisation : ils mesurent la production immédiate des actions exécutées. Indicateurs de résultat : ils mesurent les effets de l’action pour le public ciblé, et permettent la comparaison des objectifs opérationnels prévus et des réalisations obtenues. Indicateurs d’impact : ils visent à appréhender à moyen ou long termes les conséquences directes ou indirectes des actions menées, au-delà des résultats pour les publics ciblés. Les impacts d’un projet s’analysent avec distance, au regard du nombre de facteurs à même de générer des effets sur un territoire et/ou sur une problématique. Il s’agit de questionnements qualitatifs visant à approcher les impacts possibles d’un projet. Des exemples d’indicateurs Projet de sensibilisation à l’environnement Indicateurs de nb de réunions ou manifestations réalisées réalisation Indicateurs de résultat nb de personnes ayant participé aux actions modification des pratiques pour les Indicateurs d’impact personnes ayant participé aux actions de sensibilisation à l’environnement… nouveaux partenariats développés. Repères pour l’évaluation de projets, septembre 2011 ©IAAT Poitou-Charentes 2011 - Pôle ingénierie territoriale Politique d’aide à la rénovation thermique des bâtiments à usage d’habitation nb de m2 rénovés nb de ménages concernés par la rénovation économies d’énergie, diminution des émissions de CO2, qualité du bâti, amélioration des conditions de vie, création d’activité pour le secteur du bâtiment… 5 Guide d’entretien Exemple de l’évaluation de projet Exemple d’éléments de méthode Objet : Réalisation d’entretiens qualitatifs pour alimenter l’évaluation du projet. Le guide d’entretien est à adapter en fonction du type d’acteurs rencontrés (porteurs de projet, acteurs partenaires du projet, élus, animateur du projet, gestionnaire, bénéficiaires du projet…). Objectifs des entretiens : les objectifs des entretiens dépendent des objectifs du projet et de ceux de l’évaluation. Ils s’appuient sur les niveaux d’analyse du projet (pertinence, cohérence, efficience, efficacité). Ils peuvent s’orienter sur des points spécifiques en fonction des questions évaluatives posées (la gestion et l’animation du projet, ses résultats, la participation des acteurs…). Echantillon : la cible des acteurs à interroger et le nombre d’entretiens sont définis en fonction des objectifs de l’évaluation. Synthèse des entretiens : mise en avant des problématiques suite aux entretiens et des pistes d’évolution. REGARD GENERAL SUR LE PROJET 1. Quelle participation au projet avez-vous eu ? 2. Quels aspects du projet vous ont semblé déterminants ? Pourquoi ? 3. Quels apports pour votre structure ? CONTENU DU PROJET ET RESULTATS 4. Les enjeux et problématiques à l’origine du projet sont-ils toujours d’actualité ? 5. Les objectifs du projet vous semblent-ils correspondre à la problématique posée ou aux besoins (il s’agit de s’interroger sur la pertinence des objectifs initiaux) ? 6. Les réalisations du projet correspondent-elles à ce qui était envisagé ? 7. Les résultats sont-ils satisfaisants ? par rapport aux objectifs de départ ? par rapport aux moyens mis en œuvre ? au regard des retours d’acteurs que vous avez eus ? 8. Est-ce que le projet s’intègre dans une stratégie globale de développement du territoire ? de quelle façon ? 9. Avez-vous rencontré des difficultés et lesquelles dans le contenu et la mise en œuvre du projet? 10. Que pensez-vous des impacts possibles du projet à court ou long terme? PILOTAGE ET ANIMATION /GESTION DU PROJET 10. Quel fonctionnement du comité de pilotage ? 11. Quelle association des acteurs ou partenaires ? 12. Quelle information et communication mises en place pour le projet ? 13. Quelle animation technique ? 14. Les étapes du projet ont-elles respectées le calendrier posé ? 15. L’accompagnement des porteurs de projets a-t-il été mis en place ? 16. Quelle gestion budgétaire et financière du projet ? 17. Quel regard sur les tâches de gestion de projet : dépôt de dossiers, facturation, paiement, suivi budgétaire… ? 18. Avez-vous rencontré des difficultés et lesquelles ? PISTES DE PROPOSITIONS D’EVOLUTION DU PROJET 19. Avez-vous des pistes de propositions et d’évolution ? → Sur le contenu du projet en tant que tel, → Sur l’animation du projet, → Sur la gestion du projet, → Sur toute autre question que vous souhaitez aborder. Repères pour l’évaluation de projets, septembre 2011 ©IAAT Poitou-Charentes 2011 - Pôle ingénierie territoriale 6 Planification de l’évaluation Exemple Calendrier Etape 1 : définition de la méthode de l’évaluation Définition des objectifs et du calendrier du projet Définition de la méthode d’évaluation Validation par le comité de pilotage Définition du calendrier Jj/mm/aa Réunion du comité de pilotage ou du comité technique Etape 2 : lancement de l’évaluation Présentation de la démarche Jj/mm/aa ….. Réunion du comité de pilotage ou du comité technique Etape 3 : collecte de l’information et analyse des informations quantitatives de suivi et d’évaluation du projet Etape 4 : réalisation d’entretiens qualitatifs et/ou de groupes de travail Recueil des informations Analyse des tableaux de suivi du projet au regard des objectifs de l’évaluation et questions évaluatives Mobilisation des acteurs ressources sur le suivi quantitatif du projet Réalisation d’un guide d’entretien et sélection d’un panel d’acteurs à interroger au regard des objectifs de l’évaluation. Réalisation des entretiens Formalisation d’une synthèse des entretiens et mise en avant des problématiques clés Mise en place d’un groupe de travail pour un regard croisé sur le projet : définir la méthode d’animation, les thèmes de travail, les acteurs à mobiliser et le nombre de réunions. Formalisation d’une synthèse sur le regard croisé du groupe. Jj/mm/aa Jj/mm/aa Jj/mm/aa Réunion du comité de pilotage ou du comité technique Etape 5 : Synthèse de l’évaluation et propositions d’évolution du projet Formalisation du rapport de l’évaluation Document de synthèse de l’évaluation Définition de la communication des résultats de l’évaluation, du public cible et de la forme (synthèse, réunion, lettre d’information…) Jj/mm/aa Réunion du comité de pilotage ou du comité technique Repères pour l’évaluation de projets, septembre 2011 ©IAAT Poitou-Charentes 2011 - Pôle ingénierie territoriale 7 POUR EN SAVOIR PLUS, DES ELEMENTS BIBLIOGRAPHIQUES Le référentiel pour l’évaluation des agendas 21 locaux, Commissariat général au développement durable, Ministère de l’Ecologie, du Développement Durable, des Transports et du Logement, 2010 http://www.developpement-durable.gouv.fr/-Le-referentiel-pour-l-evaluation-.html Repères sur l’évaluation au regard du développement durable, Observatoire national des agendas 21 locaux et pratiques territoriales du développement durable, 2007, 80p Plan régional d’évaluation, Programmes opérationnels européens et contrats de projets Etat-Région Poitou-Charentes 2007-2013, novembre 2007, 14p, http://www.europe-en-poitou-charentes.eu/fr/la-viedes-programmes/suivi-et-evaluation/index.html Guide de l’évaluation des Contrats Urbains de Cohésion Sociale, Délégation Interministérielle à la Ville, Pluralis, août 2007, 71p. http://www.ville.gouv.fr/?Un-guide-pour-evaluer-les-contrats L’évaluation du développement économique local : 12 bonnes questions à se poser, ARADEL, 1999, 46p Petit Guide de travail de l’évaluation, Conseil Scientifique de l’Evaluation, 1996, 106p, http://www.evaluation.gouv.fr/cgp/fr/interministere/doc/petit_guide_cse.pdf Charte de l’évaluation des politiques publiques et des programmes publics, Société Française d’évaluation, 4p, http://www.sfe-asso.fr/ Institut Atlantique d'Aménagement du Territoire Poitou-Charentes Centre de ressources régional en information territoriale 2, rue Marcel Doré - BP 20375 86009 POITIERS cedex tél : 05 49 36 22 50 [email protected] www.iaat.org Repères pour l’évaluation de projets, septembre 2011 ©IAAT Poitou-Charentes 2011 - Pôle ingénierie territoriale 8