I. Outils de suivi et d`évaluation en rapport avec le cycle des

I.
Outils de suivi et d’évaluation en rapport avec le cycle des opérations
1. Phase d’instruction de financement des projets
La DERP planifie et s’assure de l’évaluabilité des projets soumis au financement
de la BOAD. De même, elle conduit une évaluation prospective des résultats de
développement et de l’additionnalité. Les outils utilisés sont :
-
le référentiel d’indicateurs clés (Référentiel des Indicateurs clé de Suivi et
d’Evaluation des Résultats de Développement (RISERD) : dictionnaire
fournissant la définition des indicateurs clés standardisés pour permettre
de suivre et d’apprécier la capacité de la Banque à transformer les
ressources financières en amélioration tangible du bien-être et de la
productivité des bénéficiaires des projets/programmes financés.
-
le modèle type de cadre logique axé sur les résultats de développement
(Cadre Logique Axé sur les Résultats de Développement – CLARD) :
tableau résumant la logique d’intervention des projets/programmes, les
risques y afférents ainsi que les indicateurs permettant d’apprécier
l’atteinte de leurs objectifs. Il contribue à mieux percevoir leurs résultats
de développement visés et facilite leurs évaluations pendant les phases de
mise en œuvre et d’exploitation.
-
la Matrice de Suivi-Evaluation (MSE) à deux volets : une matrice de suiviévaluation « plan » qui est un tableau de synthèse des indicateurs clés de
performance du cadre logique indiquant leurs méthodologies de collecte,
leurs méthodologies d’analyses nécessaires à leurs suivis et leurs
évaluations à une fréquence spécifique et le budget associé ainsi que les
risques liés à la collecte et à l’analyse. Une matrice de suivi-évaluation
« collecte » permettant de planifier les cibles annuelles et de collecter
annuellement les réalisations des indicateurs clés auprès des projets.
-
l’analyse de la qualité à l’entrée (QaE) : processus de revue des projets, au
cours de leur phase d’instruction, portant sur un ensemble de prérequis
standards permettant un suivi et une évaluation de qualité au cours de
leur mise en œuvre (phase d’exécution) et lors de leur phase
d’exploitation (phase d’évaluation rétrospective). L’analyse porte sur sept
(7) dimensions, à savoir (i) l’alignement stratégique et la pertinence du
projet, (ii) la prise en compte des leçons apprises des projets achevés ou en
cours, (iii) l’appropriation et l’identification des bénéficiaires et des zones
cibles, (iv) la chaîne de résultats et les valeurs des indicateurs de
performance, (v) le respect des clauses environnementales et sociales, (vi)
la durabilité du projet (en termes de prérequis mis en place pour favoriser
la durabilité du projet) et (vii) les dispositions pour la mise en œuvre du
projet.
-
l’analyse de l’additonnalité : examen, sur la base d’indicateurs probants,
de l’avantage comparatif apporté par la BOAD. L’analyse porte sur deux
(2) dimensions, à savoir, l’additionnalité financière et l’additionnalité non
financière. L’additionnalité examine la capacité de la BOAD à contribuer à
réduire le coût des emprunts, à catalyser la mobilisation de fonds, à
apporter une assistance technique visant à améliorer la conception d’un
projet, à accompagner l'entreprise ou l’Etat à mettre en place des objectifs
de développement, à contribuer à l’amélioration du cadre réglementaire
dans lequel se déroule le projet, à conduire les entreprises ou les Etats
porteurs de projet à s'engager à appliquer un système de suivi et
évaluation des résultats de développement lors de l’évaluation ex ante, au
cours de la mise en œuvre et à la phase d’exploitation du projet.
-
l’analyse prospective des résultats de développement : sur la base
d’indicateurs clés probants, examen des avantages économiques, sociaux,
environnementaux que les projets génèrent pour contribuer au
développement d’une communauté, d’une collectivité locale, d’un pays ou
d’une communauté économique régionale. L’analyse porte sur huit (8)
dimensions, à savoir (i) les bienfaits pour les ménages;(ii) les
infrastructures, (iii) les finances publiques ; (iv) la résilience
macroéconomique ;(v) les incidences environnementales, (vi) le genre et
les incidences sociales, (vii) le développement du secteur privé et les effets
de démonstration et (viii) le succès commercial.
2. Phase de mise en œuvre des projets
La DERP initie et coordonne (i) la notation de l’état d’exécution et des résultats
de développement des projets, (ii) les enquêtes annuelles de routine pour la
collecte des indicateurs clés du RISERD et (iii) les enquêtes de référence et de
suivi des impacts socioéconomiques de certains projets spécifiques. Il est
également conduit l’analyse statistique des informations et la rédaction de la
note annuelle sur les indicateurs de résultats de développement des projets
financés par la BOAD. Pour conduire ces activités, quatre (4) outils sont utilisés :
-
l’analyse de l’état d’exécution et des résultats de développement (EERD) :
examen de plusieurs facteurs standardisés permettant d’obtenir une
opinion fondée en vue d’apprécier la probabilité d’apparition des
résultats de développement dans les délais et les cibles prévues à
l’évaluation ex-ante. Cette analyse permet de classer les projets en trois
(03) groupes : projets sans problème, projets à problème et projets
potentiellement problématiques.
-
la matrice de suivi-évaluation « collecte » permettant l’enquête de
routine : formulaire de collecte de la réalisation des cibles annuelles des
indicateurs clés du RISERD auprès de chaque projet ;
-
la base de données de suivi-évaluation des résultats de développement :
application permettant de saisir, d’analyser et d’archiver les données clés
provenant des outils de suivi-évaluation des résultats de développement
sus indiqués. Elle permet également d’archiver les recommandations faites
au cours de l’exécution du projet.
-
les enquêtes périodiques de suivi des impacts socio-économiques : selon
les questions d’évaluations issues de l’examen des résultats de
développement planifiés dans le cadre logique et la spécificité des
projets, la première enquête (enquête de référence ou baseline survey) et
la seconde enquête (enquête de suivi ou midline survey) sont conduites.
3. Phase d’exploitation des projets (étape rétrospective des projets)
Le suivi des indicateurs clés du RISERD se poursuit jusqu’à cinq ans après
l’achèvement de l’exécution des projets, étant entendu que les évaluations de
performances rétrospectives des projets sont conduites au moins deux (02) ans
après la fin d’exécution des projets. En outre, selon la disponibilité, la
planification préalable lors de l’instruction de financement, des évaluations
thématiques et des évaluations d’impacts socio-économiques (troisième enquête
ou endline survey) peuvent être conduites.
-
Au plan du suivi des indicateurs clés du RISERD, projets en phase
d’exploitation font l’objet de collecte des indicateurs à travers la matrice
de suivi-évaluation « collecte » permettant l’enquête de routine.
-
Au plan de l’évaluation rétrospective de performance des projets, la DERP
conduit un processus systématique et objectif par lequel il est déterminé
la valeur et la portée d’un projet achevé. Cet examen est effectué après au
moins 24 mois d’exploitation du projet financé (24 mois après la fin
d’exécution du projet). Ce délai minimum permet de s’assurer qu’une
période conséquente s’est écoulée en vue de laisser apparaitre les effets à
court, voire à moyen termes et également permettre d’apprécier la
durabilité du projet. De 2010 à présent, la fonction utilise certains outils
préconisés pour l’évaluation des projets publics par l’Evaluation
Cooperation Goup (ECG) et le Comité d’Aide au Développement (CAD), en
particulier les critères de notations prescrits. Les critères majeurs
d’évaluation sont : la pertinence, l’efficacité, l’efficience, la durabilité, la
performance de la BOAD et la performance de l’emprunteur. Cependant,
depuis 2014, la DERP a démarré l’introduction des critères de l’ECG relatifs
aux projets non souverains. En outre, une base de données des
recommandations des évaluations est en cours de conception (achèvement
en décembre 2015).
-
En matière d’évaluation thématique, la DERP fait une appréciation
systématique et objective d’un certain nombre de projets, tous orientés
vers une priorité spécifique de développement, qui s’applique de façon
transversale aux secteurs et aux Etats membres de l’Union Economique et
Monétaire Ouest Africaine. La spécificité de l’évaluation thématique est
qu’elle est fondée sur l’analyse du portefeuille des projets de la Banque
avec au moins une proportion donnée de projets achevés ayant fait l’objet
de fin d’exécution et d’évaluation de performance rétrospective. Sa
méthodologie aborde systématiquement : la revue de la littérature
(politique, stratégie de la Banque et d’autres institutions de financement
du développement), la revue du portefeuille (approbation, performance
en matière de décaissement, performance en matière d’exécution,
durabilité etc) et l’étude de cas pour l’examen approfondi du thème
abordé.
-
Concernant les évaluations d’impacts socio-économiques (troisième
enquête, enquête finale ou endline survey), la DERP initie et supervise les
évaluations d’impacts. Elles peuvent être qualitatives ou quantitatives
avec l’utilisation d’une approche contributive. Cependant, lorsque les
circonstances le permettent, une approche attributive peut être mise en
œuvre. Sept (7) projets d’aménagement hydro agricoles ont fait l’objet
d’évaluations d’impacts qualitatives. Les enquêtes de référence et de suivi
n’ayant pas été faites lors de la mise en œuvre des projets, il a été conduit
uniquement des enquêtes rétrospectives auprès des échantillons de
ménages bénéficiaires et non bénéficiaires.