Mesure des Résultats dans le Développement du Secteur Privé

Département Fédéral des Affaires Étrangères DFAE
Direction du Développement et de la Coopération DDC
Coopération Régionale / Division Amérique Latine
e+i
employment and
income network
Mesure des Résultats dans le Développement du Secteur Privé Principaux messages du troisième cycle de discussion électronique du réseau e+i de la DDC en 2011 ainsi que du webinaire interactif avec des experts de la mesure de résultats 22 Août au 12 Septembre 2011 Introduction Cedocumentrésumelesprincipauxmessagesdelatroisièmediscussionélectroniqueduréseaue+ien2011.Ce
cyclefutconçucommeunserviced’assistancetemporairesurlamesurederésultatsdansledéveloppementdu
secteurprivé(DSP)avecunaccentsurl’approcheFaireFonctionnerlesMarchésauBénéficedesPauvres(M4P).
Principaux messages de la discussion Pourquoi mesurer le changement, et pour qui? LessystèmesdemesuredesrésultatsquiseconformentauStandardduComitédeDonateurspourle
Développementdel’Entreprise(CDDE)améliorentsignificativementlacapacitéd’attribuerlesrésultatsaux
interventionsdesprojets.Ilscontribuentaussiàunemeilleurecommunicationdesrésultatsàunpublicplus
large,commelahautedirection,leparlement,d’autrescirconscriptionsetlegrandpublic.
Lessystèmesdemesuredesrésultatsaidentlesgérantsdeprojetsàobtenirdesinformationsplusprécises,àfin
deprendredesdécisionsplusinformées,conduisantàdesgainsd’efficienceetd’efficacitédanslesprojets.Qui
plusest,ledéveloppementdesystèmesdemesuredesrésultats,etplusparticulièrementdechaînesderésultats,
contraintlepersonneldesprojetsàréfléchirsurcommentfonctionnentlesmarchésetsurcequelesprojets
peuventfairepourquelesmarchésfonctionnentmieux,c’est‐a‐diregénérerunchangementauniveau
systémique.C’estpourquoilamesuredesrésultatsestnonseulementunoutilpouraméliorerlagestionde
projetetlerendementdecomptesmaisaussiuneffortd’apprentissagetoutaussiimportantpourlepersonnelet
lespartenairesduprojet.
Parconséquent,lamotivationpourmesurerleschangementsdanslessystèmesdemarchéàtraversdes
interventionsdanslesystèmedoitproveniravanttoutdeceuxgérantunprojetetpasseulementdesdonateurs
oud’autrescirconscriptions.
Comment planifier un système de mesure des résultats? Ilestindispensablederéfléchiràlamesuredesrésultatsdèsledébutd’un
projet,lorsdelaphasedeplanification,àfindemettreenplaceunsystème
quipeutêtreutilisécommeunoutilpourguiderleprojet,unoutilde
gestionetd’apprentissage.Lesystèmedemesuredesrésultatsnedoitplus
êtreconsidérécommeunecomposanteisoléed’unprojet,enparallèlede
samiseenœuvre,maiscommeunepartieintégranteduprojet.Ceciades
conséquencessurlastructureorganisationnelle,letempsconsacréparle
personneletl’allocationdesressources.Développerunsystèmedemesure
desrésultatsnécessiteuneprofondecompréhensionducontexte,tout
autantquelaplanificationdesinterventions.Laplanificationdes
interventionsetlaplanificationdelamesuredesrésultatsdoiventdonc
allermaindanslamain.
Lapremièreétapepourconcevoirunsystèmedemesuredesrésultatsest
dedévelopperdeschaînesderésultatsquimontrentlalogiquederrière
chaqueintervention.Parconséquent,unechaînederésultatsest
nécessairepourchaqueintervention(oucomposanteduprojet).Les
indicateurs,ainsiqu’uneprédictiondeschangementsquipeuventavoir
Concevoir de bonnes chaînes de résultats Il y a deux tendances pour la conception
de chaînes de résultats dans la pratique:
(1) Établir des chaînes de résultats
simplifiées, avec trois ou quatre cases et
un indicateur pour chaque case. Ces
chaînes ne donnent pas assez
d’informations
sur
la
logique
d’interventionpourêtreconstructives.(2)
Établir des chaînes de résultats très
détaillées, avec trop de cases et trop
d’indicateurs, ce qui conduit à une
constructiontropcomplexe.
Unebonnechaînederésultatscontientles
changements clefs pertinents, aves les
indicateursclefsquidoiventêtremesurés
pour montrer que ces changements ont
bienlieu(cf.figure1).
MesurederésultatsdansledéveloppementdusecteurprivePrincipauxmessagesdeladiscussionélectronique2011
lieu,sontunepartieintégrantedeschaînesderésultats.Ilfautobtenirlebonmélanged’indicateursquantitatifs
etqualitatifs,surtoutpourmesurerladurabilitéetlechangementsystémique.
Figure1:Exempled’unechaînederésultats.(Source:leComitedeDonateurspourleDéveloppementdel’Entreprise(2011):
Pourquoidéfinirunenormepourlamesurederésultats?)
Leschaînesderésultatsnesontpasunsubstitutpourlecadrelogique.
Celui‐ciresteunexcellentoutilpourrésumerlaraisond’êtred’un
programme.Représentantunebonnebasepourconstruirelecadre
logique,leschaînesderésultatsdoiventêtrecondenséesaux
différentsniveauxducadrelogique(cf.figure2).Lescasesde
différenteschaînesderésultatssontainsiregroupéespourconstruire
résultats,finalitésetobjectifsquicouvrenttoutleprojet.
Pourlecadrelogique,lesindicateursdoiventêtredéfinissurlabase
duregroupementdesindicateursdeschaînesderésultats(par
exemple,lenombredefournisseursdeservicesquichangentde
comportementpourdonnerdesinformationsauxbénéficiaires,le
nombredepolitiquesquelesassociationsadoptent,etc.,regroupent
ceuxdedifférenteschaînesderésultatsdansdifférentssecteurs).Au
niveaudel’impact,leStandardduCDDEsuggèrequelesprogrammes
examinenttroisindicateursuniverselsd’impactpourmesurerle
changement:revenus,envergure(échelle)etemploiscréés.Cet
impactglobalpeutêtreutilisépourrendrecompteparrapportau
cadrelogiqueetpeutêtreadditionnéàtraverstoutunportefeuillede
programmes(parexemple,pourlastratégied’unpays).
Étantdonnequelecadrelogiquefaitgénéralementpartied’unaccord
légalaveclebailleurdefonds,ildoitsouventêtredéveloppéavantle
débutd’unprojet.Acemoment,lesinformationsnécessairespour
développerunebasesolidedechaînesderésultatsn’ontpasété
recueillies;lecadrelogiquedoitdoncêtreétablidemanièretrès
générique,afindelefairecorrespondreplustardauxchaînesde
résultats.Ilestdoncimportantqu’ilyaitsuffisammentdeflexibilitédu
cotédubailleurdefondspourréviserlecadrelogiqueunefoisqueles
chaînesderésultatsontétéétablies.
C’estseulementaprèslacréationdeschaînesderésultatsetducadre
logique,avecindicateursetprédictions,ainsiqu’aprèsle
développementd’unplandemesure,quelaréférencepeutêtre
établie.Silecadrelogiqueestbienconçusurlabasedeschaînesdes
résultats,aveclesbonsindicateurs,alorslaréférencepermettraà
l’équipedeprojetdemontrerleschangementscausésparleprojet.Si
unprojetabeaucoupd’interventionsdansdenombreuxmarchés,et
parconséquentbeaucoupdechaînesderésultats,alorsdifférentes
sous‐référencespourlesdifférenteschaînesderésultatsdoiventêtres
Figure2:Schémagénériquedeschaînesde
résultatsetducadrelogique.(Adaptéde:
DFIDetDDC(2008):UnGuideOpérationnel
pourl’approcheM4P.)
Les références avec des interventions qui changent Les projets suivant l’approche M4P en
particulier sont très flexibles en ce qui
concerne l’ajustement des interventions
aux changements de contexte et des
connaissances. C’est pourquoi, la première
référence doit être, dans une certaine
mesure, générique. Sur cette base, le
développement d’interventions adéquates
etdesréférencesaffinéescorrespondantes
doitêtreunprocessusitératif.
Si les interventions d’un projet changent,
alors il faut mettre à jour la référence en
conséquence.
MesurederésultatsdansledéveloppementdusecteurprivePrincipauxmessagesdeladiscussionélectronique2011
établies.Puisquetoutesleschaînesderésultatsnesontpasprêtesaumêmemoment,cessous‐référencessont
établiesàdifférentmoments.Ils’agitderéférencestrèsspécifiquesquipermettentauxgestionnairesdeprojets
desuivreleschangementsquiontlieuàdifférentesétapesd’uneinterventionspécifique. Qui mesure, comment, quand? Ilestcommunquelepersonneldédiéausuivietàl’évaluation(S&E)n’interagissepassuffisammentavecle
personnelmettantenœuvreleprojet.CemurquidiviselepersonneldeterrainetlepersonneldeS&Edoitêtre
démolipuisquelepersonneldeterrainsaitexactementcequidoitêtremesuréetlepersonneldeS&Esait
commentlemesurer.
Lamesurederésultatsdoitcommencerdèsledébutd’uneintervention.Chaqueétaped’uneintervention,dèsles
premiersinstants,doitêtrepriseencompteafindevoirsilachaînederésultatsenvisagéeestcorrecteounon,et
sinon,pourquoi.Cecinepeutpasêtrefaitavecdegrandssondagesmaisnécessitebeaucoupd’informations
qualitatives,obtenuesàtravesdesenquêtesminutieuseseffectuéesparlepersonneldeprojet,un
échantillonnagesélectifetdesentretiensapprofondis.Uniquementlorsquel’informationaétéregroupéedans
lesniveauxsupérieursdeschaînesderésultatsetqueleprojetveutsavoirsilesinterventionssonteffectivement
entraindemodifierlesystèmedemarchéàuneplusgrandeéchelle,seulementalorslessondagesformelssont
unoutiladéquat.
LaparticularitédesprojetsM4Présidedanslefaitquelesinterventionssontconçuespourcauserun
changementsystémiquedanslesmarchésetvisentunimpactindirect,cequiestplusdifficileàmesurerquedes
changementsdirectscausésparlesinterventions.Iln’yapasd’outilsspécifiquespourmesurerlesrésultatsdans
lesprojetsM4P;lesoutilshabituelspourmesurerleschangementspeuventêtreutilisés.
Ilestutilederéfléchirsurlavaliditédeschaînesderésultatsdèsqu’ilya
Mesurer les ‘débordements’
denouvellesinformationsissuesdusuivietdel’évaluationd’impact,ou
Il existe quelques défis particuliers pour
mêmeissuesdevisitesduprojet.Cecipermetàl’équipedeprojetde
les projets M4P. Ces projets visent une
réfléchirsurleursobservationsdumarchéetdevoirsileschangements
réplication et un copiage spontanés, un
ontbienlieucommeprévu,etsinon,quellesactivitésnouvellesoude
‘crowding‐in’ des entreprises. Aucun
suivisontnécessaires.LeStandardCDDEsuggèrequelesprogrammes
systèmedemesureclassiqued’agencesde
réfléchissentsurleurschaînesderésultatsaumoinsunefoisparan,mais
développement ne se concentre sur
enpratique,lesprojetsjugentutiledelefaireplusfréquemment.
commentcapturercela.Ilsseconcentrent
tous sur le groupe directement ciblé. Le
Standard CDDE recommande que les
projets formulent ces changements
indirects anticipés avec leurs chaînes de
résultats. Une fois que ces changements
systémiques ont été identifiés, le projet
peut ensuite sélectionner des indicateurs
pour mesurer ces changements et leur
durabilité à long terme. Pour cela, il peut
utiliserdesoutilsderecherchestandards,
qualitatifs et quantitatifs (questionnaires
approfondis,sondages,discussionsciblées
degroupe,étudesdecas,etc.).
A propos d’audits et d’évaluations Habituellement,lesévaluateursontdesdifficultéspourdéterminersiles
projetsréalisenteffectivementcequ’ilsdisentréaliseràcausedu
manqued’unelogiqueexpliciteoudesdonnéespourlavérifier.La
différenceentrel’évaluationd’unprogramme‘traditionnel’etd’un
programmequiutilisedeschaînesderésultatsestquedanslesecondcas,
lesdonnéesnécessairessontdisponibles,permettantainsiaux
évaluateursd’approfondiretdeposerlesbonnesquestionsauxbonnes
personnesaubonmoment.
L’idéed’unauditdessystèmesdemesuredesrésultatsestdedonneraux
gestionnaires,aupersonneletauxbailleursunecertaineassurancequele
systèmeestcrédibleetplausible.Pourcela,unregardextérieurest
nécessaire.UndesavantagesduStandardduCDDEestl’exigenced’unedocumentationpapiersurcequefaitle
projet,etpourquoiillefait,afinquel’auditeurpuissefacilementvérifieretcertifierlesystèmedemesuredes
résultatsenplace.
Lebonmomentpourunauditestquantleprojetconsidèrequ’ilestprêt.LeStandardsduCDDEpossèdedeux
systèmesd’audit;l’uns’appliqueauxprojetsquiontœuvréversleStandardpourlamesurederésultatsdepuis
moinsd’unan,etl’autreconcernelesprojetsl’utilisantdepuisplusd’unan.Danslepremiercas,ils’agitd’un
auditpourvérifierqueleprojetaunsystèmeenplace,danslesecondcas,quecesystèmeestutilisé.
Pratique de la mesure de résultats à la DDC LeStandardCDDEestcompatibleaveclesrecommandationsdelaDDCsurlamesuredesrésultats.Lesdeux
institutionsmettentl’accentsurl’usagedelamesuredesrésultatspourguideretapprendre,ainsiquepour
rendredescomptes.Lesdeuxinstitutionsindiquentqu’ilestessentieldefournirlesressourcesadéquatespour
unsystèmedemesuredesrésultats,delegarderfaisableetd’utiliserunbonmélangedeméthodesdemesure
contenantdesaspectsqualitatifsetquantitatifs.
LeStandardCDDEcoïncideaussiaveclesrequêtesspécifiquesdelaDDCdansles«rapportsdefindephase».
Ces‐derniersreprésententunepiècecentraleducompterenduàlaDDC,avecunaccentsurles
objectifs/l’impact,uncourtdocumentetuneremiseopportuneafindeguiderlaplanificationdelaprochaine
phase.LeStandarddelaDDCsurlecompterenduannueldeprojetsetdeprogrammesseradéfinid’icifin2011.
Novembre2011
3
MesurederésultatsdansledéveloppementdusecteurprivePrincipauxmessagesdeladiscussionélectronique2011
Leschaînesderésultatsreprésententunebonnebasepourdévelopperlecadrelogique,quiesttoujoursune
partieintégrantedespropositionsdecréditdelaDDC.Leschaînesderésultatssontplusdétailléesetorientées
versletravailpratiquedanslagestiondeprojets;lecadrelogiquepermetunebonnevued’ensembledes
objectifsduprojetetdesréussitesdupointdevuedudonateur.Ainsi,cadrelogiqueetchaînesderésultatsne
sontpasantagoniquesmaisfonctionnentbienensemble.
LestroisindicateursuniverselsduStandardCDDEsontobligatoires,autantquepratiquementpossible,pourles
projetse+i.Si‘échelle’et‘revenu’sontsouventpluscommunsetfacilesàmesurer,les‘changementsdans
l’emploi’représententundéfiplusimportant.Quiplusest,ilestévidentquepresquetouslesprojetsontune
séried’indicateurssupplémentairesqu’ilsjugentimportants,parexemplemesurantdesquestionsdegenre,
gouvernance,oud’autresindicateursdecroissancepro‐pauvre.Iciencore,cesindicateursadditionnelsnesont
pasencontradictionaveclesindicateursuniverselsduStandardCDDE.
Liens et contacts Documentsclefsetressourcessurlamesurederésultats:
 Pourquoidéfinirunenormepourlamesuredesrésultats?DéveloppementsetprojetsduComitédes
DonateurspourleDéveloppementdel'Entreprise(2011)
 SiteduStandardCDDEpourlamesurederésultats
 Synthèsecomplètedelatroisièmediscussionélectroniqueetduwebinairesurlamesurederésultats
Siteinternetduréseaue+i:http://www.sdc‐employment‐income.ch
SiteinternetduGroupedeDiscussionsurleDSPduréseaue+i:
http://dgroups.org/sdc/privatesectordevelopment
Novembre2011/MJ/TSP/CS/ID
Novembre2011
4