L`évaluation des actions de développement – Pourquoi ? De
Transcription
L`évaluation des actions de développement – Pourquoi ? De
L’évaluation des actions de développement – Pourquoi? De quoi? Pour qui? Les défis de l’évaluation tels que perçus par certaines OSC canadiennes Jean Christie, pour le Conseil canadien pour la coopération internationale, novembre 2008 1. INTRODUCTION ET CONTEXTE Pendant des années avant l’adoption de la Déclaration de Paris sur l’efficacité de l’aide, le nouveau cadre pour l’aide publique au développement, les organisations canadiennes résumaient leurs plans de programme et leurs demandes de financement à l’Agence canadienne de développement international (ACDI) à l’aide des tableaux du Cadre de gestion axée sur les résultats. Elles préparaient ces tableaux, avec des compétences et un enthousiasme variables, établissant des listes d’indicateurs en fonction desquels elles pourraient suivre, avec l’ACDI, les progrès accomplis en regard des résultats que les organisations avaient dit vouloir atteindre. tant que mécanisme pour assurer la cohérence, à l’échelle nationale, des multiples interventions des bailleurs de fonds officiels, en fonction de certains principes convenus, et pour respecter les priorités des gouvernements nationaux. Ce cadre est à présent bien connu des membres du CCCI. À mesure que s’enrichissait leur expérience de la gestion axée sur les résultats (GR), de nombreuses organisations ont commencé à soulever des questions sur son aptitude à mesurer certains des aspects les plus importants de ce que font ou de ce qu’appuient les organisations de la société civile (OSC). Voilà un aspect du contexte de cette étude. Ce document regroupe certaines des réflexions qu’ont entreprises des OSC du Canada sur la GR. Dès le début, les organisations de coopération internationale canadiennes se sont inquiétées de l’absence presque totale de la société civile dans la Déclaration de Paris. Par l’entremise du CCCI, et de concert avec des collègues de partout au monde, elles ont cherché à faire reconnaître l’importance des OSC en tant qu’agents du développement à part entière et indépendants des gouvernements, qui pourraient contribuer à accroître l’efficacité de l’aide et qui, dans le développement des collectivités, des pays et du monde, jouent un rôle qui va au-delà des simples notions d’efficacité ou d’inefficacité de l’aide. Si on ne reconnaît pas ces rôles plus englobants et si on ne les intègre pas dans les cadres d’évaluation, les OSC seront considérées uniquement comme des instruments de prestation de l’aide, sans égard à leurs contributions plus substantielles au développement efficace. Plus récemment, la Déclaration de Paris a fait son apparition, en grande partie en Au cours des deux dernières années, le CCCI a fait partie du Groupe consultatif Les défis de l’évaluation; Conseil canadien pour la coopération internationale, novembre 2008 1 sur la société civile et l’efficacité de l’aide (Nord/Sud, gouvernements/société civile). Ce groupe, présidé par l’ACDI, a consulté des OSC, des gouvernements et des donateurs de la planète en prévision du troisième Forum de haut niveau sur l’efficacité de l’aide, qui s’est déroulé à Accra, en septembre 2008. Dans une synthèse de ses constatations qui a été présentée à la rencontre au Ghana, le groupe a mis en relief certains des rôles les plus importants que jouent les OSC dans le développement i . Sa dixième recommandation est particulièrement pertinente pour cette discussion sur l’évaluation des OSC. Elle se lit comme suit : « Nous recommandons ce qui suit concernant la gestion axée sur les résultats et la responsabilisation : a) l’adoption d’approches axées sur les résultats et de mécanismes de suivi des résultats conçus avant tout comme outils de gestion pour promouvoir l’apprentissage et l’adoption de mesures correctives, tout en autonomisant les bénéficiaires ultimes des programmes; b) l’adoption d’une approche plus percutante en matière de résultats, comportant une attention accrue aux indicateurs de changement institutionnel et social et aux données ventilées par sexe, qui sont d’une pertinence particulière pour les OSC en tant qu’agents de changement; c) une approche axée sur les résultats mettant l’accent sur un rééquilibrage de la responsabilisation en faveur des bénéficiaires; d) le renforcement des systèmes de responsabilisation de tous les acteurs du développement dans le pays (donateurs, gouvernements et OSC); e) une approche multipartite en matière de suivi et d’évaluation, comportant un engagement réel et opportun des OSC et des populations bénéficiaires dont les organismes de défense des droits des femmes et des autres groupes socialement marginalisés. Entre-temps, en juin 2008, les OSC ont lancé le Forum sur l’efficacité du développement des OSC. Il s’agit d’une initiative pluriannuelle mondiale pour déterminer les principes et les lignes directrices de l’efficacité du développement des OSC (et non pas l’efficacité de l’aide), selon leur conception et à la lumière des divers rôles de la société civile dans le développement. Dans un énoncé présenté au Forum de haut niveau d’Accra, la présidente de l’ACDI, Margaret Biggs, affirmait ce qui suit : « Le Canada appuie les conclusions et les recommandations du Groupe consultatif sur la société civile et l’efficacité de l’aide. Alors que nous établissons un programme conjoint d’efficacité de l’aide au-delà du forum d’Accra, il existe une possibilité extraordinaire de reconnaître et d’appuyer les organisations de la société civile à titre de partenaires à part entière du développement […]. Le Canada est très favorable aux mesures positives que prennent les organisations de la société civile pour renforcer leur propre efficacité. La contribution de la société civile est essentielle à l’obtention des résultats en matière de Les défis de l’évaluation; Conseil canadien pour la coopération internationale, novembre 2008 2 développement, à la bonne gouvernance et à la reddition des comptes. » Cet engagement du Canada, conjugué à l’initiative du Forum mondial des OSC, constitue une toile de fond propice aux efforts que déploient les OSC canadiennes pour cerner les moyens d’évaluer l’efficacité de leurs interventions en matière de développement. Ces activités créent une conjoncture très favorable au dialogue entre les OSC et l’ACDI concernant l’évaluation. 2. CETTE ÉTUDE Cette brève étude ii est une première tentative des membres du CCCI de dresser un état de la « situation générale » en matière d’évaluation et de mesure des résultats – telle est la perception de certaines OSC, de quelques consultants qui réalisent des évaluations et, dans une certaine mesure, du milieu des OSC et des chercheurs qui les étudient. Elle porte sur les questions que les OSC se posent, ainsi qu’à l’ACDI, à propos du pourquoi, du quoi et du comment de l’évaluation et de la mesure du rendement. Elle réunit de l’information sur les moyens que les OSC et les consultants utilisent, adaptent ou conçoivent pour tirer les leçons de l’expérience des OSC et mesurer les résultats probants de manière plus complète. Elle présente une bibliographie pertinente et propose, au CCCI et à l’ACDI, des solutions qui pourraient faire avancer le processus de réflexion tout en avantageant les OSC et l’ACDI. Dans son ensemble, l’étude demeure superficielle. On remarquera l’absence de toute analyse des efforts particuliers des OSC pour évaluer leurs programmes canadiens d’engagement du public, ou leur travail relatif aux politiques – au Canada, sur la scène multilatérale ou dans le Sud. Le CCCI a lui-même mis sur pied deux initiatives portant sur l’évaluation des efforts en matière d’engagement du public, mais ce document ne tente aucunement de faire état des constatations du Conseil. Il n’a pas été question d’évaluer le dialogue sur les politiques. Or, l’engagement du public et le dialogue sur les politiques sont des rôles importants des OSC, et leur absence est une lacune considérable. Lorsqu’ils étaient facilement disponibles, certains documents utiles pour l’évaluation dans ces domaines ont été ajoutés à la bibliographie jointe, mais il n’y a pas eu d’effort concerté pour trouver de la documentation sur ces sujets qui, au demeurant, posent des difficultés méthodologiques très différentes de celles que soulève l’évaluation de programmes internationaux. Il faudrait approfondir la recherche pour déterminer comment les OSC évaluent leur travail en matière d’engagement du public et de dialogue sur les politiques. Les paramètres de cette étude demandaient un examen des méthodes d’évaluation utilisées, entre autres, par les membres du CCCI. Concrètement, l’évaluation se fonde sur un ensemble d’activités qui comprennent aussi la planification, le suivi, et l’apprentissage organisationnel ou communautaire. On a tenté, il en sera question plus loin, d’établir la distinction entre suivi, évaluation et apprentissage organisationnel. Mais en réalité (et dans la documentation) les limites entre ces trois éléments sont mal définies. Ce flou était manifeste lorsqu’on a procédé aux entrevues dans le cadre de l’étude, flou que l’on retrouve aussi dans ce qui suit. À l’avenir, il serait utile d’établir plus Les défis de l’évaluation; Conseil canadien pour la coopération internationale, novembre 2008 3 clairement la différence entre ces trois aspects connexes mais distincts de l’évaluation des programmes. Ce rapport comprend trois annexes. L’Annexe 1 dresse la liste des personnes interviewées. L’Annexe 2 est un résumé des méthodes d’évaluation mises au jour durant cette étude. L’Annexe 3 est une bibliographie des documents trouvés au cours de l’étude. 3. CONSTATATIONS 3.1 Pourquoi une évaluation? L’utilisation projetée des évaluations est primordiale : Les spécialistes et les théoriciens du domaine de l’évaluation ainsi que les évaluateurs des OSC soulignent tous l’importance de savoir pourquoi l’on procède à une évaluation, au profit de qui et à quelles fins iii . On ne peut concevoir des évaluations susceptibles d’atteindre les objectifs poursuivis que lorsqu’on en comprend bien la finalité. En fait, la plupart des évaluations officielles des OSC au Canada sont effectuées pour plus d’une raison. Lorsqu’elles sont financées par l’ACDI, les évaluations doivent toujours prendre en considération l’obligation de rendre des comptes au gouvernement et, ultimement, aux contribuables. Elles sont conçues pour évaluer l’efficacité de la gestion des fonds publics et la pertinence de leur utilisation. Lorsqu’il est question de ce dernier objectif, les évaluations peuvent donner lieu à des prises de décisions quant au financement à venir des organisations. Lorsqu’elles sont réalisées à l’interne et financées par les OSC elles-mêmes, les évaluations ont habituellement pour principal motif de tirer des leçons des actions réalisées dans le but d’améliorer les pratiques, d’éclairer l’élaboration des futurs programmes et de fournir de l’information ainsi qu’une analyse qui pourront faciliter le développement organisationnel et la planification. En réalité, il est rare qu’on ait le choix entre la reddition de comptes et l’apprentissage. Les OSC veulent apprendre des évaluations financées par l’ACDI, et il y a souvent un élément de reddition de comptes – envers les bailleurs de fonds et le public – dans les évaluations effectuées par les OSC. Le poids de ces objectifs peut varier, mais les deux sont presque toujours présents. Cela signifie que les évaluations doivent être conçues expressément en fonction de l’atteinte des deux objectifs, et ce, en tenant compte des particularités de chaque cas. Dans la plupart des évaluations officielles, on semble avoir trouvé un équilibre fonctionnel entre la reddition de comptes aux bailleurs de fonds et l’apprentissage. Ce n’est pas tout à fait le cas pour ce qui est du suivi, dont on traitera plus loin. L’utilité des évaluations est moins évidente dans le cas d’un troisième objectif – soulevé dans la recommandation du Groupe consultatif, mentionnée plus haut, et dont il a été question au cours des entrevues – sur lequel on a recueilli peu de renseignements lors de la collecte de données réalisée pour cette étude. Il s’agit de la reddition de comptes envers les « bénéficiaires ». Les OSC ont fourni de nombreux exemples de processus d’évaluation innovateurs, participatifs ou conjoints, auxquels participent leurs partenaires et qui sont parfois menés par des consultants du Sud. Mais elles ont fourni moins d’indications sur la participation des populations qui bénéficient, en fin de compte, des efforts Les défis de l’évaluation; Conseil canadien pour la coopération internationale, novembre 2008 4 des partenaires. Certaines organisations, dans des descriptions de grands programmes pluriannuels, ont effectivement traité d’enquêtes et de collectes de données à l’échelle des collectivités et, dans un cas, de rapports présentés aux collectivités. Toutefois, en général, la documentation et les témoignages des personnes interrogées ne font qu’effleurer la question de la participation des « bénéficiaires » iv . Compte tenu de la recommandation du Groupe consultatif, cette question mérite qu’on l’approfondisse. Les OSC ont de l’expérience et veulent faire de bonnes évaluations : L’échantillon des OSC interviewées pour cette étude surreprésentait peut-être les OSC particulièrement intéressées par l’évaluation et l’apprentissage institutionnels, puisque 7 des 11 organisations participantes et membres du CCCI s’étaient déjà jointes à un groupe de travail sur l’évaluation. Que l’échantillon soit totalement représentatif ou non, les répondants ont révélé avoir beaucoup réfléchi à l’évaluation, et particulièrement aux outils de suivi et d’évaluation que leurs organisations mettaient au point et adaptaient, aux questions posées ainsi qu’aux efforts qu’ils déployaient au sein de leur propre organisation pour évaluer, de manière significative, les répercussions de leur travail et de leurs relations. Bon nombre se considèrent comme des « organisations apprenantes » et ont décrit un éventail de processus d’apprentissage internes dont la plupart se distinguent de l’évaluation pure et simple. D’autre part, ces organisations semblaient travailler en vase clos, bien qu’elles aient beaucoup à apprendre les unes des autres. La création du Groupe de référence sur l'évaluation du CCCI est opportune dans ce contexte. Tout indique que les OSC tirent effectivement des enseignements de l’évaluation, ce qui influence leur planification stratégique, leur programmation quotidienne et leurs activités internes. De diverses façons, les évaluations ont fait en sorte que les organisations de l’échantillon sont passées d’une approche par projets à une approche par programmes, et qu’elles ont remodelé leurs partenariats, changé leurs priorités organisationnelles, réorienté les programmes existants et élaboré de nouveaux programmes. À l’interne, les évaluations ont poussé les organisations à restructurer leurs processus de planification, à intégrer de nouvelles méthodologies d’évaluation à leurs pratiques courantes et à devenir des « organisations apprenantes » plus résolues. Il semble clair que les OSC utilisent les évaluations. Ce qui est moins clair, c’est la façon dont l’ACDI utilise les évaluations qu’elle finance, et cela s’explique principalement par le fait que les principaux interlocuteurs pour cette étude étaient des OSC et non l’ACDI. 3.2 Gestion axée sur les résultats La gestion axée sur les résultats (GR) forme le cadre que doivent utiliser les OSC lorsqu’elles veulent recevoir du financement de l’ACDI, c’est pourquoi elle est le point de départ de la majorité des discussions actuelles entre les OSC sur les méthodologies d’évaluation. C’était habituellement le sujet qui amorçait les entrevues menées au cours de cette étude. Bien que de nombreux consultants et organisations connaissent et utilisent d’autres méthodologies, la Les défis de l’évaluation; Conseil canadien pour la coopération internationale, novembre 2008 5 GR est au cœur des discussions sur l’évaluation. La reddition de comptes : Oui, mais attention… Chaque personne consultée au cours de cette étude comprend et accepte la nécessité du principe de reddition de comptes en matière de gestion financière et de « résultats ». Tous les répondants veulent rendre des comptes sur le plan financier et faire leur travail de développement aussi efficacement que possible. Les questions qu’ils soulèvent portent sur le type de résultats que les OSC devraient être tenues responsables d’obtenir et sur ceux à qui elles devraient rendre des comptes. À l’instar du Groupe consultatif, qui s’est exprimé par le biais d’une synthèse et de recommandations pour le Forum d’Accra, bon nombre des personnes consultées pendant cette étude pensent que la GR privilégie la reddition de comptes à l’égard des résultats quantitatifs au détriment des résultats moins tangibles et plus qualitatifs (qu’elles considèrent souvent comme les plus importants); elle privilégie aussi la responsabilité à l’égard des donateurs au détriment de la responsabilité envers les « bénéficiaires ». Elles veulent modifier ce rapport en faveur d’une évaluation plus qualitative des résultats et d’une reddition de comptes accrue à l’égard des bénéficiaires. La GR est linéaire; le changement réel ne l’est pas : La plupart des personnes interrogées pour cette étude considèrent que la GR est un outil de planification utile pouvant venir en aide aux organisations qui cherchent à énoncer clairement les types de changements qu’elles espèrent réaliser et les moyens qu’elles proposent pour y arriver. Toutefois, la plupart d’entre elles soutiennent également que la « théorie du changement » implicite dans la méthodologie de la GR est linéaire, alors que les processus organisationnels, sociaux et économiques, dans lesquels les OSC interviennent, sont tout le contraire; c’est d’ailleurs une interprétation que l’on retrouve aussi dans une bonne partie de la documentation étudiée. Les OSC veulent évaluer leurs contributions par des moyens qui ne réduisent pas les processus complexes du changement à une simple causalité linéaire. Elles cherchent des moyens de mesurer les progrès par rapport aux objectifs dans des systèmes multidirectionnels complexes, où la causalité n’est pas nettement tranchée, et où la réussite ne peut être attribuée qu’à un seul acteur ou à une seule intervention. Difficile de mesurer les facteurs « intangibles »; encore plus difficile d’en « faire la synthèse » : À maintes reprises, les personnes interrogées ont répété qu’il était plus facile de faire coïncider des résultats ainsi que des indicateurs quantifiables dans un cadre de GR et de mesurer les progrès à partir de ces résultats et indicateurs, que de trouver des indicateurs qualitatifs significatifs pour mesurer les résultats moins « palpables » que cherchent à obtenir de nombreuses OSC. Il est relativement facile, par exemple, de déterminer si les revenus des ménages ont augmenté, ou si l’incidence du paludisme ou de la mortalité maternelle dans une région a diminué, ou si un approvisionnement stable en eau potable est disponible dans un village, pour ne nommer que quelques uns des indicateurs sur lesquels les OSC tentent d’influer pour le bien des collectivités. Il est en revanche beaucoup plus difficile Les défis de l’évaluation; Conseil canadien pour la coopération internationale, novembre 2008 6 de mesurer des phénomènes tels que le changement dans les comportements individuels (p. ex. en matière d’égalité des sexes) ou encore des facteurs comme l’accroissement des capacités organisationnelles, une plus grande inclusion sociale, une participation plus efficace des OSC dans les processus politiques, un « espace démocratique » accru, des améliorations relatives aux droits de la personne ou une plus grande réceptivité des gouvernements, pour ne donner que quelques exemples souvent cités par les personnes interrogées. C’est en rapport direct avec ces facteurs moins tangibles, qui découlent des rôles plus vastes que jouent les OSC dans le développement, que les organisations posent des questions de fond et qu’elles contestent les contraintes de la GR. La plupart des OSC consultées peuvent mesurer les résultats tangibles de leur travail. De plus en plus, les OSC trouvent aussi des indicateurs qui les aident à mesurer les résultats intangibles. Mais ces indicateurs sont étroitement associés à des programmes particuliers et ne cadrent pas facilement avec des catégories préétablies de « résultats » quantifiables. Dans un contexte où l’ACDI essaie de cumuler les résultats, un problème considérable de méthodologie se pose. Dans la mesure où elles seraient disponibles, comment peut-on cumuler les preuves que les femmes participent maintenant plus activement à la prise de décisions communautaire avec des preuves que la société civile jouit manifestement d’un meilleur accès à un processus national de CSLP; ou avec des preuves que les paramilitaires emprisonnent ou maltraitent moins de travailleurs des OSC; ou encore avec des preuves que les enseignants communautaires ou les travailleurs communautaires de la santé sont mieux formés? Même si un tel regroupement était possible, ne risquerait-on pas d’occulter des détails importants? Suivi ou évaluation : Il existe une profonde différence entre suivi et évaluation. En pratique, les préoccupations reliées à la GR semblent porter autant, sinon plus, sur le suivi que sur l’évaluation. On semble considérer que le suivi trimestriel porte d’avantage sur la responsabilité budgétaire et sur les « résultats »; quant à l’évaluation, elle porterait plutôt sur l’apprentissage par l’expérience dans le but d’améliorer les pratiques et les programmes, et de planifier le travail. Le suivi des programmes financés par l’ACDI fait invariablement appel à des indicateurs de la GR, et l’on y a recours bien plus souvent qu’à l’évaluation, trop souvent, de l’avis d’un bon nombre. On procède à des évaluations exhaustives plus rarement. Qu’elles soient internes ou externes, les évaluations officielles débordent presque toujours le cadre de la GR. Il devrait y avoir un lien entre le suivi et l’évaluation, mais le lien n’est pas toujours évident. Plusieurs intervenants – autant des représentants d’OSC que des évaluateurs – ont fait valoir que les constatations les plus utiles et instructives sont souvent tirées d’évaluations qui n’ont pas grand chose à voir avec la GR ou ses indicateurs. Diverses réactions à la GR : Toutes les OSC consultées utilisent la GR, ne serait-ce que parce qu’elles doivent s’y conformer pour recevoir du financement de l’ACDI et satisfaire à ses exigences en matière de rapports. Celles qui apprécient la GR ont tendance à l’utiliser avec souplesse; celles qui ne l’apprécient guère ont plutôt tendance à la trouver Les défis de l’évaluation; Conseil canadien pour la coopération internationale, novembre 2008 7 rigide et machinale. Tel que mentionné précédemment, bon nombre des OSC trouvent que la GR est utile à la planification et les aide à énoncer clairement ce qu’elles veulent réaliser. Certaines la trouvent utile aussi pour évaluer les progrès. De nombreuses organisations ont reçu une formation en GR et ont offert des formations à leurs partenaires afin de les familiariser avec la méthodologie. Tant chez les partenaires qu’au sein des OSC canadiennes, la GR suscite des réactions mitigées allant de l’enthousiasme à l’incompréhension, à la frustration ou au pur dédain. Deux organisations ont raconté qu’elles avaient dû cesser de soutenir directement certains des groupes les plus vulnérables au motif que les organismes communautaires, dont les membres étaient peu scolarisés ou dont les infrastructures organisationnelles étaient faibles, n’arrivaient pas à composer avec les exigences de la GR. Les organisations s’inquiétaient que la GR engendre un détournement du soutien aux petits groupes et aux groupes communautaires, et ce, au profit des organisations intermédiaires dotées d’un personnel professionnel et possédant davantage de capacités organisationnelles. Si tel est le cas, et s’il n’y a aucune solution en vue, la situation pourrait entraîner de graves problèmes. Lorsque les OSC ont décelé des faiblesses ou des lacunes dans la méthodologie de la GR, elles y ont apporté divers correctifs. Il semblerait qu’une organisation utilise la GR (et assez bien, semble-t-il) mais qu’elle exprime une certaine réserve en ajoutant un avertissement à ses propositions de financement, qui dénonce les insuffisances de la GR dans l’évaluation des résultats à long terme et des résultats systémiques que s’efforcent d’obtenir l’organisation et ses partenaires. La plupart des organisations ont essayé de trouver des indicateurs pertinents, ne futce que quelques uns, qui puissent conceptualiser les changements organisationnels, systémiques et sociaux les plus difficiles à mesurer. Presque toutes ajoutent de l’information rédactionnelle et analytique à leurs rapports de suivi et d’évaluation axées sur les résultats, et presque toutes ont recours à un éventail de méthodologies qui complètent la GR lorsqu’elles procèdent à des évaluations. Certaines font activement participer leurs partenaires à la définition des résultats et indicateurs attendus de la GR. D’autres soustraient intentionnellement leurs partenaires aux exigences de la GR : à la lumière de leur connaissance approfondie du travail de leurs partenaires, les organisations recueillent et « traduisent » la documentation fournie par ces derniers pour l’adapter au format de la GR. Avec l’aide de l’ACDI, un groupe de quatre organisations canadiennes a conçu un atelier de trois jours, en 2005, où plus de 70 OSC participantes, y compris 12 experts internationaux, se sont penchées sur 10 années d’expérience de l’utilisation de la GR. Toujours avec l’aide de l’ACDI, deux organisations ont conçu et mis à l’essai des améliorations considérables au cadre de la GR, pour satisfaire à leurs propres objectifs et programmes. Deux organisations ont clairement indiqué qu’elles faisaient une nette distinction entre les rapports de GR qu’elles remettent à l’ACDI, et les évaluations et processus d’apprentissage internes qu’elles mènent avec leurs partenaires dans le cadre de leurs processus annuels d’évaluation, d’apprentissage organisationnel et de planification. Un Les défis de l’évaluation; Conseil canadien pour la coopération internationale, novembre 2008 8 grand nombre des autres organisations interrogées ont évoqué cette séparation en décrivant une variété de pratiques innovatrices où les partenaires participent à la détermination des priorités, à l’examen du programme de même qu’à l’apprentissage et à la planification. Le fait que les rapports de GR ne se prêtent pas facilement à de telles initiatives d’apprentissage et qu’elles se fassent séparément nous apparaît assez révélateur. Portée, échelle et durée; contribution ou attribution : Toutes les personnes consultées lors de cette étude ont soulevé certaines questions relatives à la durée, à la portée et à l’échelle des interventions de développement, ainsi qu’aux implications de l’ampleur et des délais lorsqu’on évalue les « résultats » d’un programme. S’ajoutaient à cela certaines préoccupations relatives à « la contribution par opposition à l’attribution ». Comment un intervenant peut-il mesurer l’efficacité réelle de son intervention si celle-ci n’est, en fait, qu’une « goutte d’eau dans un océan »? Peu importe la méthodologie d’évaluation, plus le projet est petit et de courte durée, moins les intervenants sont portés à reconnaître les résultats tangibles de leur action, comme si leurs modestes contributions ne pouvaient avoir d’incidence directe sur le ou les changements constatés au cours de l’exécution d’un projet à court terme. Les OSC savent que les résultats intermédiaires, à petite échelle, qu’on peut légitimement attribuer à un projet ont souvent peu de conséquences s’ils sont considérés isolément. Mais ils pourraient représenter une contribution significative à un plus vaste ensemble. La GR ne permet pas de traduire facilement cette réalité. De telles considérations ont amené de nombreuses organisations à adopter une approche par programme et à établir des relations solides avec un ensemble stable de partenaires, sur une longue période. Cela permet de réaliser une analyse cumulative des progrès, avec les partenaires, sur une période durant laquelle on est en droit de s’attendre à de réels changements, à la lumière de points de référence établis (que beaucoup considèrent très importants) et en fonction de résultats plus globaux, dont le suivi débouche sur des constatations plus pertinentes. En revanche, cette thèse sur les projets à petite échelle pourrait être remise en cause si l’on abordait la question de la taille sous un angle tout à fait différent. Comment peut-on estimer la valeur d’une innovation, modeste au départ, qui est appelée à prendre de l’ampleur, et qui parfois ne sera évaluée qu’au terme du projet? Comment peut-on mesurer le pouvoir de l’exemple, lorsque de petites initiatives ouvrent la voie à une modification des politiques à l’échelle nationale? (Les OSC ont cité des exemples des deux cas au cours de l’étude.) Ces considérations sont importantes, et il se peut qu’elles échappent aux évaluations qui portent sur une période limitée. De telles questions sont souvent suivies d’avertissements sévères qui incitent à l’honnêteté et l’humilité. La plupart des personnes qu’on a consultées directement, ainsi que plusieurs dont on a lu les exposés, cherchent des manières de parer aux hypothèses de causalité unique et linéaire, tout en évaluant quand même la valeur de leurs contributions, et ce, dans le contexte de systèmes complexes, où évoluent un grand nombre d’acteurs, et Les défis de l’évaluation; Conseil canadien pour la coopération internationale, novembre 2008 9 qui sont soumis à bon nombre de forces irrépressibles qui ont des répercussions sur presque tous les domaines d’intervention en matière de développement. Les OSC ne sont pas les seules à faire face à ce dilemme. Dans un contexte différent, le Bureau du vérificateur général du Canada lui-même a fait face à la question de la contribution ou de l’attribution dans les systèmes complexes v . En guise de conclusion sur la question de la GR, on pourrait avancer que les difficultés rapportées par certaines organisations, quant à son utilisation, pourraient être attribuées, en partie, au manque d’expérience ou de créativité, qui les empêche de trouver des mesures appropriées pour évaluer les résultats qu’elles essaient d’obtenir. Mais la plupart des organisations croient (tout comme l’auteure de ce texte) que certaines limites sont inhérentes à la méthodologie même de la GR. La GR peut passer outre certaines des caractéristiques les plus importantes d’un bon développement, en particulier lorsqu’elle est appliquée de manière rigide, dans des systèmes sociaux complexes où le changement ne se produit pas de façon linéaire. Il est possible d’atténuer ces limites en associant la GR à des approches complémentaires. Mais les faiblesses de la GR se multiplient rapidement si on l’applique machinalement sans connaître la réalité du développement. On a parlé de cette inquiétude à plusieurs reprises au cours des entrevues. Les personnes qui comprennent la complexité du changement social utilisent la GR de manière beaucoup plus créative que ne le font celles qui n’ont pas d’expérience et à qui son but échappe trop facilement. Dans un effort pour trouver de nouvelles façons d’évaluer les progrès, beaucoup de personnes, partout au monde – dans les OSC, les organismes bilatéraux, et les établissements d’enseignement supérieur et de recherche – cherchent des solutions de rechange, que ce soit pour remplacer ou pour compléter la GR. 3.3 Autres méthodologies d’évaluation Il est possible de trouver une foule d’excellents documents de réflexion qui abordent le thème de l’évaluation sans toutefois s’y limiter. Il s’agit d’exposés traitant de sujets tels que la rechercheaction, les systèmes complexes, la « théorie du changement », et la planification et la gestion du changement social. Une recherche dans Internet, sur n’importe quel de ces sujets, permettra de trouver une foule de documents, dont la plupart peuvent s’appliquer à l’évaluation et les OSC. Il y a aussi un nombre considérable de documents sur les méthodologies d’évaluation, qui abordent de manière implicite ou explicite les limites de la GR, dont il a été question précédemment. Ces documents portent, entre autres, sur les systèmes complexes, les orientations multiples du changement, les techniques participatives, les questions relatives à l’attribution et les résultats involontaires. L’Annexe 2 fait partie intégrante de ce rapport. Elle présente sommairement certaines des méthodologies les plus fréquemment citées qu’utilisent les consultants en évaluation et les OSC et vers lesquelles se tournent les OSC. Ces méthodologies prometteuses pourraient venir s’ajouter à l'éventail de méthodologies d’évaluation qui est déjà à la disposition des OSC. Les défis de l’évaluation; Conseil canadien pour la coopération internationale, novembre 2008 10 L’Annexe 3 est une bibliographie commentée qui présente certains des documents de référence et des sites Web qui ont semblé particulièrement pertinents relativement à l’évaluation des OSC. Plusieurs sont diffusés en ligne. Ces sources ont été choisies parmi des milliers de documents disponibles. Toutefois, la liste est assurément incomplète. encourager les OSC et les évaluateurs à se familiariser avec l’éventail des approches et des outils d’évaluation disponibles, et à éviter les solutions « universelles ». Chacune des méthodes présentées à l’Annexe 2 semble posséder des avantages en plus d’avoir produit de bons résultats. Un outil que l’on utilise aveuglément comme une panacée peut devenir une source problème. Attention aux nouvelles orthodoxies : La lecture sur les méthodologies de rechange et sur les nombreuses façons dont on s’en sert a suscité une inquiétude à l’effet que leurs adhérents les plus fervents pourraient se contenter de remplacer un outil rigide de planification et d’évaluation par un autre. Des discussions en ligne de plusieurs (bons) sites Web se consacrant chacun à une méthodologie en particulier semblent indiquer que certaines personnes suivaient aveuglément une nouvelle série de consignes en appliquant à la lettre et sans se poser de question une série d’étapes prédéterminées à leur propre situation. Ce qu’il faut assurément, c’est de la souplesse, une bonne idée des utilisations possibles des différentes méthodologies, puis une bonne dose de bon sens qui feront en sorte que les outils conçus pour des utilisations particulières, qui sont à la fois rigoureux et adaptés au but immédiat, puissent être choisis ou adaptés. Certains dénominateurs communs : Quelle que soit la méthodologie, certaines idées sont reprises dans toutes les approches qu’on qualifie de « solutions de rechange » à la GR pour évaluer les processus de changement social : Les évaluateurs conjuguent les méthodologies : Bien qu’ils travaillent dans un contexte de GR, les évaluateurs semblent adopter une approche de « GR+ » – combinant une variété d’autres outils et de méthodologies pour recueillir l’information dont ils ont besoin afin d’atteindre les buts multiples d’une évaluation particulière. On devrait - Reconnaître que les processus de changement ne sont pas linéaires, mais qu’ils se produisent au sein de systèmes complexes, font intervenir de multiples acteurs, sont imprévisibles et ne peuvent être maîtrisés qu’en partie. - Élaborer et articuler une « théorie du changement » : votre vision du processus de changement et votre rôle dans le processus. - Savoir ce que l’on essaie de réaliser (quelle qu’en soit la définition) et élaborer les moyens d’y arriver. - Trouver des moyens raisonnables de suivi des progrès significatifs. - Reconnaître la valeur de la participation, de la collaboration, de l’apprentissage par l’expérience et de l’appropriation partagée des résultats obtenus, et les incorporer aux évaluations le cas échéant. - Prendre le temps de réfléchir continuellement et d’apprendre; être prêt à apporter des modifications lorsque l’expérience, les change- Les défis de l’évaluation; Conseil canadien pour la coopération internationale, novembre 2008 11 ments contextuels, de nouveaux renseignements ou des résultats inattendus amènent la nécessité de modifier la stratégie. Toutes les méthodologies décrites à l’Annexe 2 proposent des moyens de réaliser certaines des actions décrites plus haut. 3.4. Autres constatations Dynamique de pouvoir : On a passé relativement peu de temps à discuter de la portée de la dynamique des pouvoirs sur les suivis et l’évaluation dans le contexte des relations de financement; toutefois presque tous les représentants d’OSC interrogés, de même que plusieurs autres personnes interviewées, ont soulevé ce point dont il est d’ailleurs question dans une importante partie de la documentation consultées. Il est clair qu’il s’agit d’une considération importante. En général, on a parlé des relations de pouvoir comme d’une source de tension qu’il faut gérer au cours des évaluations. Mais certains croyaient aussi que le déséquilibre entre les organisations de financement et les organisations bénéficiaires rendait ces derniers plus réticents à examiner les faiblesses aussi consciencieusement qu’ils ne le pourraient si leur financement n’était pas en jeu. Lorsque des organisations canadiennes sont susceptibles de perdre leur financement venant de l’ACDI (ou des organisations du Sud, leur financement d’OSC canadiennes), il se peut que leurs représentants soient moins enclins à déclarer des résultats défavorables ou à critiquer les faiblesses d’un programme qu’ils ne le seraient si leur financement n’était pas tributaire des résultats d’une évaluation. Évaluations conjointes : Deux organisations ont parlé des avantages des évaluations conjointes dont elles avaient fait l’expérience. Dans un cas, plusieurs bailleurs de fonds gouvernementaux qui ont financé un grand programme avaient soutenu une évaluation conjointe portant sur l’ensemble du programme pluriannuel. Dans l’autre cas, les diverses OSC qui soutenaient une initiative conjointe avaient défini, de concert avec leurs partenaires, un cadre de référence qu’elles avaient adopté, consolidant ainsi la coopération entre les OSC et facilitant le partage de l’apprentissage. Ces deux modèles méritent qu’on s’y intéresse davantage. Manque de temps et de ressources pour l’évaluation : Les plus grandes organisations et celles qui sont affiliées à des « familles » ou à des réseaux internationaux d’OSC semblent avoir été en mesure d’affecter davantage de ressources à l’évaluation et à l’apprentissage organisationnels que les membres du CCCI de plus petite taille. Mais la plupart des consultants qui évaluent les OSC, et toutes les organisations consultées pour cette étude, se sont dits préoccupés par le manque de temps et de ressources disponibles pour l’apprentissage et l’évaluation organisationnels. Certaines OSC ont désigné des personnes pour superviser l’apprentissage institutionnel, et certaines ont beaucoup investi dans l’expertise interne en matière d’évaluation, y compris dans la formation à différentes techniques et méthodologies d’évaluation. Mais personne ne croyait que son organisation jouissait de suffisamment de temps pour procéder à des évaluations et pour tirer des leçons de l’expérience de façon satisfaisante. Les défis de l’évaluation; Conseil canadien pour la coopération internationale, novembre 2008 12 Un chercheur a laissé entendre que les organisations disposaient de peu de temps et de ressources humaines pour le suivi, pour l’évaluation et pour l’apprentissage organisationnel vi . Il affirme que dans cette réalité « à somme nulle », le peu de temps disponible pourrait être utilisé à meilleur escient s’il servait davantage à l’évaluation en vue de l’apprentissage et moins au suivi découlant de l’obligation de rendre des comptes, particulièrement dans les cas où le suivi est effectué en fonction de multiples indicateurs dont la pertinence est discutable. Lorsqu’on l’a présentée aux représentants des OSC, cette idée a touché une corde sensible. Il semblerait envisageable de réaffecter certaines ressources limitées et de faire le nécessaire pour rendre compte des dépenses, tout en passant moins de temps à surveiller machinalement des résultats et plus de temps à faire une évaluation plus approfondie. Cette idée mérite d’être envisagée plus sérieusement, parce qu’elle pourrait être mise en œuvre sans financement supplémentaire. bureaux chargés des programmes géographiques? - Quels liens établit-on entre les rapports de suivi et les évaluations? - L’ACDI a-t-elle des conseils à donner sur la question de la contribution par rapport à l’attribution, ou sur la mesure des facteurs « intangibles » tels que le changement de comportement, le renforcement des capacités, le développement organisationnel, l’inclusion sociale ou l’influence sur les politiques? Comment l’ACDI elle-même mesure-telle ces facteurs? - Comment l’ACDI juge-t-elle le dynamisme, la qualité et l’« efficacité » de l’ensemble de la société civile d’un pays, de certaines OSC en particulier et des programmes et projets de la société civile? - L’ACDI a-t-elle un cadre stratégique pouvant servir à l’évaluation des répercussions du développement ainsi que des rôles de la société civile et des OSC? Sinon, devraitelle en avoir un? - L’ACDI appuierait-elle des évaluations produites conjointement soit par les OSC soit par les bailleurs de fonds finançant un même programme? - L’ACDI appuierait-elle des évaluations par les pairs afin d’encourager le partage de l’apprentissage entre les organisations? - À quel point l’ACDI est-elle ouverte à des approches autres que celle de la GR? 4. QUESTIONS À L’ACDI Au cours de cette étude, on a soulevé certaines questions qui s’adressent directement à l’ACDI. Nous les présentons ici en espérant qu’elles seront prises en considération. - L’ACDI utilise-t-elle les évaluations qu’elle demande aux OSC et l’information qu’elle reçoit par l’entremise de leurs rapports de suivi? Si oui, comment les utilise-telle? Les constatations des évaluations sont-elles partagées avec l’ensemble de la Direction générale du partenariat canadien, ou avec les Les défis de l’évaluation; Conseil canadien pour la coopération internationale, novembre 2008 13 - L’ACDI accepterait-elle de réduire le nombre des rapports de suivi qu’elle exige afin qu’on puisse allouer davantage de temps à une évaluation et à un apprentissage plus approfondis? - L’ACDI accepterait-elle de soutenir certaines formes d’apprentissage portant particulièrement sur des questions liées au suivi et à l’évaluation? 5. PROPOSITIONS Favoriser l’apprentissage mutuel entre les OSC : Tel que mentionné précédemment, la plupart des OSC consultées au cours de cette étude font déjà preuve de créativité quant à l’évaluation et à l’apprentissage institutionnel, et innovent dans leur façon de travailler avec leurs partenaires du Sud pour évaluer leurs efforts. Mais il arrive qu’elles ne partagent pas systématiquement, à l’interne, l’information concernant ce qu’elles font ou ce qu’elles apprennent, et encore moins avec d’autres organisations ou avec l’ACDI. Que ce soit par l’entremise de pages Web spécialisées, d’ateliers, de cercles d’apprentissage, d’évaluations par les pairs ou d’autres moyens, il faudrait offrir aux OSC canadiennes des occasions de partager et de documenter les méthodes et les constatations des bonnes évaluations ainsi que l’information concernant les évaluations qui sont bien utilisées, de façon stratégique. Réunir les théoriciens et les praticiens : Les OSC, les évaluateurs, les universitaires et autres chercheurs, tels que ceux dont le travail est mentionné dans les Annexes 2 et 3 auraient beaucoup à gagner s’ils échangeaient davantage. Ils affichent une volonté manifeste de collaborer pour résoudre certaines des questions mentionnées dans ce document. Il faudrait encourager et soutenir cette collaboration. Il pourrait être utile de cerner certains des principaux enjeux relatifs à l’évaluation, qui revêtent un intérêt particulier pour les OSC, et de planifier une conférence internationale de plusieurs jours pour s’y attaquer. On pourrait inviter, entre autres, des OSC du Canada et du Sud qui ont fait preuve d’innovation dans leur expérience de l’évaluation, des fonctionnaires de l’ACDI ainsi que quelques sommités du domaine. La conférence pourrait porter, entre autres, sur l’évaluation dans le contexte du changement social, l’évaluation du renforcement des capacités, l’engagement du public, le travail sur les politiques, de même que sur une nouvelle façon de penser la GR. Chaque section pourrait présenter des exemples d’apprentissage stratégique par les OSC et le gouvernement, ainsi que des études de cas concrets où l’on a utilisé des méthodologies précises et mis en œuvre les recommandations en puisant, en grande partie, dans l’expérience pratique tout en réunissant théorie et pratique par des moyens novateurs et utiles. 6. ANNEXES Annexe 1 : Liste des personnes interrogées Annexe 2 : Tableau des méthodologies Annexe 3 : Bibliographie Les défis de l’évaluation; Conseil canadien pour la coopération internationale, novembre 2008 14 i Groupe consultatif sur la société civile et l’efficacité de l’aide, Synthèse des enseignements et recommandations, août 2008. http://www.ccic.ca/f/docs/002_aid_2008-08_ag_synthesis_and_recs.pdf ii Au cours de cet examen, l’auteure s’est entretenue avec quatre membres du personnel du CCCI, des représentants de 11 organisations membres du CCCI, quatre consultants en évaluation, trois chercheurs qui étudient l’évaluation et quatre fonctionnaires de l’ACDI. De plus, elle a consulté les sites Web de douzaines d’organisations qui étudient l’évaluation ou procèdent à des évaluations, et a lu de nombreux documents provenant des organisations consultées. iii L’« évaluation axée sur l’utilisation » est un champ d’étude qui encourage les gens à concevoir des évaluations en fonction de leur application pratique. Pour des exemples (en anglais), voir le site suivant : http://www.wmich.edu/evalctr/checklists/ufe.pdf iv L’exception était la méthodologie ALPS d’ActionAid, qui vise, effectivement, à faire participer les bénéficiaires à la planification et à l’évaluation. Voir (en anglais) : http://www.actionaid.org/assets/pdf/ALPS2006FINAL_14FEB06.pdf v Voir John Mayne, Addressing Attribution through Contribution Analysis: Using Performance Measures Sensibly, dans la bibliographie. vi David Bonbright, de Keystone au R.-U., affirme que les gestionnaires de programme individuels et les organisations ne disposent que d’une période de temps limitée pour le suivi et l’évaluation. Dans cette situation « à somme nulle », le temps attribué au suivi ne peut profiter à l’amélioration des programmes ou à une évaluation plus utile. Merci Je remercie ceux et celles qui ont gracieusement accepté de participer à cette brève étude, malgré des délais très courts. Tous ont généreusement donné de leur temps et ont collaboré avec sérieux. Ils m’ont orientée vers un bon nombre des ressources qui sont mentionnées dans les annexes de ce document, de même que vers une foule d’autres que je n’ai pas été en mesure de consulter. Tous se sont montrés sincèrement intéressés par le travail qu’entreprend le CCCI et par les leçons qu’on pourra en tirer. Merci à vous tous. JC Les défis de l’évaluation; Conseil canadien pour la coopération internationale, novembre 2008 15 Annexe 1 Personnes interrogées dans le cadre de l’étude du CCCI sur l’évaluation des OSC Représentants d’OSC canadiennes • Conseil canadien pour la coopération internationale o Esperanza Moreno, directrice générale adjointe o Ann Simpson, agente de programme, Gestion de programme o Michael Stephens, agent de programme, Engagement du public et renforcement des capacités o Brian Tomlinson, agent de programme, Aide • Julia Anderson, coordonnatrice, Abolissons la pauvreté, Jamaican Self-Help Organization • Theo Breedon, agent, Développement de la diaspora volontaire; et agent, Développement national de volontariat, CUSO-VSO • Gilio Brunelli, directeur des programmes internationaux, Organisation catholique canadienne pour le développement et la paix • Michel Chaurette, directeur général, Centre d’études et de coopération internationale • Mohammed Chikhaoui, directeur de l’Organisation apprenante et de l’Évaluation; et directeur des Politiques, Oxfam Québec • Abid Mallick, codirecteur de programmes, Fondation Aga Khan Canada • Anna Nitoslawska, Service internationale, Congrès du travail du Canada • Will Postma, directeur de programme, Aide à l’enfance Canada • Julie Rocheleau, coordonnatrice à l’Éducation et à l’évaluation, Jeunesse Canada Monde • Jean Symes, coordonnatrice de programmes, Inter Pares • Roger Young, directeur, Programme des Amériques, CHF – Partners in Rural Development Consultants en évaluation • Ted Jackson • Richard Marquardt • Kate McLaren • Paul Turcot Représentants de l’ACDI • Nalini Perera, gestionnaire, Section coordination géographique et planification corporative, Direction de la planification stratégique et coordination, Direction générale du partenariat canadien • Alison Robey, Agent de développement international, Section coordination géographique et planification corporative, Direction de la planification stratégique et coordination, Direction générale du partenariat canadien • Goberdhan Singh, directeur de l’évaluation, Direction générale de la gestion du rendement et des connaissances A1 -1 • Naresh Singh, directeur général, Direction de la planification stratégique et de la coordination, Direction générale du partenariat canadien Autres • Heather Baser, co-auteure, Capacity, Change and Performance (voir l’Annexe 3) • David Bonbright, fondateur et directeur général, Keystone (R.-U.) • Sarah Earl, administratrice principale de programmes, Centre de recherches pour le développement international (CRDI) A1 -2 Annexe 2 Méthodologies d’évaluation et ressources utilisées pour évaluer le changement social Remarque : Ce tableau n’est pas exhaustif. Il représente un échantillon très partiel mais significatif du travail qui se fait dans le monde anglophone pour évaluer les efforts de développement des organisations de la société civile et d’autres intervenants, et pour en tirer les leçons. Méthodologie/ Organisation But / Utilisation projetée Gestion axée sur les résultats La GR est souvent exigée par les organismes donateurs et utilisée par les organisations qu’ils financent. Description / Valeur / Critique (auto-description lorsqu’en italiques) • • • La GR est utilisée principalement pour favoriser la planification, pour définir les résultats souhaités et élaborer les étapes pour les obtenir, ainsi que pour offrir un cadre pour le suivi et l’évaluation. Système de responsabilité, d'apprentissage et de planification – ALPS (ActionAid) Conçu pour réduire la bureaucratie inutile tout en composant avec la notion centrale de reddition de comptes […]. Nous croyons qu’un système efficace doit : • nous renseigner sur ce qui importe le plus pour les • • Aide à garder le cap sur vos objectifs. Mesure plus efficacement les résultats tangibles et quantifiables; moins efficace pour révéler les résultats moins tangibles tels que le renforcement des capacités et le changement institutionnel ou social. S’inspire d’une théorie du changement linéaire et risque donc de réduire les processus sociaux de changement complexes à de simples causalités linéaires. S’expose à la critique en raison de sa rigidité et de son inaptitude à composer avec les résultats imprévus et autres éléments fortuits tels que les risques et les influences extérieures. Apparaît comme un outil utilisé de façon trop machinale. • Il vise un libre partage de l’information entre ActionAid et les populations auprès desquelles intervient l’organisme. • Les principaux éléments […] sont l’accent mis sur la reddition de comptes envers les populations pauvres, en particulier les femmes et les filles, plutôt qu’envers les donateurs seulement; et l’objectif de libre partage de l’information entre ActionAid et les populations auprès desquelles l’organisme intervient. Les principes sont les seuls éléments immuables de ce système. A2 - 1 Méthodologie/ Organisation Un cadre pour la reddition de comptes, l’apprentissage et la planification organisationnels L’approche du changement le plus significatif (soutenue par un groupe international d’ONG; voir la troisième colonne.) But / Utilisation projetée populations avec lesquelles nous travaillons; • nous dire si notre travail est utile ou non; • nous aider à prendre conscience d’autres éléments qui influent sur la vie des populations; • nous aider à en apprendre davantage sur ce que nous faisons; • nous aider à améliorer notre travail à l’avenir. [site Web de l’ALPS, en anglais] Particulièrement utile pour cerner les changements inattendus. [Un] cybergroupe a été créé pour favoriser la discussion concernant le recours à une méthode innovatrice de suivi, appelée « l’approche du changement le plus significatif ». On l’a déjà mise en application dans certaines économies développées et moins développées, dans des projets participatifs de développement rural, des projets de développement agricole, des Description / Valeur / Critique (auto-description lorsqu’en italiques) • L’ALPS remet en question notre propre mainmise sur le pouvoir et nous force à y renoncer[…]. Plus crucialement, l’approche place les populations au cœur de l’apprentissage, de l’analyse et de la réaction relatifs à leur propre situation. • L’ALPS met en place un cadre qui favorise l’étroite participation des collectivités et des organisations partenaires à tous les aspects de notre travail de programme, y compris la planification, la budgétisation, le suivi et l’examen. • Le système devrait favoriser des relations honnêtes, transparentes et autonomisantes entre ActionAid, ses partenaires et les populations auprès desquelles intervient l’organisme. [Site Web de l’ALPS, en anglais] Site Web de l’ALPS : http://www.actionaid.org/main.aspx?PageId=261 • […]différente des pratiques de surveillance habituelles sous au moins quatre aspects : a) on met l’accent sur l’inattendu, b) l’information sur ces événements est transmise par du texte plutôt que des chiffres, c) l’analyse de cette information se fait par l’entremise de jugements de valeur explicites, d) la synthèse de l’information et de l’analyse se produit par l’entremise d’un processus social structuré. [Site Web du cybergroupe du changement le plus significatif, en anglais] • Fait en sorte que les participants aux projets prennent part à la décision sur la valeur des changements rapportés et de leurs répercussions. • N’utilise pas d’indicateurs prédéterminés et n’essaie pas de cerner la causalité. The ‘Most Significant Change’ (MSC) Technique: A Guide to Its Use: (en anglais) http://www.mande.co.uk/docs/MSCGuide.pdf A2 - 2 Méthodologie/ Organisation But / Utilisation projetée programmes d’enseignement et des services réguliers de prestation de services sociaux. [Site Web du cybergroupe du changement le plus significatif, en anglais] Évaluation évolutive […] approche […] particulièrement adaptée aux nouvelles incertitudes des transformations sociales dans des environnements complexes, mais ne dit pas comment le faire concrètement […]. Description / Valeur / Critique (auto-description lorsqu’en italiques) Cybergroupe du « Changement le plus significatif » : http://groups.yahoo.com/group/MostSignificantChanges/ [Financé par CARE International, R.-U.; Oxfam Community Aid Abroad, Australie; Learning to Learn, gouvernement de l’Australie-Méridionale; Oxfam Nouvelle-Zélande; Christian Aid, R.-U.; Exchange (R.-U.); Ibis, Danemark; Mellemfolkeligt Samvirke, Danemark; Lutheran World Relief, É.-U.] L’évaluation évolutive favorise le progrès continu et permet de réagir rapidement à des situations complexes où interagissent plusieurs variables. L’évaluateur fait souvent partie intégrante de l’équipe chargée de la conception du programme. Sans remplacer les autres formes d’évaluation, l’évaluation évolutive semble mieux adaptée aux projets qui en sont à leur stade initial de développement et à ceux qui font l’objet de modifications substantielles ou qu’il faut suivre de près. [Site Web de la Fondation de la famille J.W. McConnell] http://www.mcconnellfoundation.ca/utilisateur/documents/FR/Initiatives/Soutien%20Inn ovation%20Sociale/A%20Developmental%20Evaluation%20Primer%20-%20FR.pdf Système d’analyse sociale (SAS 2) (Élaboré par Jacques Chevalier, à l’Université Carleton, avec Daniel Buckles) [Un] effort international pour régler les problèmes fondamentaux de la création et de la mobilisation du savoir en faveur du changement social Selon le principe directeur, le dialogue et l’enquête en collaboration sont devenus essentiels pour le développement local et mondial. L’humanité ne peut plus dépendre de solutions mises au point exclusivement par des intérêts privés et des experts. Il faut s’attaquer aux problèmes sociaux de manière sociale, et les connaissances qui en ressortent doivent s’intégrer pleinement aux processus de production du savoir, de planification et de prise de décisions. [Utilisé avec succès par plusieurs évaluateurs et OSC canadiens, y compris Jeunesse Canada Monde] A2 - 3 Méthodologie/ Organisation But / Utilisation projetée Description / Valeur / Critique (auto-description lorsqu’en italiques) Social Analysis Systems : http://www.sas2.net/index.php?page=social-theory (en anglais) Social Analysis Systems – tools : http://www.sas2.net/index.php?page=toolsintroduction (en anglais) Cartographie des incidences (Élaborée par le CRDI) Global Reporting Initiative : Une organisation dirigée par de multiples intervenants qui collaborent pour établir des normes mondiales en matière de rapports sur le développement durable. Élaborée pour des projets pour lesquels le renforcement des capacités est la principale stratégie. « La Cartographie des incidences se concentre exclusivement sur les résultats – ou « incidences » – qui se trouvent dans la sphère d’influence du programme. » • Porte, non pas sur les impacts, mais sur les changements dans le comportement, les relations, les activités ou les actions des populations, des groupes et des organisations auprès desquels le programme intervient directement. • Met l’accent sur la contribution et non sur l’attribution. • Est plus réaliste en ce qui concerne l’impact potentiel d’un bailleur de fonds unique. La Global Reporting Initiative (GRI) a créé un nouveau cadre pour la présentation des rapports, qui est le plus largement utilisé au monde dans le domaine du développement durable; elle s’est engagée à améliorer constamment le cadre et à promouvoir son application partout dans le monde. La production de rapports sur la durabilité consiste à mesurer le rendement des organisations relativement à l’objectif qu’est le développement durable, à le divulguer et à en assumer la responsabilité face aux intervenants internes et externes […]. Ce cadre établit […] des principes et des indicateurs que peuvent utiliser les organisations pour mesurer leur rendement sur les plans économique, environnemental et social, et en faire rapport. Ce cadre suit des lignes directrices strictes dont on peut trouver la description dans un document intitulé Sustainability Reporting Guidelines. (On travaille actuellement avec un groupe d’OSC, y compris Oxfam Québec, à l’adaptation de cette méthodologie afin que les OSC puissent l’utiliser.) http://www.globalreporting.org/AboutGRI/WhatWeDo/ (en anglais) http://www.globalreporting.org/ReportingFramework/G3Guidelines/ (en anglais) Document sur les lignes directrices (en anglais) : http://www.globalreporting.org/NR/rdonlyres/ED9E9B36-AB54-4DE1-BFF25F735235CA44/0/G3_GuidelinesENU.pdf A2 - 4 Méthodologie/ Organisation Analyse de la contribution Keystone (R.-U.) But / Utilisation projetée Description / Valeur / Critique (auto-description lorsqu’en italiques) Porte sur la question de l’attribution, dans des situations où entrent en jeu de nombreux acteurs et facteurs externes dans un domaine de programme, tous susceptibles d’avoir contribué aux résultats. Pour attribuer des résultats à un seul projet ou une seule intervention, il faut mettre en avant une relation directe de cause à effet. L’analyse de la contribution porte sur la définition des influences possibles. Keystone s’efforce d’accroître l’efficacité des organisations qui travaillent dans le domaine du développement humain en élaborant de nouvelles manières de planifier, de mesurer et de communiquer les changements sociaux, qui soient pratiques et auxquelles participent leurs bénéficiaires et d’autres parties prenantes. [Site Web de Keystone, en anglais] La plupart du travail effectué en faveur du changement social comporte des problèmes complexes et mal définis. Les solutions requièrent un changement dans les mentalités, les relations, les capacités, les conditions et les comportements, et l’on doit y travailler à long terme, avec les parties prenantes, et souvent en collaboration avec d’autres organisations. Lorsque vous vous attaquez ainsi au problème de l’attribution, cela démontre que : • vous êtes conscient de la complexité de la situation; • vous reconnaissez et comprenez les autres facteurs en jeu; • vous concluez néanmoins, le cas échéant, que l’explication la plus plausible du résultat observé est la contribution significative du programme. http://www.evaluationcanada.ca/site.cgi?s=4&ss=21&_lang=fr&article=16-1-001 (Cet article peut être acheté en version anglaise seulement.) Élaborer une théorie du changement : Si nous nous intéressons sérieusement à l’impact social, il faut en premier lieu clarifier et rendre explicites nos hypothèses sur la façon dont le changement se produit dans notre contexte. Nous devons avoir une idée claire de ce à quoi ressemble la réussite ainsi que des conditions préalables que nous croyons nécessaires à la réalisation et au maintien de la réussite … Une « cartographie » pour des résultats : Les outils et les méthodologies conçus pour gérer les projets ne sont pas adaptés aux cas d’organisations qui interviennent dans des processus de changement social à long terme. La plupart des modèles logiques classiques supposent que des résultats clairement définis se produisent logiquement à la suite d’activités et de retombées préalablement planifiées, dans des délais restreints (habituellement à court terme). A2 - 5 Méthodologie/ Organisation But / Utilisation projetée Description / Valeur / Critique (auto-description lorsqu’en italiques) Keystone offre … des outils ayant pour but d’aider les organisations à préciser leur théorie du changement, à concevoir des stratégies axées sur les résultats et des indicateurs de réussite, à réunir de façon systématique les signes de réussite par l’entremise de paramètres quantitatifs et de commentaires qualitatifs de la part des parties prenantes, et à présenter un rapport significatif aux parties prenantes et aux autres intervenants concernant les leçons apprises et les impacts. Keystone : http://www.keystoneaccountability.org/ (en anglais) Évaluation axée sur l’utilisation L’accent […] est mis sur l’utilisation projetée par les utilisateurs concernés. […] est fondée sur la prémisse voulant que les évaluations doivent être jugées d’après leur utilité et leur utilisation réelles[…] les évaluateurs devraient faciliter le processus d’évaluation et concevoir toutes les évaluations en tenant particulièrement compte de la façon dont tout ce qui est fait, du début à la fin, aura un effet sur l’utilisation. […] cherche à savoir de qui émanent les valeurs qui guident l’évaluation, en travaillant avec des utilisateurs clairement identifiés, les premiers concernés, qui sont responsables d’appliquer les constatations de l’évaluation et d’en mettre en œuvre les recommandations […] ne préconise aucun contenu, modèle, méthode, théorie ou même utilisation particuliers de l’évaluation. Il s’agit plutôt d’un processus qui vise à aider les premiers utilisateurs visés à choisir le contenu, le modèle, les méthodes, la théorie et les utilisations les plus propices à leur situation. La réceptivité situationnelle oriente le processus interactif entre l’évaluateur et les premiers utilisateurs visés. [Michael Quinn Patton] Utilization-Focused Evaluation Checklist : http://www.wmich.edu/evalctr/checklists/ufe.pdf (en anglais) A2 - 6 Méthodologie/ Organisation But / Utilisation projetée Description / Valeur / Critique (auto-description lorsqu’en italiques) Le filtre de la santé et de la consolidation de la paix Le but est […] d’offrir une structure qui permette de réfléchir aux enjeux de la santé et de la consolidation de la paix, et de stimuler la réflexion sur la manière dont les activités pourraient être mieux réalisées […]. Cherche à intégrer les principes de la sensibilité au conflit dans le domaine de la santé. Plutôt que d’intégrer seulement la théorie et les principes, le filtre de la consolidation de la paix repose sur une série de questions concrètes et stimulantes qu’on peut poser concernant des projets […]. Conçu pour favoriser la discussion sur les principes plutôt que sur les effets, il rend explicite ce qui est souvent implicite et permet de prendre en considération des questions telles que la confiance ou la sensibilité culturelle tout autant que d’autres préoccupations plus techniques qui, autrement, domineraient les activités de surveillance et d’évaluation. Voir (en anglais) : http://www.informaworld.com/smpp/content~content=a789773310~db=all~jumptype=rss Appréciation rapide des systèmes de connaissances en agriculture [RAAKS] Conçue pour aider les intervenants à mieux comprendre leur rendement en tant qu’innovateurs • • Méthodologie de recherche-action participative. Les principaux éléments de la RAAKS sont le travail d’équipe, la collecte d’information ciblée, l’analyse qualitative et la prise de décisions stratégique. Élaborée par Paul Engel et ses collègues de l’Université Wageningen, aux Pays-Bas (en anglais) : http://portals.wi.wur.nl/ppme/?RAAKS Sources : Entrevues, sites Web sus-mentionnés et références de la bibliographie (Annexe 3). A2 - 7 Annexe 3 Bibliographie commentée sur l’évaluation et les OSC Voici un bref échantillon des nombreux documents disponibles en ligne. Lectures d’ordre général portant sur l’évaluation des « résultats » dans les organisations de la société civile Groupe consultatif sur la société civile et l’efficacité de l’aide, Synthèse des enseignements et recommandations, août 2008. http://www.ccic.ca/f/docs/002_aid_2008-08_ag_synthesis_and_recs.pdf Bakewell, Oliver et Anne Garbutt, The use and abuse of the logical framework approach, Swedish International Development Cooperation Agency, novembre 2005. [Analyse et critique intéressantes du Cadre de mesure du rendement et de la Gestion axée sur les résultats.] http://www.sida.se/shared/jsp/download.jsp?f=LFA-review.pdf&a=21025 (en anglais) Baser, Heather et Peter Morgan, avec Joe Bolger, Derick Brinkerhoff, Anthony Land, Suzanne Taschereau, David Watson et Julia Zinke, Capacity, Change and Performance – Study Report. Centre européen de gestion des politiques de développement (ECDPM), avril 2008. [Un livre consacré à une étude qui porte sur tous les aspects du renforcement des capacités, y compris l’évaluation.] http://www.twine.com/item/1167scrvk2l/capacity-change-and-performance (puis télécharger le document PDF joint) (en anglais) Blagescu, Monica et John Young, Partnerships and Accountability, Overseas Development Institute, Working paper 255, août 2005. [Un résumé des préoccupations actuelles concernant les questions de la responsabilité, du partenariat et du renforcement des capacités entre les organisations du Nord et du Sud, y compris quelques exemples des pratiques actuelles au sein d’organisations qui ont entrepris un travail semblable.] http://www.odi.org.uk/resources/odi-publications/working-papers/255-partnershipsaccountability-civil-society-organisations.pdf (en anglais) Davies, Rick (gestionnaire), Monitoring and Evaluation News. [Un service de presse axé sur les innovations dans les méthodes de suivi et d’évaluation pertinentes aux programmes de développement qui ont des objectifs de développement social], depuis 1997. http://mande.co.uk/ Centre européen de gestion des politiques de développement (ECPDM), Mapping of approaches towards M&E of Capacity and Capacity Development, ébauche, juin 2006. [Comprend une variété de ressources qui explorent des questions relatives au suivi et à l’évaluation du renforcement des capacités]. http://www.ecdpm.org (en anglais) Estrella, Marisol et John Gaventa, Who Counts Reality? Participatory Monitoring and Evaluation - a literature review, Institute of Development Studies, IDS Working paper A3 - 1 70. [Une analyse documentaire d’expériences de la surveillance et de l’évaluation participatives réalisées partout dans le monde, utilisées dans différents contextes et auxquelles ont participé divers types d’intervenants...] http://www.ids.ac.uk/ids/bookshop/wp/wp70.pdf (en anglais) Grove, Natalie J. et Anthony B. Zwi, School of Public Health and Community Medicine, The University of New South Wales, Sydney, Australie. « Beyond the log frame: a new tool for examining health and peacebuilding initiatives. » Development in Practice. Vol. 18, no 1, 2008, pages 66–81. http://www.informaworld.com/smpp/content~content=a789773310~db=all~jumptype=rss (en anglais) Horton, D. et coll., L’Évaluation au cœur du renforcement organisationnel : Expériences d’organisations de recherche et développement du monde entier, Service international pour la recherche agricole nationale (SIRAN); Centre de recherches pour le développement international (CRDI), ACP-UE, Centre technique de coopération agricole et rurale, 2003. [Un livre disponible en ligne, fondé sur 12 études de cas.] http://www.idrc.ca/openebooks/135-3/ Innovation Network (Innonet). [Un organisme sans but lucratif qui partage des outils de planification et d’évaluation et un savoir-faire.] http://www.innonet.org/ (en anglais) Jackson, Edward T., « 3 Indicators of Change: Results-Based Management and Participatory Evaluation ». Dans E.T. Jackson et Yussuf Kassam, Knowledge Shared: Participatory evaluation in development cooperation (en anglais). CRDI/Kumarian Press, 1998. http://www.idrc.ca/en/ev-88062-201-1-DO_TOPIC.html Keystone. [Un site Web axé sur la responsabilité en matière de changement social.] http://www.keystoneaccountability.org/ (en anglais) Overseas Development Institute - toolkits. [Une série de « boîtes à outils » qui offrent des conseils pratiques, des outils et des consignes aux praticiens du développement et aux militants.] http://www.odi.org.uk/resources/odi-toolkits.asp (en anglais) Overseas Development Institute – working papers. [Un vaste éventail de documents de travail, dont un bon nombre portent sur le suivi et l’évaluation dans différents domaines.] http://www.odi.org.uk/resources/odi-working-papers.asp (en anglais) Reeler, Doug, A Theory of Social Change and Implications for Practice, Planning, Monitoring and Evaluation, Community Development Resource Association, Afrique du Sud. [Une critique de l’analyse du cadre logique et une théorie du changement différente. (en anglais)] http://www.cdra.org.za/articles/A%20Theory%20of%20Social%20Change%20by%20Do ug%20Reeler.pdf A3 - 2 Documents sur certaines méthodologies (en particulier) Davies, Rick et Jess Dart, The ‘Most Significant Change’ (MSC) Technique: A Guide to Its Use. [Cette initiative a été financée par CARE International, R.-U.; Oxfam Community Aid Abroad, Australie; Learning to Learn, gouvernement de l’AustralieMéridionale; Oxfam Nouvelle-Zélande; Christian Aid, R.-U.; Exchange, R.-U.; Ibis, Danemark; Mellemfolkeligt Samvirke (MS), Danemark; Lutheran World Relief, É.-U.] http://www.mande.co.uk/docs/MSCGuide.pdf (en anglais) Gamble, Jamie, Abc de l’évaluation évolutive, La Fondation de la famille J.W. McConnell, 2008. [Une approche de l’évaluation qui prend sa source dans les pratiques et les innovations en matière de développement.] http://www.fondationmcconnell.ca/utilisateur/documents/FR/Initiatives/Soutien%20Inno vation%20Sociale/A%20Developmental%20Evaluation%20Primer%20-%20FR.pdf Mayne, John (Bureau du vérificateur général, gouvernement du Canada). « Addressing Attribution through Contribution Analysis: Using Performance Measures Sensibly. » Revue canadienne d’évaluation de programme, vol. 16, no 1, pages 1-24, 2001. [Examine la question de l’attribution, lorsque de nombreux acteurs et autres facteurs sont en cause. Le document est rédigé d’un point de vue gouvernemental, mais les questions qu’il explore sont applicables aux OSC. (Cet article peut être acheté en version anglaise seulement.)] http://www.evaluationcanada.ca/site.cgi?s=4&ss=21&_lang=fr&article=161-001 Site Web sur la Cartographie des incidences : [Un site Web complet qui présente des descriptions du processus de cartographie des incidences, un dépliant, des études de cas de son utilisation, un manuel de l’animateur, du matériel de formation, etc.] http://www.idrc.ca/fr/ev-26586-201-1-DO_TOPIC.html Patton, Michael Quinn, Utilization-focused Evaluation Checklist, janvier 2002. [Étudie chaque étape du processus d’évaluation du point de vue des personnes qui utiliseront l’évaluation et à quelles fins.] http://www.wmich.edu/evalctr/checklists/ufe.pdf (en anglais) Quarter, Jack, Laurie Mook et Betty Jane Richmond, What counts? Social accounting for nonprofits and cooperatives, Prentice Hall, 2003. (en anglais) Social Analysis Systems (SAS) : http://www.sas2.net/index.php?page=social-theory SAS (outils) : http://www.sas2.net/index.php?page=tools-introduction SAS (techniques) : http://www.sas2.net/index.php?page=social-analysis-techniques (en anglais) A3 - 3 Documents des OSC ActionAid (adresse URL de l’évaluation des impacts) : http://www.actionaid.org/main.aspx?PageID=260 ActionAid’s Accountability, Learning and Planning System (ALPS) : http://www.actionaid.org/assets/pdf/ALPS2006FINAL_14FEB06.pdf [Un manuel organisationnel complet, élaboré par ActionAid, fondé sur des principes clairs et couvrant tous les aspects du travail d’ActionAid.] (en anglais) CHF – Partners in Rural Development, Capacity Development: Key to North-South NGO Partnerships?, février 2008. http://www.chfpartners.ca/publications/documents/CapacityBuildingCaseStudyFinalFeb408.pdf CHF Capacity Building Approach. [Un manuel d’organisation pour aider le personnel et les partenaires dans la planification et l’évaluation des initiatives de renforcement des capacités.] http://www.chf-partners.ca/publications/documents/CB_final_lr.pdf (en anglais) Canadian Physicians for Aid and Relief, The Centre for International Health – University of Toronto, The International Development Institute – Humber College, Vision mondiale Canada, Results Based Management: Are we there yet? Ever?, Rapport d’atelier, du 16 au 18 novembre 2005. www.worldfish.org/PPA/PDFs/Semi-Annual%20VI/G-6.pdf (en anglais) Chevalier, Jacques, et Paul Turcot, Kate McLaren (South House Exchange), Helen Patterson, Jeunesse Canada Monde, Recherche et programmation, et Daniel Buckles. Canada World Youth Impact Assessment Guide. Jeunesse Canada Monde, Montréal : 2006. Disponible à : https://idlbnc.idrc.ca/dspace/bitstream/123456789/33177/1/126048.pdf (en anglais) Global Reporting Initiative : http://www.globalreporting.org/AboutGRI/WhatWeDo/ (en anglais) Mook, Laurie/ Canadian Co-operative Association. Expanded Value Added Statement Toolkit. (en anglais) http://www.coopscanada.coop/newsletter/csr/winter2003/toolkit/PrintPages/entiredoc.pdf South House Exchange et Jeunesse Canada Monde, Jeunesse Canada Monde – Évaluation d’impact : Rapport synthèse, décembre 2006. (Évaluation d’impact du bénévolat international, à l’aide de systèmes d’analyse sociale.) http://www.jeunessecanadamonde.org/fr/content/doc/RapportSynthese_FR.pdf A3 - 4 Inventaires et résumés de documents Innonet, Advocacy Evaluation Resource List. http://www.innonet.org/client_docs/File/advocacy/advocacy_resource_list_nov2007_coff man.doc (en anglais) Aide à l’enfance Canada, Adapting RBM at the Community Level: tools and tool boxes – a review for Save the Children Canada (en anglais). [Comprend un bref examen de 19 techniques et outils d’évaluation pouvant être utilisés pour améliorer, adapter ou remplacer la GR pour évaluer le travail à l’échelon communautaire.] PNUD / FEM / PNUE, Publications on Capacity Development. [Recension de documents sur le renforcement des capacités, y compris de nombreuses sources sur l’évaluation du renforcement des capacités.] http://ncsa.undp.org/report_detail.cfm?Projectid=211 (en anglais) Watson, David, Embracing innovative practice. [Un bon résumé de ce qui se fait relativement à l’évaluation du renforcement des capacités, y compris une bonne bibliographie.] http://www.capacity.org/en/journal/feature/embracing_innovative_practice (en anglais) A3 - 5