Utiliser l`évaluation comme outil de gestion

Volume VI, numéro 1
The
Management Planification
de la
C ON S EILS
1997
Familiale
PRATIQU ES POU R AMELIORER LA PR ESTATION DES S ERVICES
Dans ce numéro
Comprendre le rôle de l’évaluation
pour une bonne gestion ............... 2
Où est-ce que les responsables
obtiennent une bonne information
programmatique ? ....................... 3
Utiliser ll’év
’év
alua
tion ccomme
omme
’évalua
aluation
outil de gestion
Suivi et évaluation—quelle est la
différence ? ................................... 3
Au lecteur
Relier l’évaluation au cycle de
planification et de mise en œuvre
du programme .............................. 4
Vu l’attention accrue portée à la réalisation de l’impact
programmatique, les responsables doivent faire attention et
voir si leurs programmes, et les services fournis par le biais
des programmes, répondent aux besoins de leurs clients, s’ils
sont réalisés de manière efficace et contribuent à la réalisation
des objectifs organisationnels et de programme.
Comment... Intégrer l’évaluation à
la planification et à la mise en
œuvre des programmes ............... 5
Planifier l’évaluation ....................... 7
Qui prend quelles décisions ? ........... 8
Réaliser l’évaluation ........................ 9
Comprendre la différence entre
donnée et information ............... 11
Utiliser l’information de
l’évaluation ................................ 11
Venir à bout de la résistance à
l’évaluation ................................ 14
Décider s’il faut faire une évaluation
interne ou externe ...................... 15
Intégrer l’évaluation au
programme ................................. 16
Le Coin des commentaires ............. 16
Références ...................................... 17
Liste aide-mémoire : Utiliser
l’évaluation en tant qu’outil de
gestion ........................................ 18
Etude de cas
Madame Traoré fait une évaluation
interne pour mesurer la performance
du programme
Le présent numéro du Management de la planification
familiale traite du rôle important que joue l’évaluation
interne régulière du programme et fournit aux responsables
des conseils sur la manière de planifier et d’intégrer
l’évaluation à leurs programmes. Le numéro souligne
l’importance de la collecte et de l’analyse régulières de
données de programme, afin que les responsables disposent
d’une bonne information pour prendre les décisions de
gestion d’importance critique. Enfin, il fournit des exemples
sur la manière dont les responsables peuvent utiliser
l’information qui en résulte pour procéder aux changements
programmatiques nécessaires et améliorer l’efficacité de
leurs programmes et services.
—La Rédaction
Management de la
planification familiale
Commentaires techniques
Dr. THIAM Aboubacry, Primature, Sénégal
M. BELLAMINE Hammouda, Pathfinder
International, Kenya
Comité consultatif
Mme AGOUNKE Kekeli, ATBEF, Togo
Prof BULA-BULA Lielie R., Management pour la
Haute Performance, Zaïre
Dr CHADI Ridha, Office National de la Famille et
de la Population, Tunisie
Dr CONDE Mamadi, Ministère de la Santé
Publique et des Affaires Sociales, Guinée
M. DIENG Alpha, SANFAM, Sénégal
Dr MICHAUD Gadner, MSH, Haïti
Dr NKODO NKODO Emmanuel, Ministère de la
Santé Publique, Cameroun
Dr RASAON Denis Charles, Hôpital JRA,
Madagascar
Mme SEBGO Pascaline, GTZ, Burkina-Faso
M. TRAORE Baba, CERPOD, Mali
Comité de revue
Teresita Marie Bagasao, Med Bouzidi, Alfredo
Fort, Ascobat Gani, Dr. Peter Mokaya, Godwin
Mzenge, Dr. Emmanuel Nkodo Nkodo, María
Isabel Plata, Dr. Pudjo Rahardjo, Jewel Quallo
Rosberg, Dr. Eléonore Rabelahasa, Abu Sayeed,
Dr. Enrique Suárez, Dr. A.B. Sulaiman, Sixte
Zigirumugabe, Dr. Alex Zinanga
Les abonnements au Management de la
planification familiale reviennent à 15$ par an en
Amérique du Nord et en Europe de l’Ouest. Dans
toutes les autres régions, la publication est
distribuée gratuitement. La demande pour des frais
postaux de seconde classe est en cours auprès du
receveur des postes de Boston, MA. Prière d’envoyer
les changements d’adresse à : The Family Planning
Manager, Management Sciences for Health, 400
Centre Street, Newton, MA 02158-2084 USA.
Citation recommandée: Management Sciences for
Health. « Utiliser l’évaluation come outil de gestion ».
Le Management (Boston), vol. 6 no. 1 (1997) : pp. 1–18.
Responsables
de la rédaction
James Wolff
Janice Miller
Directrice, Edition
en français
Claire Bahamon
Traductrice
Rédactrice
Janice Miller
Etudes de cas
Linda Suttenfield
Judy Seltzer
Correctrice-rédactrice
Catherine Utz
Publication
par ordinateur
Ceallaigh Reddy
Elisabeth Cruz
Distribution
Mark Nevin
Thuy Nguyen
Editions de l’Internet
Kim Austin
Management de la planification familiale (ISSN
1073-0532) est publié trimestriellement en anglais,
en fran-çais et en espagnol par le Projet FPMD de
Management Sciences for Health. Cette publication
ne représente pas un énoncé officiel de MSH ou de
l’USAID.
Family Planning Management Development
Management Sciences for Health
400 Centre Street
Newton, Massachusetts 02158-2084 USA
Publié avec l’appui de l’Agence des
Etats-Unis pour le développement
international (USAID).
2
Comprendre le rôle de l’évaluation
pour une bonne gestion
Des organisations bien gérées et des programmes efficaces sont ceux
qui peuvent démontrer que des résultats ont été atteints. Les résultats
proviennent d’une bonne gestion. Une bonne gestion repose sur une bonne
prise de décisions. Une bonne prise de décisions dépend d’une bonne
information. Une bonne information demande de bonnes données et une
analyse attentive des données. Ce sont là tous les éléments d’importance
critique de l’évaluation.
L’évaluation est définie comme étant un processus périodique de collecte
de données qui sont ensuite analysées ou organisées de telle sorte que
l’information qui en découle puisse être utilisée pour déterminer si votre
organisation ou programme exécute efficacement les activités prévues et la
mesure dans laquelle il atteint les objectifs et les résultats anticipés.
Les responsables peuvent et devraient faire des évaluations internes pour
recueillir des informations sur leurs programmes, en vue de pouvoir prendre
de solides décisions concernant la mise en œuvre de leurs programmes.
L’évaluation interne devrait être faite continuellement et appliquée consciencieusement par les responsables à tous les niveaux d’une organisation,
dans tous les domaines du programme. De plus, tous les participants au
programme (responsables, personnel et bénéficiaires) devraient participer au
processus d’évaluation de manières appropriées. Cela permet de vérifier si
l’évaluation est véritablement participative et renforce chez tous les participants l’engagement d’utiliser les résultats pour procéder à des améliorations
d’importance critique au programme.
Bien que la plupart des évaluations sont faites à l’échelle interne, réalisées
par et pour les responsables du programme et le personnel, il faut aussi
réaliser périodiquement des évaluations externes à plus grande échelle faites
par des personnes n’appartenant pas au programme ou à l’organisation. Le
plus souvent, ces évaluations externes sont demandées aux fins d’accréditation ou de financement ou pour répondre à des questions sur l’impact à long
terme du programme en voyant les changements au niveau des indicateurs
démographiques, tels que les taux de fécondité et de mortalité. En outre, un
responsable peut demander à l’occasion, une évaluation externe pour évaluer
les problèmes programmatiques ou opérationnels qui ont été identifiés mais
qui ne peuvent pas être entièrement diagnostiqués ou résolus à partir des
résultats de l’évaluation interne.
Le présent numéro du Management de la planification familiale discute de
la manière dont l’évaluation interne des programmes, faites régulièrement,
peut améliorer grandement la gestion et l’efficacité de votre organisation et de
ses programmes. Il présente les différences entre le suivi et l’évaluation,
montre comment l’évaluation fait partie intégrante de la planification et de la
mise en œuvre régulières des programmes et le type d’information dont ont
besoin les responsables à différents niveaux de l’organisation. Il explique les
avantages et les inconvénients des évaluations internes et externes, les étapes
de la planification et de la réalisation des évaluations et, enfin, fournit des
exemples montrant comment des responsables et leur personnel ont utilisé les
résultats des évaluations pour améliorer l’efficacité de leurs programmes.
Management de la planification familiale Vol. VI No 1, 1997
Le présent numéro du Management de la planification
familiale a été rédigé par Sallie Craig Huber, Directrice
technique du projet Développement de la gestion de la
planification familiale (FPMD). Ces 25 dernières années,
elle a travaillé en Asie, en Afrique et en Amérique latine
avec des organisations et programmes nationaux et
locaux pour faire des évaluations internes et externes et
les a aidés à appliquer les résultats pour améliorer leurs
programmes et faire bénéficier les clients de ces
améliorations.
Où est-ce que les responsables obtiennent
une bonne information programmatique ?
Par le biais de l’évaluation !
L’évaluation est l’un des outils les plus importants
dont disposent les responsables. Le processus d’évaluation aide les responsables à prendre des décisions
capitales sur la manière d’améliorer la mise en œuvre
des programmes et/ou la gestion de l’organisation.
Elle aide les responsables à :
•
•
•
•
•
•
•
ment, est un outil de gestion puissant qui peut vous
donner une bonne information pour vous permettre de
prendre les bonnes décisions sur la manière de gérer le
programme, afin qu’il continue à fournir des services de
haute qualité et réponde aux besoins des clients. Par le
biais de la collecte, de l’analyse et de l’interprétation des
données que vous avez recueillies, l’information que vous
obtenez d’une évaluation vous permet de faire des choix,
de proposer diverses directions et de comprendre et
d’envisager les conséquences de chaque mesure proposée. Par exemple, le fait d’évaluer le programme ou
une partie du programme devrait vous aider à reconnaître les changements qui doivent être faits dans la
manière dont le programme est géré, le type de nouveaux
services ou activités devant être réalisés pour améliorer
la qualité du programme ou des services, ou de voir s’il
faut mener une nouvelle campagne de marketing ou de
mobilisation de fonds.
Suivi et évaluation—quelle est la
différence ?
Voir si les résultats escomptés sont en train d’être
atteints et quelles sont les modifications qui devraient être faites pour améliorer l’efficience et/ou
l’efficacité des activités du programme ;
Souvent, les termes «suivi» et «évaluation» sont
utilisés de manière interchangeable, bien qu’il existe
des différences importantes entre les deux. Le suivi
concerne généralement le processus visant à contrôler
Déterminer si les stratégies du programme actuel
régulièrement l’état d’avancement d’un programme en
sont appropriées et efficaces ;
comparant l’exécution effective des activités et le plan
de travail et en voyant si les activités sont achevées telles
Déterminer le type de personnel nécessaire ;
que prévues, si elles sont réalisées dans les délais
Décider de l’affectation du personnel ;
spécifiés, si le budget est dépensé selon le plan, si des
Superviser et guider le personnel dans son travail ; changements doivent être faits dans la gestion ou la
Suivre les ressources (argent, ressources
réalisation des activités et s’il faudrait modifier le plan de
humaines, temps) et les résultats (produits,
travail.
services, personnes formées, clients) ;
L’évaluation quant à elle vise à mesurer les progrès
Décider où installer les services ;
dans la réalisation des objectifs du programme et de
l’impact du programme (si les changements visés à long
• Décider s’il est nécessaire d’acheter du nouveau
terme ont été réalisés). Elle voit notamment la mesure
matériel et quel type de matériel ;
dans laquelle les changements qui ont eu lieu peuvent
• Déterminer si le programme ou l’organisation a
être attribués aux activités du programme. Bien qu’il
atteint les résultats escomptés ;
existe des différences entre le suivi et l’évaluation, les
• Voir s’il existe des besoins de clients qui n’ont pas deux processus travaillent ensemble pour arriver à la
été satisfaits et s’il existe d’éventuels clients qui
même finalité qui est de dégager des informations
ne sont pas atteints par le programme.
pouvant être utilisées pour améliorer la gestion d’un
programme et atteindre les objectifs à court terme et les
En tant que responsable, vous devez prendre ce type
résultats à long terme prévus.
de décisions. L’évaluation, si elle est utilisée régulière-
Management de la planification familiale Vol. VI No 1, 1997
3
Relier l’évaluation au cycle de
planification et de mise en œuvre du
programme
Les étapes que suit une organisation ou un programme
pour gérer ses activités peuvent être présentées sous
forme d’un cycle continu d’actions de gestion, allant de
l’évaluation des besoins à la planification et à l’exécution
des activités, à la mesure des résultats programmatiques
finaux qui sont intégrés à l’étape de planification dans le
but de recommencer le cycle à nouveau.
Qu’une évaluation soit réalisée de manière interne par
le personnel du programme ou par un consultant de
l’extérieur, trois éléments principaux la composent :
•
planifier l’évaluation ;
•
réaliser l’évaluation ;
•
utiliser les résultats.
Tel qu’indiqué dans le diagramme ci-dessous, ces
éléments de l’évaluation sont directement reliés aux
étapes de planification et de mise en œuvre du programme ou projet.
Place de l’évaluation dans le cycle de planification
et de mise en œuvre du programme
Evaluer les
besoins du
programme
Faire les
révisions
Identifier
les problèmes
Évaluation
Déterminer
les progrès
• Planifier l’évaluation
• Réaliser l’évaluation
Fixer les objectifs
(et les indicateurs)
• Utiliser les résultats
Réaliser
les activités
L’évaluation fait partie de chaque étape du cycle et,
tel que nous l’avons déjà noté, tous les participants au
programme—responsables, personnel et population
cible (bénéficiaires)—devraient participer au processus.
Ainsi, les participants engagés au niveau des différents
4
Préparer le
plan de travail
aspects du programme comprendront la nécessité de
procéder à tous changements nécessaires indiqués par
l’évaluation et seront motivés à travailler ensemble pour
atteindre les résultats souhaités.
Management de la planification familiale Vol. VI No 1, 1997
Comment . . .
Intégrer l’évaluation à la planification et à la mise en œuvre des programmes
Si l’on observe de plus près les éléments de l’évaluation et les sous-étapes, vous voyez combien il est
important de réfléchir à la manière dont vous évaluerez le programme en même temps que vous
définissez les objectifs et le plan de travail du programme. Le tableau suivant décrit les étapes du processus
d’évaluation et montre comment chaque étape est directement liée aux étapes du cycle de planification et de
mise en œuvre.
Processus d’évaluation
Lien au processus de planification et de mise
en œuvre du programme
Planifier l’évaluation
Evaluer les besoins du programme,
identifier les problèmes, fixer les objectifs,
préparer le plan de travail
Identifier les objectifs de l’évaluation.
Qu’est-ce que vous voulez évaluer ? Pourquoi
voulez-vous l’évaluer ? Qui a besoin de ce
type d’information ? Comment utiliseront-ils
l’information et appliqueront-ils les résultats
pour améliorer le programme ?
Décider du domaine de l’évaluation.
Allez-vous mesurer la réalisation des objectifs
à court terme ou l’impact à long terme du
programme ? L’évaluation sera-t-elle faite par
un membre du personnel ou un consultant de
l’extérieur ? Comment ferez-vous participer
d’autres personnes de l’organisation à
l’évaluation ? Combien de temps et d’argent
avez-vous pour faire l’évaluation ?
Choisir les indicateurs et les normes de
l’évaluation. Sont-ils conformes aux objectifs
de l’évaluation et à ceux du programme ?
Identifier les sources de données et
décider et planifier la manière dont vous
collecterez les données. Quelles sont les
méthodologies que vous utiliserez pour
l’évaluation ? Ces méthodologies conviennentelles pour le type de données que vous souhaitez collecter (et leur utilisation est-elle
appropriée en égard aux clients et/ou au personnel si vous collectez des données auprès de
ces derniers) ?
Pour planifier et focaliser l’évaluation, vous devez connaître
le but principal du programme. Quels sont les principaux
problèmes que cherche à résoudre le programme ou le projet ?
Lorsque vous élaborerez les plans de travail stratégiques et
opérationnels pour le programme, vous définirez les buts à long
terme et les objectifs spécifiques à court terme. Ces buts et
objectifs devraient également être utilisés comme les critères et
les indicateurs pour évaluer le programme, d’abord par le biais
d’évaluations internes pour voir si vous êtes en train d’atteindre
les objectifs à court terme puis par des évaluations ultérieures
(soit internes ou externes) pour voir si vous avancez vers la
réalisation des buts à long terme.
Par exemple, si l’un des objectifs de votre programme est de
servir un total de 15 000 nouvelles utilisatrices à la fin de la
troisième année d’opération (2 500 pendant la première année,
4 500 pendant la deuxième année et 8 000 pendant la troisième
année) et qu’un autre objectif vise à fournir à ces utilisatrices
des méthodes plus fiables (telles que la pilule, les injectables et
le DIU), alors certains de vos critères à la fin de la première
année pourraient être les suivants : nombre effectif de nouvelles
utilisatrices servies par le programme à la fin de la première
année, avec une répartition des types de contraceptifs utilisés
par ce groupe.
Cette information vous permet de voir si vous êtes en train
d’atteindre vos objectifs et de décider si vous devez faire des
révisions programmatiques pour améliorer votre capacité à
atteindre vos buts à long terme à la fin de la deuxième et de la
troisième années.
De plus, dans le cadre de l’élaboration de votre plan de
travail, vous devez décider quand les évaluations doivent être
faites et établir des budgets et fixer des délais pour réaliser ces
évaluations parallèlement à d’autres activités du programme.
continue à la page suivante
Management de la planification familiale Vol. VI No 1, 1997
5
Processus d’évaluation
Lien au processus de planification et de mise
en œuvre du programme
Réaliser l’évaluation
Exécuter les activités et déterminer les progrès
Entreprendre la collecte de données.
Qui participera directement à la collecte de
données ? Comment maintiendrez-vous
informées de vos progrès les autres parties
concernées ?
Organiser et analyser les données.
Comment les données seront-elles analysées—
sous forme de tableaux, graphiques ou
résumés écrits ?
Pour faire une évaluation, le programme doit avoir réalisé des
activités depuis au moins quelques mois. Il peut s’agir de la
prestation des services planifiés, du suivi régulier de la mise en
œuvre des activités, de la supervision du personnel et de
l’exécution de procédures pour la préparation et la diffusion
régulières de rapports. Toute évaluation devra utiliser des
données provenant des statistiques routinières de services et de
contacts avec les clients, le personnel et les superviseurs.
Utiliser l’évaluation
Faire les révisions et évaluer les besoins du programme
Formuler les recommandations et les
présenter avec les résultats. Comment allezvous présenter les résultats de l’évaluation
(par exemple, tableaux, graphiques) et qui
participera à la présentation ? Quelle est la
meilleure manière de faire des recommandations aux fins de changement ?
Il serait difficile, sans évaluation, de savoir comment procéder à des révisions dans un programme et d’identifier de nouveaux besoins ou changements qui devraient y être faits. Ici, le
processus d’évaluation est étroitement lié au cycle de planification et de mise en œuvre du programme.
Encourager le personnel à appliquer les
recommandations et à procéder aux améliorations de programme. Comment allezvous travailler avec le personnel à tous les
niveaux pour appliquer les recommandations ?
Que vous vouliez voir comment vous pouvez mieux atteindre
vos objectifs et avoir un plus grand impact, ce que vous pourriez
faire différemment ou les besoins qui ont pu se développer dans
la population cible depuis que le programme a commencé,
l’évaluation vous aidera à déterminer ce que vous et le personnel
devez savoir et vous permettra de décider et de formuler les
actions qui peuvent être intégrées au prochain plan de travail.
Pour de plus d’informations sur les étapes liées à la réalisation d’une évaluation interne d’une partie spécifique
d’un programme—la fonction de formation—prière de se rapporter au Volume 5, Numéro 3 du Management de la
planification familiale, «Evaluer l’impact de la formation sur la performance du personnel,» 1996.
6
Management de la planification familiale Vol. VI No 1, 1997
Planifier l’évaluation
Bien que les demandes d’information peuvent émaner
de maintes sources—le Ministère de la Santé ou de la
Population, le bureau central de l’organisation, le
gouvernement local, les organisations parrainantes, les
bailleurs de fonds, les organismes d’accréditation ou de
contrôle ou les clients—il est important de vous rappeler
que la raison principale pour laquelle vous évaluez le
programme devrait être dans le but de l’améliorer. Ainsi,
les résultats de l’évaluation devraient se concentrer sur
des solutions ou des actions nécessaires pour revoir et
améliorer les programmes, et pas simplement pour
répondre et chercher une solution aux problèmes identifiés. Il est votre devoir, en tant que responsable, de
vérifier qu’une bonne utilisation est faite des résultats de
l’évaluation. Tel que le montre le tableau ci-après, l’évaluation peut se concentrer sur plusieurs aspects différents
d’un programme, suivant la raison principale pour
laquelle elle est faite.
Types de questions d’évaluation suivant la raison principale de l’évaluation
Pertinence
Les stratégies et les services du programme sont-ils appropriés par rapport aux besoins
auxquels ils sont supposés répondre ?
Adéquation
Le programme traite-t-il tous les besoins qu’il est supposé traiter ?
Progrès
Le programme est-il en train d’accomplir ce qui était planifié dans les délais prévus et
conformément au budget ?
Efficacité
Le programme est-il en train d’atteindre ses objectifs intermédiaires et de répondre aux
besoins de ses clients ?
Impact
Le programme a-t-il obtenu les résultats escomptés à long terme ?
Efficience
Les résultats du programme sont-ils appropriés par rapport à l’utilisation des ressources ?
Viabilité
Le programme/organisation fournit-il des services de qualité à ses clients, augmente-il ou
maintient-il la demande pour les services et mobilise-t-il des recettes à l’échelle locale, tout
en diminuant sa dépendance face au financement des bailleurs de fonds externes ?
Adapté de Bruckner, et al.
Les responsables à différents niveaux dans un programme ou une organisation ont besoin de différents
types d’information pour prendre les décisions se
rapportant à leurs responsabilités particulières. Ces
décisions se rapportent aux diverses étapes du cycle de
Management de la planification familiale Vol. VI No 1, 1997
planification et de mise en œuvre. La figure suivante,
expliquée plus en détail dans les deux pages suivantes,
montre les types de décisions prises par des responsables
et la manière dont elles s’articulent au processus de
planification et de mise en œuvre.
7
Qui prend quelles décisions ?
QU’EST-CE QUI DOIT
ETRE ACCOMPLI ?
(mission / vision / stratégie)
COMMENT CELA SERA-T-IL
ACCOMPLI ?
(argent, matériel, ressources
humaines)
FOURNIR le produit
ou le service
Cadres
supérieurs
Planifier les
programmes
Rétro-information
Diriger et
Contrôle
superviser
les activités
Rétro-information
Cadres
moyens
Exécuter les activités
Responsables de
première ligne
L’évaluation interne doit fournir l’information dont ont besoin les responsables à chaque niveau.
Adapté de Love, 1991 (avec la permission de Sage Publications, Inc.)
Les cadres supérieurs ont besoin d’information qui
les aide à répondre aux questions sur la vision et les
stratégies utilisées par l’ensemble du programme. Ils ont
besoin de réunir et d’analyser les informations sur la
manière dont le programme ou l’organisation exécute sa
mission (ou mandat légal) et sa vision. Ils ont également
besoin d’informations leur montrant ce qui se passe dans
le contexte dans lequel ils travaillent (par exemple, le
contexte national ou la collectivité locale ou le contexte
social, religieux et économique) afin de déterminer
l’influence éventuelle que pourrait avoir ce contexte
externe sur la réalisation de la mission de l’organisation.
Par exemple, après avoir appris que la majorité
des clients contactés par le biais du programme de
distribution à base communautaire (DBC) utilisaient
encore la pilule et les condoms et que très peu d’entre
eux avaient adopté les méthodes cliniques à effet plus
durable (tels que les injectables, les DIU, le Norplant
et la stérilisation), les cadres supérieurs craignaient
que les progrès n’étaient pas suffisants par rapport
aux buts à long terme qui étaient notamment
d’accroître l’utilisation de méthodes à effet durable. A
ce niveau, les responsables étaient préoccupés des
8
coûts des différentes stratégies de prestation de
services de leurs programmes, comparé à l’efficacité
de ces stratégies en vue d’atteindre les buts du
programme. Vu que le programme de DBC était le
seul programme communautaire (dans certaines
régions, ils avaient des centres mobiles qui fournissaient également des contraceptifs injectables), les
cadres supérieurs ont décidé d’étudier de plus près les
éventuels avantages liés à l’expansion de la zone
desservie par les centres mobiles et à la diminution de
celle des services de DBC.
Les cadres moyens ont besoin d’information pour
déterminer dans quelle mesure leur service, programme
ou département contribue à l’atteinte des objectifs et buts
plus globaux que l’organisation s’est fixée ainsi qu’à
ceux de leur propre service ou département. Les responsables intermédiaires doivent également comprendre et
avoir des informations sur les tendances dans le contexte
organisationnel plus général, telles que la mission de
l’organisation et les objectifs et buts à court et à long
terme de l’organisation. Le fait de disposer de cette
information les aidera à vérifier si leur travail et le travail
du personnel est conforme à la direction de l’organisation.
Management de la planification familiale Vol. VI No 1, 1997
Par exemple, dans le programme décrit ci-dessus,
les responsables intermédiaires se demandaient si
leurs agents de distribution à base communautaire
étaient suffisamment formés pour fournir des conseils
aux clients sur les méthodes à effet durable et ont
cherché à orienter les clients se montrant intéressés
vers les centres locaux. Ils se demandaient également
si les centres de référence disposaient du personnel
infirmier nécessaire pouvant fournir les méthodes
cliniques appropriées si la demande commençait à
augmenter tel que prévu.
Les responsables de première ligne ont besoin
d’information fiable qui les aide à exécuter et à superviser les activités et les tâches spécifiques des personnes
qu’ils supervisent. Le fait de disposer de cette information les aide à vérifier que les responsabilités, les tâches
et les objectifs du service de première ligne sont atteints.
Pour faire efficacement leur travail, les responsables de
première ligne ont également besoin d’information
concernant les directions futures du programme ou du
service, par exemple, les nouvelles prestations qui seront
fournies par leur service ou les nouveaux rapports
nécessaires.
Par exemple, dans le programme décrit ci-dessus,
le programme de DBC et les centres mobiles sont
gérés par le personnel dans les centres de santé de
district et qui sont aussi responsables de la gestion
des contraceptifs. Si les cadres moyens et supérieurs
changent l’orientation des services de DBC, augmentent le nombre de centres mobiles et étendent la
zone couverte par les centres mobiles, cela signifie un
changement dans les responsabilités des responsables
de première ligne. Ils devront trouver un nouveau
personnel formé dans le domaine clinique pour les
centres mobiles, stocker les contraceptifs en quantités
différentes afin de répondre à un éventuel changement
dans la demande et vérifier qu’ils peuvent s’occuper
d’un nombre accru de clients envoyés au centre.
Management de la planification familiale Vol. VI No 1, 1997
Réaliser l’évaluation
Une fois que vous avez déterminé le but de l’évaluation, choisi les indicateurs et les normes d’évaluation et
fait des plans sur la manière dont vous allez collecter les
données, vous êtes prêt à réaliser l’évaluation en collectant et en analysant les données.
Collecte de données. Les données que vous collectez
peuvent être soit quantitatives, soit qualitatives. Ces deux
termes sont utilisés pour désigner des approches différentes de collecte de données. L’utilisation d’une approche quantitative signifie que vous allez collecter et
utiliser des données sous forme de nombres et convertir
les données brutes en pourcentages, moyennes, médianes
et autres chiffres vous aidant à analyser et à trouver la
signification des nombres. Les approches qualitatives
(par exemple, les interviews focalisées avec les clients),
sont plus détaillées et approfondies et servent à enrichir et
à expliquer les résultats quantitatifs. En planifiant une
évaluation, il est important de se rappeler que les deux
approches sont utiles et, si les ressources le permettent, la
meilleure solution consiste à utiliser les deux approches
et plusieurs sources de données. L’utilisation des deux
approches vous aidera à confirmer et à renforcer vos
résultats.
Vous pouvez utiliser diverses méthodes de collecte de
données dans le cadre d’une évaluation, quelle qu’elle
soit. Par exemple, si vous faites une évaluation des
besoins, vous pouvez utiliser plusieurs types de collecte
de données. Vous pouvez commencer une telle évaluation
en voyant les données quantitatives disponibles à partie
de recensements, enquêtes nationales (telles que
l’enquête démographique et de santé [EDS]) et données
sur les clients/formations sanitaires, pour avoir une idée
de la situation générale concernant une question
particulière telle que les niveaux de fécondité ou
d’utilisation des services de planification familiale.
Les résultats de ces données quantitatives peuvent vous
encourager à faire une étude plus détaillée de la situation
en utilisant des méthodologies qualitatives, telles que
l’observation au niveau des cliniques, les enquêtes
ouvertes auprès des clients ou les groupes de discussion
focalisée afin de déterminer de manière précise comment
vous allez concevoir le programme particulier.
9
Quelles que soient les méthodes utilisées pour
collecter les données, l’utilité qu’elles ont pour vous, en
tant que responsable, dépend de la validité (les données
doivent mesurer ce qu’on a l’intention de mesurer), de la
fiabilité (elles doivent être consistantes dans le temps) et
du caractère opportun des données (elles doivent être
disponibles lorsqu’on en a besoin).
Le tableau suivant présente un récapitulatif des
différents outils et méthodes utilisés pour la collecte de
données quantitatives et qualitatives et les caractéristiques de ces deux approches.
Méthodes et caractéristiques de la collecte de données quantitatives et qualitatives
Quantitatives
Qualitatives
Méthodes/outils de collecte de données
Interviews (structurées)
Interviews approfondies (ouvertes)
Questionnaires autoadministrés (structurés)
Questionnaires autoadministrés (ouverts)
Données client/centre de santé
Discussions, groupes de discussion focalisée
Données sur les produits et le matériel
Classement par échelle, notation
Données financières
Observation
Résultats des pré et post tests
Registres, journaux de bord
Caractéristiques
Les résultats/conclusions sont, dans l’ensemble,
généralisables à la population dans sa totalité, si
vous avez utilisé un échantillon représentatif
Les résultats ne peuvent pas être généralisés
Axées sur le résultat, l’impact
Orientées sur le processus
Décrivent ce qui s’est passé
Expliquent pourquoi et comment les choses se sont
passées
Comptent, énumèrent, se basent sur des chiffres
Mesurent les caractéristiques intangibles (attitudes,
perceptions, préoccupations et expériences)
Mesurent la réalisation des objectifs
Enrichissent, ajoutent profondeur et détail
Orientées sur les conclusions
Orientées sur l’exploration
Analyser les données. L’analyse des données que
vous avez collectées est l’un des aspects les plus difficiles
de l’évaluation et exige une planification attentive. En
analysant les données, vous avez besoin de compétences
et techniques qui permettent de déterminer les tendances
dans les données et être capable d’isoler les faits et
informations d’importance critique d’autres informations
moins importantes. Tel que le montre le tableau précédent, la manière dont vous analysez les données dépend
10
énormément de la manière dont les données ont été collectées. Dans certaines évaluations, vous vous intéresserez essentiellement à mesurer les progrès à court terme en
comparant les nombres et l’information de différents
points de services appartenant au programme ou à
l’organisation. Dans d’autres évaluations, vous souhaiterez mesurer la réussite du programme en comparant
les réalisations du programme par rapport à la base
initiale établie.
Management de la planification familiale Vol. VI No 1, 1997
Comprendre la différence entre donnée et information
Les données sont des chiffres bruts ou autres résultats qui, en eux-mêmes, n’ont qu’une valeur limitée pour
les décideurs. Par contre, l’information est le résultat de l’organisation, du traitement et de l’interprétation des
données, transformant ainsi les résultats en faits qui sont utiles pour les décideurs. Par exemple, le nombre de
nouveaux clients que sert votre centre pendant un mois ne signifie pas grand chose tant que vous ne le
comparez pas avec le nombre de nouveaux utilisateurs des mois et années précédents pour voir s’il y a eu une
hausse ou une diminution de la tendance dans le temps.
Les données sont transformées en information par :
La sélection—choisir les données qui sont utiles et adéquates pour répondre aux questions qui ont été
posées et ignorer les données qui sont inutiles ou inadéquates à cette fin.
L’interprétation—analyser les données pour les placer dans le contexte, mettre à jour les tendances ou
domaines problématiques et réfléchir à la signification de ces tendances par rapport aux questions
posées.
L’objectif général de la conversion de données en information est de décrire, expliquer, prédire et/ou
évaluer un programme et ses résultats.
Adapté d’une présentation de Gabriel Ojeda, PROFAMILIA, Colombie
Utiliser l’information de l’évaluation
Il n’aura servi à rien de mettre tant de temps et
d’énergie dans une évaluation si vous n’utilisez pas
les résultats pour planifier, soutenir, changer, corriger et/
ou améliorer le programme. Aussi, pour bénéficier
pleinement des avantages d’une évaluation, vous devez
vous poser les questions suivantes quant à l’utilisation de
l’information :
•
Quelles sont les leçons apprises de l’évaluation ?
•
Qu’est-ce qui devrait être fait/sera fait différemment
suite aux résultats de l’évaluation ?
Les exemples suivants décrivent les manières dont
différents types de résultats d’évaluation peuvent être
utilisés et montrent l’importance de faire des évaluations
internes de programme.
Pour nous aider à faire de meilleurs plans à l’avenir.
En préparant notre plan de travail pour l’année suivante,
le personnel de la formation sanitaire et moi-même avons
décidé de réunir une information auprès de nous-mêmes
et des clients pour voir si nos services répondaient bien
aux besoins des clients et pour noter les problèmes que
rencontrait le personnel en fournissant ces services. Nous
souhaitions utiliser cette information pour déterminer les
changements et les nouvelles directions que devrait
prendre le programme l’année prochaine.
Nous avons commencé par organiser une réunion du
personnel pour identifier et discuter des forces et des
points faiblesses de la manière actuelle dont nous
procédions ainsi que les opportunités et les menaces
extérieures pouvant avoir une influence sur la réussite du
Management de la planification familiale Vol. VI No 1, 1997
programme. Ensuite, nous avons invité plusieurs groupes
de clients à participer à des discussions focalisées pour
leur demander leurs opinions sur les services actuels et
voir quels sont les changements qu’ils aimeraient voir à
l’avenir, tels que des changements dans les heures
d’ouverture du centre ou dans le système de rendez-vous.
Grâce à ce type d’évaluation participative du programme, nous avons pu bénéficier des commentaires des
prestataires de services et des bénéficiaires des services.
Ainsi, nous sommes mieux préparés à formuler un nouveau plan qui répondra mieux aux besoins des clients et
aux attentes du personnel quant à la manière d’améliorer
les opérations internes et les procédures de notre
formation sanitaire.
Pour voir si notre travail coûte trop cher et accomplit
trop peu. Un des objectifs de notre projet consiste à
fournir des services à 100 clients chaque mois. Un autre
objectif est de maintenir un coût de 10 dollars par client
servi. A la fin d’une période récente de six mois, un
examen des statistiques de services et des dossiers
financiers a indiqué une moyenne de 88 clients par mois
seulement. Le coût total de la prestation des services
s’élevait à 1 250 dollars par mois, soit 14,20 dollars par
client. Vu que nous n’avons pas accès à d’autres
ressources financières, nous avons décidé d’étudier de
plus près les types de changements que nous pourrions
faire pour accroître le nombre de clients servis chaque
mois et/ou diminuer les dépenses, de sorte à atteindre
notre objectif, c’est-à-dire servir au moins 100 clients
chaque mois à un coût moyen de 10 dollars par client.
Nous avons décidé de fournir plus d’information sur nos
services à la communauté et d’étudier de plus près les
11
manières qui nous permettront de simplifier les
procédures de prestation de nos services, afin que les
clients (surtout ceux qui reviennent pour un réapprovisionnement de pilules et de condoms) puissent obtenir
la même qualité de soins sans devoir voir autant de
personnes.
Pour être capable de partager nos expériences,
afin que d’autres programmes puissent en profiter.
Nous avons démarré un projet pilote dans le cadre
duquel des villageois volontaires étaient recrutés et
formés pour aider les agents chargés des activités
d’extension à fournir des services à des zones spécifiques
de la communauté où existait un niveau élevé de besoins
non satisfaits. Après six mois, nous avons revu nos
statistiques de services et nous avons été surpris de voir
que la performance du programme s’était améliorée, non
seulement dans les zones pilotes mais également dans des
zones qui ne faisaient pas partie du projet pilote. Vu qu’il
s’agissait d’un résultat inattendu du projet, nous avons
décidé de faire une présentation formelle lors de la
prochaine réunion régionale de l’association des infirmières professionnelles pour diffuser les résultats. En
continuant à évaluer l’efficacité de ce projet et en partageant les résultats avec nos collègues, nous espérons
qu’ils profiteront de notre expérience et la reproduiront
peut-être dans leurs programmes.
Lors de la prochaine réunion trimestrielle, nous
comparerons à nouveau les statistiques pour voir si la
performance s’est améliorée dans les centres qui avaient
des problèmes et nous continuerons la discussion. Nous
espérons que cette méthode consistant à évaluer et à
travailler régulièrement avec nos collègues continuera à
améliorer les programmes et à traiter les problèmes
communs.
Pour voir où sont nos forces et nos faiblesses et où
nous pouvons faire des améliorations. Afin de déterminer si les clients étaient satisfaits des services des
centres, nous avons élaboré un formulaire de rétroinformation que nous demandons aux clients de bien
vouloir remplir (anonymement) à la fin de leur visite au
centre et de le laisser dans une boîte à la réception. Tous
les deux mois, nous examinons les formulaires remplis
pour voir si nous répondons aux besoins des clients et
pour apprendre ce que nous pourrions mieux faire ou
faire différemment.
En tant que suivi de l’information que nous reçevons
des clients, nous félicitons d’abord le personnel pour le
travail dans les domaines où les clients ont fait des
remarques positives et nous faisons une liste de certains
domaines problématiques pour voir comment nous
pourrions les traiter. En ce qui concerne les membres du
personnel dont la performance est jugée comme étant
Pour améliorer le programme en le comparant avec
d’un qualité supérieure, d’après les commentaires des
d’autres programmes analogues. On nous a demandé de clients, nous renforçons la valeur de son bon travail en les
présenter, lors d’une réunion du district récente avec des
mentionnant nominativement lors de la réunion du
responsables cliniques, nos données du programme
personnel, juste après l’examen des formulaires. Lors de
(nombre de clients de la planification familiale nouveaux cette réunion, nous fournissons certains détails sur ce que
et continus par méthode) pour chaque mois de l’année
les clients ont particulièrement aimé, par exemple, la
précédente. A la réunion, nous avons compilé les données manière dont telle cliente a été traitée ou l’explication
sur des grandes fiches, de sorte à pouvoir comparer plus
attentive et complète des diverses méthodes de contrafacilement les données entre les centres de santé du
ception. Ainsi, les membres de notre personnel peuvent
district. De cette manière, les responsables des centres ont apprendre les uns des autres. Nous avons constaté que
non seulement pu comparer leurs statistiques avec des
certaines des plaintes des clients pouvaient être résolues
programmes analogues mais ils ont également eu l’occa- facilement, par exemple, en faisant plus d’efforts pour
sion de discuter avec leurs collègues des raisons possibles maintenir la propreté du centre et fournir de meilleures
expliquant les différences de performance. Cela s’est
informations sur les heures des formations sanitaires et
avéré être une manière efficace pour les responsables
la manière dont fonctionne le système de rendez-vous.
d’obtenir une information utile sur les différentes
manières dont ils pouvaient attirer et garder les clients
dans leur propre centre et leur a donné des idées sur la
manière d’améliorer la performance de leur centre et de
mieux répondre aux besoins de leurs clients.
12
Management de la planification familiale Vol. VI No 1, 1997
Pour nous aider à voir où nous allons et si nous
devons changer de cap. Nous avons conçu un projet
pilote pour les adolescentes qui ont besoin d’information sur les contraceptifs. Nous avons décidé de fournir
cette information par le biais des enseignants qui
resteraient à l’école après les heures normales, deux jours
par semaine pendant une heure, pour répondre aux
demandes d’information des écolières. Bien que dans les
trois écoles cibles on ait beaucoup parlé du programme,
les données ont montré que seules quelques filles avaient
utilisé les services pendant les quatre premiers mois du
programme.
que nous payions les dépenses de déplacement des étudiants, le projet nous coûtait plus cher que nous avions
prévu.
Le fait de disposer de cette information de la part des
bénéficiaires visés par le programme a été très important
pour nous et nous a permis d’envisager des options différentes pour mieux répondre aux besoins des écolières.
Aussi, envisageons-nous de demander aux éducateurs
sanitaires de rencontrer les filles au centre sportif les
deux mêmes journées plutôt que dans le dispensaire de
l’école.
compétences liées aux conseils et à l’explication des
éventuels effets secondaires des différentes méthodes de
contraception. Deuxièmement, qu’il était important
d’avoir une visite de suivi peu après la première visite
pour répondre aux autres questions que pourrait avoir une
cliente après la visite. Troisièmement, que les membres
de la communauté faisaient confiance et respectaient les
agents communautaires, ce qui rend leur travail très
important, surtout pour les clients qui ne peuvent pas ou
qui ne veulent pas se déplacer au centre de santé.
Nous avons décidé d’évaluer dans quelle mesure le
travail des étudiants était à l’origine de l’accroissement
récent dans l’utilisation des contraceptifs et s’il n’y avait
pas moyen de diminuer les coûts encourus pour rembourser les dépenses des étudiants. Pour cela, nous avons
interviewé les clients qui avaient été en contact avec les
étudiants pour déterminer s’ils étaient satisfaits des
services. A notre grande surprise, nous nous sommes
rendu compte que la plupart des clients pensaient que
Afin de voir pourquoi elles ne profitaient pas davanleurs questions surtout celles relatives aux éventuels
tage de ce programme, nous avons décidé de consulter les effets secondaires n’avaient pas reçues de réponses
filles elles-mêmes. Nous les avons invitées à participer à adéquates. En outre, un grand nombre des clients qui
un groupe de discussion focalisée après l’école et nous
avaient accepté une méthode contraceptive l’avaient fait
avons appris que les deux jours que nous avions retenus
lors d’une visite de suivi avec l’agent communautaire.
pour les séances avec les éducateurs sanitaires étaient les Les clients ont indiqué qu’ils avaient eu l’occasion d’y
mêmes journées où se déroulait le programme de sport
réfléchir davantage et faisaient confiance aux conseils
des filles au centre sportif de la ville. De plus, certaines
donnés par quelqu’un faisant partie de la communauté.
des filles n’étaient pas à l’aise pour se rendre au dispenCette simple évaluation interne nous a fourni trois
saire scolaire aux heures convenues car elles ne voulaient informations importantes. Premièrement, que les
pas que leurs camarades et leurs professeurs sachent
étudiants avec une formation médicale plus avancée
qu’elles allaient demander des informations sur la contra- n’influençaient pas forcément la décision d’utilisation de
ception. Elles ont indiqué qu’elles préféreraient que les
la contraception d’une cliente, du moins pas lors de la
éducateurs sanitaires fournissent cette information à un
première visite et qu’il fallait probablement fournir une
endroit neutre, en dehors de l’école.
information supplémentaire aux étudiants portant sur les
Pour apprendre davantage sur les facteurs qui ont le
plus contribué à notre réussite. Suite à la demande pour
la contraception et à l’information sur les méthodes
disponibles, nous avons commencé l’année dernière un
programme expérimental demandant à des étudiants en
médecine de l’université locale d’aider les équipes
mobiles et les agents communautaires à fournir des services d’information et de conseil aux communautés de la
zone du projet. Le projet semblait bien se dérouler
d’après les statistiques de services, indiquant un
accroissement dans le nombre de produits contraceptifs
distribués mais nous nous sommes rendu compte que, vu
Management de la planification familiale Vol. VI No 1, 1997
Suite à cette évaluation, nous avons organisé une
formation supplémentaire pour les étudiants et avons
demandé à l’université de prendre en charge leurs frais de
déplacement si l’université souhaitait que les étudiants
continuent à avoir une expérience sur le terrain. Nous
avons mis en place un système de suivi prévoyant qu’un
agent communautaire rende visite à un éventuel client
dans les trois semaines suivant la première visite, qu’elle
ait été faite par un agent communautaire ou un étudiant.
Le nombre de nouveaux acceptants a continué d’augmenter et nous planifions de réaliser d’autres interviews dans
six mois.
13
Venir à bout de la résistance à l’évaluation
L’évaluation est souvent vue par les responsables et
les décideurs comme une menace plutôt qu’un outil utile.
En faisant une évaluation, quelle qu’elle soit, vous
devriez songer à l’avance à la résistance que vous risquez
de rencontrer pour pouvoir y remédier avant de
commencer l’évaluation. Généralement, il existe des
solutions relativement faciles à ces éventuels problèmes.
Le tableau suivant vous donne des suggestions sur la
manière d’éviter une résistance possible à une évaluation.
Manières de venir à bout d’une résistance éventuelle à l’évaluation
Préoccupation
Manière de traiter la préoccupation
Pour s’assurer que les questions d’évaluation sont
pertinentes pour le travail des décideurs et/ou
responsables...
Engager les principales parties concernées (responsables et décideurs appropriés) dans le processus,
surtout en planifiant l’évaluation et chercher à
identifier leurs préoccupations et questions.
Pour s’assurer que les résultats de l’évaluation sont
utiles pour résoudre les problèmes d’aujourd’hui...
Axer les questions de l’évaluation sur les problèmes
actuels, tels qu’identifiés par les responsables de
projet.
Pour soutenir le choix de la méthodologie utilisée
pour l’évaluation...
Expliquer les points forts et les points faibles des
différentes méthodologies d’évaluation aux
utilisateurs finaux et les raisons faisant que vous avez
choisi celles-ci.
Pour obtenir un soutien pour la crédibilité des
résultats...
Vérifier que ceux qui collectent et analysent les
données sont acceptables aux yeux des utilisateurs
finaux de l’information.
Pour vérifier l’acceptation des résultats...
Les résultats doivent être concluants et ne doivent pas
se prêter à différentes interprétations de la part de
ceux qui ont besoin d’utiliser l’information.
Pour encourager l’utilisation de résultats, même s’ils
sont négatifs...
Vérifier que ce sont des recommandations de
changement appropriées, équitables et faisables.
Pour vérifier que les résultats sont utilisés au niveau
de première ligne...
Outre la présentation des résultats généraux de
l’évaluation, vérifier que vous présentez des résultats
qui sont spécifiques au niveau local, de sorte à ce que
les responsables et le personnel à ce niveau puissent
comprendre et utiliser facilement les résultats.
Pour rendre les résultats accessibles et
compréhensibles...
Présenter les résultats et les recommandations sous
forme récapitulative, clairement présentée, sans
utiliser trop de jargon, de sorte à ce que l’information
puisse être lue et comprise facilement.
Pour encourager l’utilisation répandue des résultats...
Diffuser largement les résultats au sein de l’organisation, de sorte à ce que le personnel à tous les
niveaux ait accès aux résultats.
Adapté de S. Sofaer, 1994
14
Management de la planification familiale Vol. VI No 1, 1997
Décider s’il faut faire une évaluation
interne ou externe
Ce numéro s’est concentré sur l’importance de faire
des évaluations participatives internes réalisées par vousmême, le responsable et le personnel. Mais, parfois, il
est utile et important de faire une évaluation externe, par
exemple, lorsque vous voulez en apprendre davantage sur
l’impact à long terme du programme face à des
politiques et programmes nationaux plus généraux. Vous
trouverez ci-après certains des avantages et inconvénients
liés aux évaluations internes et externes.
Comparaison des avantages et inconvénients des évaluations internes et externes
Type de responsable de
l’évaluation
Responsable
interne
Responsable
externe
Avantages
Inconvénients
Une personne qui connaît bien le programme
peut comprendre et interpréter les attitudes et les
comportements personnels dans le contexte du
programme.
Le responsable interne risque de connaître
trop bien le programme et de trouver qu’il
est difficile d’être objectif.
Le responsable interne est connu, aussi est-il
moins menaçant pour le personnel et moins
susceptible de déranger les activités ou de causer
une certaine anxiété.
Le membre du personnel fait partie de la
structure de pouvoir et d’autorité et le gain
personnel pourrait influencer ses résultats ou
recommandations.
Le responsable interne a besoin de moins de
temps pour apprendre à connaître l’organisation
et ses programmes.
Le responsable interne risque de ne pas avoir
une formation ou expérience spécifiques en
matière d’évaluation.
Quelqu’un qui ne participe pas personnellement
au programme peut être plus objectif en
collectant et en analysant les données et en
présentant les résultats.
Le responsable externe pourrait causer une
certaine anxiété chez le personnel du
programme qui n’est pas sûr des motifs de
l’évaluation/responsable de l’évaluation.
Le responsable externe ne fait pas partie de la
structure de pouvoir.
Le responsable externe risque de ne pas
comprendre entièrement les buts et objectifs
du programme ou de son contexte.
Le responsable externe peut jeter un regard
nouveau sur le programme ou l’organisation.
Une évaluation externe peut être chère,
prendre beaucoup de temps et déranger les
progrès en cours.
Management de la planification familiale Vol. VI No 1, 1997
15
Intégrer l’évaluation au
programme
Pour vérifier que l’évaluation devienne une activité
régulière et acceptée dans l’organisation, et qu’elle
soit véritablement participative et utile pour le personnel
et l’organisation, il est important de suivre quelques
étapes simples. Premièrement, la planification des
évaluations devrait faire partie intégrante du processus
régulier de planification et de mise en œuvre du programme dans l’organisation. L’évaluation devrait être
vue comme une partie essentielle de ce processus, de
sorte qu’à l’instar des plans qui sont faits pour réaliser les
programmes, des plans soient également faits pour
évaluer le processus et l’impact des activités du programme. Deuxièmement, lorsque vous planifiez et que
vous réalisez une évaluation, vous devriez utiliser toutes
les données disponibles avant d’envisager des activités de
collecte de données spéciales—qui sont souvent chères et
qui prennent beaucoup de temps—telles que les enquêtes
spéciales.
Enfin, en réalisant des évaluations internes, il est
important de se rappeler qu’il faut se concentrer sur les
solutions et les actions qui amélioreront vos services et la
gestion du programme plutôt que sur le diagnostic et la
réponse aux problèmes immédiats identifiés dans l’évaluation. Il est votre devoir de vérifier que les résultats
d’une évaluation sont bien utilisés, servent à améliorer les
activités programmatiques spécifiques ainsi que la
gestion, l’efficacité et l’efficience générales de le organisation et de ses programmes.
Le Coin des commentaires
Forum pour discuter des applications additionnelles des concepts et techniques du
Management de la planification familiale
Concernant l’évaluation comme activité continue... Un des commentateurs insiste sur le fait que, «Il est
important que l’évaluation devienne une partie de la culture d’une organisation. Le personnel doit comprendre qu’il ne s’agit pas d’une activité séparée demandée par le bailleur de fonds. Comme activité continue,
elle est d’importance capitale pour le développement et la croissance de l’organisation.»
Sur l’utilisation de l’évaluation pour améliorer vos systèmes d’information... Un des commentateurs
remarque, «Les évaluations périodiques peuvent aider à déterminer si les systèmes internes de collecte de
données fonctionnent adéquatement et si le système d’information dégage de fait le type d’information
nécessaire pour les différents types de personnel dans le programme.»
Sur l’utilisation de l’évaluation pour identifier les éventuels nouveaux clients... Un des commentateurs insiste sur le fait que, «L’évaluation vous aidera à voir non seulement si vous répondez aux besoins de
vos clients actuels mais également s’il existe d’autres éventuels clients dont les besoins ne sont pas satisfaits.
Dans notre programme, nous avons évalué nos services cliniques et les types de clients que nous servions.
Nous avons constaté que la majorité de nos clients étaient des femmes avec trois ou quatre enfants. Les
jeunes de moins de 20 ans et les personnes célibataires ne représentaient que 15 % de nos clients. Aussi, suite
à l’évaluation, deux programmes séparés ont été conçus, un programme pour les adolescents et un programme qui intègre la planification familiale aux pratiques des accoucheuses et des guérisseurs traditionnels.
A présent, nous voyons un plus grand nombre de clients orientés vers le centre par ces deux programmes.»
Une des raisons pour faire les évaluations... Un commentateur explique, «L’évaluation, c’est comme les
petits enfants qui demandent «Pourquoi ?» à propos de tout et de rien. L’évaluation crée connaissance, donne
aux responsables les moyens de prendre des décisions et contribue à la qualité programmatique. Dans ce sens,
les raisons pour évaluer son travail sont infinies.»
16
Management de la planification familiale Vol. VI No 1, 1997
Références
Bertrand, Jan et Amy Tsui, Indicators for Reproductive Health Program Évaluation. Le Projet ÉVALUATION, Carolina
Population Center, Université de Caroline du Nord, Chapel Hill, NC, 1995.
Bruckner, Bates C. et al., eds. A Guide to Methods of Family Planning Program Evaluation 1965-1990. Le Projet
EVALUATION, Carolina Population Center, Université de Caroline du Nord, Chapel Hill, NC, 1995.
Buxbaum, Ann. Training Impact Evaluation Workbook. Family Planning Management Development Project,
Management Sciences for Health, Newton, MA, 1995.
Clark, Noreen et James McCaffery. Demystifying Evaluation. World Education, Boston, MA, 1979.
Feuerstein, Marie-Therese. «Participatory Evaluation : The Patna Experience.» CONTACT. Christian Medical
Commission, No.132, août 1993.
Feuerstein, Marie-Therese. Partners in Evaluation : Evaluating Development and Community Programmes with
Participants. Macmillan, Londres, 1986.
Fondation Aga Khan. Monitoring and Evaluating Programs. (Module 5-User’s Guide) Primary Health Care
Management Advancement Programme, Fondation Aga Khan, Washington, DC, 1993.
García-Núñez, José. Improving Family Planning Evaluation : A Step-by-Step Guide for Managers and Evaluators.
Kumarian Press, West Hartford, CT, 1992.
Love, Arnold J. Internal Evaluation : Building Organizations from Within. Sage Publications, Thousand Oaks, CA,
1991.
Miller, Janice et James Wolff, eds. «Evaluer l’impact de la formation sur la performance du personnel.» Management de
la planification familiale, Family Planning Management Development Project, Management Sciences for Health,
Boston MA, Volume V, Numéro 3, 1996.
Patton, Michael Quinn. Utilization-Focused Evaluation, troisième édition. Sage Publications, Thousand Oaks, CA,
1997.
Sofaer, Shoshanna. «Utilization of Evaluation Results for Policy Advocacy.» Présenté à la Conférence national sur
l’éducation sanitaire et la promotion sanitaire, Tampa, Floride, avril 1994.
Management de la planification familiale Vol. VI No 1, 1997
17
Liste aide-mémoire : Utiliser l’évaluation
en tant qu’outil de gestion
Planifier le processus d’évaluation de sorte à ce qu’il réponde aux besoins de toutes les parties
intéressées (responsables de programme, personnel, clients ou bénéficiaires) ainsi qu’à ceux à
l’extérieur du programme tels que les bailleurs de fonds et les organismes d’accréditation.
Vérifier que le personnel à tous les niveaux du programme ou de l’organisation participe à une partie
de l’évaluation, afin qu’il sente qu’il a été inclus dans le processus, qu’on a écouté ses préoccupations
et pour l’encourager à appliquer les résultats de l’évaluation pour procéder aux améliorations
nécessaires dans la gestion.
Travailler avec le personnel et les autres parties concernées importantes (y compris les clients, les
cadres supérieurs et les bailleurs de fonds) pour identifier les objectifs de l’évaluation.
Décider de la portée de l’évaluation, notamment si elle sera réalisée par une personne interne ou un
consultant externe et les délais et les fonds qui peuvent lui être octroyés.
Choisir les critères, indicateurs et normes d’évaluation.
Identifier les sources de données et décider des méthodologies que vous utiliserez pour collecter les
données. Vérifier que les méthodologies que vous choisissez sont appropriées par rapport aux objectifs
de l’évaluation et aux personnes qui participeront à la collecte et à la fourniture de données (surtout si
vous planifiez de collecter des informations auprès d’autres membres du personnel et/ou des clients).
Collecter les données en utilisant les méthodes quantitatives et qualitatives, selon le cas.
Organiser et analyser les données de sorte à pouvoir les transformer en information utile pouvant être
utilisée par d’autres personnes dans l’organisation pour faire des améliorations de programme.
Formuler les recommandations et présenter les résultats de votre évaluation d’une manière qui soit
compréhensible et utile pour tous les participants à l’évaluation et autres parties intéressées à
l’extérieur de l’organisation.
Garder un temps important pour l’examen et la discussion des résultats de l’évaluation, afin que toutes
les parties intéressées s’engagent à l’application des solutions proposées.
Se concentrer sur la recherche de solutions réalistes et appropriées pour les problèmes identifiés tout
au long de l’évaluation.
Encourager le personnel à mettre en œuvre les recommandations et à procéder à des améliorations
durables du programme.
Management de la planification familiale a pour objectif d’aider les responsables de services de santé à mettre au point et appuyer la
prestation de services de planification familiale de grande qualité. La rédaction reçoit avec plaisir tous commentaires, questions ou demandes
d’abonnement. Veuillez les envoyer à l’adresse suivante :
FAMILY
PLANNING
MANAGEMENT
DEVELOPMENT
Management de la planification familiale
Family Planning Management Development
Management Sciences for Health
400 Centre Street
Newton, Massachusetts 02158-2084 USA
Téléphone :
(617) 527-9202
Fax :
(617) 965-2208
Courrier électronique : [email protected]
Le projet FPMD est financé par l’Agence des Etats-Unis pour le développement international (USAID). Ce projet fournit une assistance en
management aux programmes nationaux et aux organisations de planification familiale afin d’améliorer l’efficacité des prestations.
18
Management de la planification familiale Vol. VI No 1, 1997
Imprimé sur
papier recyclé