TERMES DE REFERENCE EVALUATION EXTERNE FINALE

TERMES DE REFERENCE
EVALUATION EXTERNE FINALE
Programme d’actions :
Renforcement des outils de coopération et structuration du dialogue
entre les acteurs du don de matériel médical :
Pour une amélioration des pratiques dans les projets d’appui à l’équipement
des structures de santé des pays en développement.
Référence : EuropeAid/129202/C/ACT/Multi
Commission européenne
Les Acteurs Non Etatiques et les Autorités Locales dans le Développement
Coordination, coopération et activités de mise en réseau entre
organisations européennes dans le domaine du développement
Décembre 2013
1
I.
DESCRIPTIF DE L’ACTION
1. Résumé de l’Action
1.1 Titre
Renforcement des outils de coopération et structuration du dialogue entre les acteurs du
don de matériel médical : Pour une amélioration des pratiques dans les projets d’appui à
l’équipement des structures de santé des pays en développement.
1.2 Lieux
- France entière,
- Belgique (Bruxelles)
1.3 Coût de l’Action et montant demandé à la Commission européenne
- Total des coûts éligibles de l’action : 696 600 €
- Montant demandé à la Commission européenne : 496 600 €
- % du total des coûts éligibles de l’action 71,29%
1.4 Durée de l’Action
36 mois (01/01/2011 >>> 31/12/2013)
1.5 Nom du chef de file de l’Action
Humatem (France)
1.6 Partenaires :
Fédération Européenne des Hôpitaux et des Services de Santé (HOPE) (Belgique)
Groupe Urgence Réhabilitation Développement (Groupe URD) (France)
Biologie Sans Frontières (BSF) (France)
Cap Solidarités (France)
1.7 Associé :
Fédération Hospitalière de France (FHF) (France)
1.8 Groupe(s) cible(s) et autres parties prenantes:
- Groupe(s) cible(s) :
Les acteurs du don de matériel médical :
> les porteurs de projet d’appui à l’équipement médical de structures de santé situées
dans les pays en développement : associations de solidarité internationale (acteurs
2
non étatiques), communes, départements et régions (autorités locales) engagés dans
des coopérations décentralisées, et établissements hospitaliers publics engagés dans
des coopérations hospitalières,
> les donateurs de matériel médical auprès desquels les porteurs de projet se procurent
le matériel médical : établissements hospitaliers publics, cliniques privées, entreprises du
secteur médical, cabinets de praticiens libéraux, laboratoires d’analyses médicales,
particuliers, etc.
- Autre parties prenantes :
Les destinataires des dons de matériel médical, situés dans les pays en développement :
> les acteurs de santé locaux : structures de santé, associations spécialisées en santé,
personnel de santé (médical, paramédical, biomédical), etc.
> les usagers des structures de santé locales.
Les organismes et institutions spécialisés dans l’appui à la coopération :
> les plates-formes et réseaux spécialisés, les centres de ressources, les centres de
formation, etc.
> les institutions d’aide au développement (UE, Ministère des affaires étrangères, OMS,
etc.).
1.9 Objectifs de l’Action
- Objectif général : permettre aux structures de santé des PED de dispenser des soins de
qualité en disposant de matériel médical adapté fourni par les acteurs du don.
- Objectif spécifique : améliorer la qualité technique et méthodologique des projets
d’appui à l’équipement médical de structures de santé situées dans les PED, menés par
les acteurs du don.
2. Description succincte de l’Action
2.1 Contexte de l'Action
Le nombre important de matériel médical non fonctionnel présent dans les structures de
santé des pays en développement (PED) appelle à s’interroger sur la responsabilité des pays
du Nord, notamment sur l’efficacité de l’aide qu’ils apportent dans le cadre des projets
d’appui à l’équipement médical. En effet, de nombreux matériels médicaux, objets de dons,
sont fournis incomplets, sans documentation, non révisés voire déjà en panne, d’autres sont
envoyés sans tenir compte des besoins réels de la structure de santé destinataire, de l’avis
des autorités locales, ou de l’environnement local (ressources humaines, infrastructure,
niveau technologique, ressources financières, etc.). Les rares données disponibles auprès de
l’Organisation Mondiale de la Santé (OMS) et les informations issues du terrain montrent
que les principes directeurs, publiés par cette organisation internationale pour encadrer les
dons de matériel médical, ne sont pas suffisamment appliqués.
Cette problématique est à l’origine, il y a dix ans, de la création de l’association HUMATEM qui,
depuis, cherche à optimiser la qualité des projets d’appui à l’équipement médical en
s’attachant à améliorer les pratiques des acteurs du don des pays du Nord, aussi bien les
porteurs de projet qui transfèrent du matériel médical vers les PED, que les donateurs de
3
matériel médical auprès desquels ces porteurs de projet se procurent le matériel médical.
Cette activité l’a amenée à établir d’étroites relations de collaboration avec d’autres
organismes européens du secteur de la santé et/ou de la solidarité internationale déjà
engagés sur cette thématique et qui sont, comme HUMATEM, à la recherche de solutions à
proposer et de conseils à dispenser pour mieux accompagner les acteurs du don dans leurs
projets d’appui à l’équipement médical.
HUMATEM, ainsi que plusieurs de ces organismes, à savoir la Fédération Européenne des
Hôpitaux et des Services de Santé (HOPE), Biologie Sans Frontières (BSF), le Groupe Urgence
Réhabilitation Développement (Groupe URD), Cap Solidarités, la Fédération Hospitalière de
France (FHF) ont décidé d’unir leurs efforts et de développer des services et outils
spécifiques pour les acteurs du don, en réalisant ensemble la présente Action.
L’Action réalisée proposait de résoudre les problèmes spécifiques identifiés dans les
pratiques des acteurs du don de matériel médical, à savoir :
- concernant les donateurs de matériels :
 une absence de compétences méthodologiques pour mesurer la qualité des projets des
acteurs qui les sollicitent pour obtenir des dons de matériel, voire pour apprécier la
pertinence de leurs propres dons,
 une vérification non systématique des performances techniques du matériel médical
qu’ils donnent.
- concernant les porteurs de projet :
 une insuffisance des compétences méthodologiques pour la prise en charge de projets
d’appui à l’équipement médical, projets souvent complexes,
 une connaissance limitée des technologies médicales, de leurs applications,
caractéristiques, et contraintes, ainsi qu’un accès réduit aux informations techniques sur
le matériel médical, en particulier celui de haute technicité,
 un accès difficile aux gisements de matériel médical adapté et de qualité,
 une absence de compétences techniques pour vérifier les performances techniques du
matériel médical avant acheminement vers les structures de santé destinataires,
 une faiblesse de la dynamique partenariale : généralement focalisés sur leurs propres
projets, ils agissent rarement en synergie et négligent la capitalisation d’expériences et la
mutualisation des moyens.
Les deux catégories d’acteurs du don de matériel médical, auprès desquels ces problèmes
spécifiques ont été largement repérés, constituent le groupe-cible de l’Action et se déclinent
de la manière suivante:
- au titre des porteurs de projets figurent en majorité des associations de solidarité
internationale (acteurs non étatiques), ainsi que des communes, départements, régions
(autorités locales) engagés dans des coopérations décentralisées, et des établissements
hospitaliers publics engagés dans des coopérations hospitalières,
- au titre des donateurs de matériel médical figurent en majorité des établissements
hospitaliers publics, ainsi que des cliniques privées, des entreprises du secteur médical,
des cabinets de praticiens libéraux, des laboratoires d’analyses médicales, des
particuliers, etc.
4
L’Action réalisée visait à permettre à ces acteurs d’être plus performants dans les projets
d’appui à l’équipement médical de structures de santé qu’ils conduisent dans les PED.
L’action devait notamment s’attacher à leur offrir un accès à du matériel médical plus
adapté, à pallier leur manque de connaissances et compétences techniques et
méthodologiques, et à favoriser leurs échanges et interrelations.
2.2 Description de l'Action
Trois des huit Objectifs du Millénaire pour le Développement (OMD), définis par
l’Organisation des Nations Unies, visent à favoriser le droit à la santé. Si leur intitulé ne fait
pas explicitement référence au rôle crucial des systèmes et des structures de santé, les
recommandations formulées par la communauté internationale pour atteindre ces OMD
mentionnent toujours la nécessité de les renforcer, car il va de soi que le droit à la santé, qui
couvre notamment l’accès à des soins médicaux, implique l’existence de systèmes de santé
de bonne qualité et accessibles à tous. Unanimement reconnus comme globalement
déficients et manquant cruellement de matériel médical, ces structures et systèmes de santé
constituent, en effet, en l’état, un obstacle à la réalisation des OMD.
Dans ce contexte, les projets d’appui à l’équipement médical des structures de santé
portés par les acteurs des pays du Nord ont toute leur place. Et compte tenu des faibles
ressources que les PED peuvent consacrer à l’acquisition de matériel médical, les dons de
matériel médical qui caractérisent la plupart de ces projets restent aujourd’hui un moyen
incontournable, d’où la nécessité d’optimiser l’efficacité de l’aide en encadrant les pratiques
des acteurs du don. C’est dans cette perspective que HUMATEM, ses partenaires et ses
associés, ont retenu deux types d’objectifs.
L’objectif général vise à permettre aux structures de santé des PED de dispenser des soins
de qualité en disposant de matériel médical adapté fourni par les acteurs du don.
L’objectif spécifique cherchera à améliorer la qualité technique et méthodologique des
projets d’appui à l’équipement médical de structures de santé situées dans les PED, menés
par les acteurs du don.
Les résultats escomptés de l’action (R1, R2, R3) et leurs outputs devaient être les suivants :
- R1 : Des plates-formes et réseaux techniques, compétents et structurés, sont mis à
disposition des acteurs du don pour fournir du matériel médical adapté aux structures de
santé situées dans les pays en développement. Pour atteindre ce résultat, une plate-forme
existante d’approvisionnement et de mise en relation entre acteurs du don devait être
consolidée, et un réseau technique proposant des prestations de test de matériel médical
développé.
- R2 : Des outils renforçant les capacités à coopérer sont mis à disposition des acteurs du
don. Pour atteindre ce résultat, trois supports techniques, et sept supports méthodologiques
et de sensibilisation devaient être développés.
- R3 : Des espaces d’échanges favorisant les synergies et le dialogue sont mis à disposition
des acteurs du don. Pour atteindre ce résultat, trois espaces d’échanges devaient être
5
développés, à savoir un colloque européen de référence, un forum de discussion sur Internet
et un groupe de travail thématique.
Pour atteindre ces résultats, les activités suivantes (de A1-1 à A3-3) devaient être réalisées :
- A1-1 : Renforcer l’activité de la plate-forme d’approvisionnement et de mise en relation
entre acteurs du don, intitulée La Banque de Matériel Médical pour la Solidarité
Internationale : HUMATEM gère depuis 2001 ce service opérationnel, unique en Europe. Celuici met en relation les acteurs de santé ayant du matériel médical à donner et les acteurs de
solidarité internationale en quête de ce même matériel, en optimisant l’adéquation entre
offres et demandes. Le renforcement de l’activité devait permettre de mieux accompagner
les acteurs du don et d’en accompagner un plus grand nombre, ceci afin d’approvisionner
davantage de structures de santé des PED en matériel médical adapté.
- A1-2 : Développer BIOMEDON, le réseau biomédical solidaire, proposant des prestations
de test de matériel médical : conçu par HUMATEM, et seule initiative du genre en Europe, ce
service devait offrir, aux acteurs du don, la possibilité de faire tester leur matériel médical de
haute technicité à des tarifs accessibles. Il devait se composer d’ateliers biomédicaux
associatifs et d’un réseau de partenaires techniques multi-acteurs (prestataires de
maintenance biomédicale, services après-vente d’entreprises, filières universitaires
biomédicales, etc.). Le développement du réseau BIOMEDON devait permettre de contribuer
à l’amélioration de la qualité du matériel médical transféré vers les PED.
- A2-1 : Enrichir les supports techniques informatisés existants, spécifiques au matériel
médical : jusqu’ici développés par HUMATEM, ces supports techniques informatisés et en
accès libre sur Internet, se composent de fiches-infos matériels, d’un fichier de ressources
biomédicales locales et d’une bibliothèque de documentations techniques. Leur
enrichissement devait permettre d’informer et de responsabiliser les acteurs du don vis à vis
d’un plus grand nombre de matériels, de mieux les renseigner sur les prestations
biomédicales disponibles sur place (prestation de maintenance en particulier) et de favoriser
une meilleure exploitation ultérieure du matériel.
- A2-2 : Développer et diffuser des supports méthodologiques et de sensibilisation
spécifiques aux projets d’appui à l’équipement médical : ces supports devaient se
composer d’un film documentaire, de sessions de formation, d’ateliers-débats, d’un modèle
de convention de partenariat spécifique aux projets d’appui à l’équipement médical, d’une
« charte éthique » des porteurs de projet et de supports de diagnostic et d’évaluation. Le
développement et la diffusion de ces supports devaient permettre aux acteurs du don
d’acquérir une méthodologie de projet adaptée, et notamment, de formaliser leurs
partenariats avec les structures de santé locales et de faciliter le diagnostic et l’évaluation
lors de leurs missions de terrain.
- A3-1 : Organiser un colloque européen de référence sur les projets d’appui à
l’équipement médical de structures de santé situées dans les pays en développement : ce
colloque de référence devait comporter des sessions de conférences sur des sujets
transversaux, des ateliers sur les différentes catégories de matériel médical et leurs
problématiques spécifiques de transfert, un "espace rencontre", un espace audiovisuel et un
6
espace de stands dédié aux plates-formes et réseaux spécialisés. Il devait rassembler des
acteurs du don de différents pays du Nord et des acteurs des PED, notamment des nouveaux
Etats membres de l’UE. Il devait permettre de promouvoir les échanges d’expériences et les
synergies dans le domaine du transfert de matériel médical en favorisant le dialogue entre
les acteurs du don, aussi bien entre eux qu’avec des structures de santé de PED et des
institutions d’aide au développement.
- A3-2 : Développer un forum de discussion sur Internet sur le thème « Matériel médical et
pays en développement » : ce forum de discussion devait s’organiser selon différentes
thématiques et spécialités médicales pour permettre des échanges ciblés et très concrets sur
les sujets liés au matériel médical. Il est destiné à promouvoir les synergies entre acteurs du
don, aussi bien entre eux qu’avec les professionnels de santé des pays du Nord et des PED et
favorisera l’émergence de partenariats et la mutualisation de moyens.
- A3-3 : Elargir le groupe de travail Le matériel médical dans les actions de coopération
internationale : cet espace d’échanges, constitué en 2003 sur l’initiative de HUMATEM, réunit
des acteurs du don, des plates-formes et réseaux spécialisés et des professionnels de santé,
autour d’un travail de réflexion et de production d’outils consensuels et pragmatiques.
Représentant un espace d’échanges ouvert permettant une mise en relation directe et un
vrai travail participatif, son extension devait permettre de multiplier les échanges
d’expériences, de confronter davantage de réalités de terrain et de développer et/ou de
valider les nouveaux outils à fort potentiel d’appropriation proposés par l’Action.
Les partenaires de HUMATEM devaient être impliqués dans l’Action de la manière suivante :
- HOPE devait coordonner, avec HUMATEM, l’organisation du colloque européen de référence
ainsi que le développement et la diffusion du film documentaire, des sessions de formation
et des ateliers-débats,
- BSF devait coordonner, avec HUMATEM, le développement du forum de discussion, du
réseau biomédical solidaire BIOMEDON, et l'enrichissement des supports techniques
informatisés,
- Cap Solidarités devait coordonner, avec HUMATEM, le développement et la diffusion du film
documentaire, des sessions de formation et des ateliers-débats,
- Le Groupe URD devait coordonner, avec HUMATEM, le développement et la diffusion des
supports de diagnostic et d’évaluation et participera à l’amélioration de l’accompagnement
dans le cadre du renforcement de la Banque de Matériel Médical pour la Solidarité
Internationale.
La FHF devait participer en tant qu’associée à l’organisation du colloque, au développement
du film documentaire et à la promotion de la Banque de Matériel Médical pour la Solidarité
Internationale.
Tous les partenaires et associés de HUMATEM devaient réaliser ensemble le suivi de l’Action à
travers leur participation au comité de pilotage qui sera mis en place.
En outre, ils devaient tous participer à une ou plusieurs réunions du groupe de travail Le
matériel médical dans les actions de coopération internationale, dont l’élargissement sera
coordonné par HUMATEM.
7
II.
L’EVALUATION
II.
1. Contexte et objectifs
Cette évaluation, réalisée au terme de la mise en œuvre de l'Action, visera à:
- s’assurer que l’objectif général et l’objectif spécifique ont été atteints,
- fournir une appréciation générale du travail accompli, des résultats obtenus, des
dynamiques et processus impulsés,
- tirer des enseignements constructifs de cette mise en œuvre,
- proposer des suites à l'Action et formuler des recommandations.
Cette évaluation portera sur les indicateurs développés dans le cadre logique (disponible sur
demande) et sur les critères habituellement utilisés pour des évaluations de projet, tels que
la pertinence et la cohérence des stratégies, l'efficacité des actions menées, l'efficience du
dispositif institutionnel, l'impact auprès du chef de file, ses partenaires et associés, des
groupes-cibles et autres parties prenantes et la durabilité/viabilité. Elle devra également
prendre en compte les recommandations du rapport de monitoring produit au cours de
l’Action (06/02/2013 – disponible sur demande), concernant l’évaluation finale.
Humatem et ses partenaires cherchent principalement à savoir si les résultats et objectifs de
l’Action sont atteints ou en voie de l’être.
2. Prestation attendue
2.1 Relations entre l’évaluateur et le chef de file, ses partenaires et associés
Ces termes de référence ont été élaborés conjointement par le chef de file et les partenaires
de l’Action. La maîtrise d'ouvrage de cette évaluation revient cependant au chef de file
(Humatem) qui gère le financement et signe le contrat de prestation relatif à l’évaluation,
directement avec l’évaluateur.
Humatem et ses partenaires pourront être consultés tout au long de l’évaluation afin
d’apporter des compléments d’informations et des recommandations à l’évaluateur.
Ils participeront par ailleurs à la détermination des sites à visiter et veilleront à la bonne
exécution de l'évaluation.
Humatem, ses partenaires, et associés mettront à disposition toutes les données
quantitatives et qualitatives recueillies tout au long de la mise en œuvre de l’Action pouvant
être utiles à l’évaluation.
2.2 Questions d’évaluation et critères d’analyse
L’évaluation devra répondre aux questions prioritaires suivantes :
Pertinence :
- L’action répond-elle à des besoins réels ? Ont-ils été bien identifiés/suivis ?
8
Quels autres besoins auraient-ils pu/pourraient-ils être couverts ? Quelle piste pour
l’avenir ?
Efficacité :
- L’action a-t-elle atteint ses objectifs ?
- Quels écarts éventuels entre ce qui était prévu et ce qui est atteint ? Pour quelles
raisons ?
- Quelles recommandations pour garantir les résultats atteints ?
Efficience :
- Les ressources ont-elles été utilisées de façon optimale ?
- Y aurait-il eu d’autres stratégies moins chères pour atteindre les mêmes résultats ?
- Quelles recommandations pour optimiser les résultats du projet ?
Cohérence :
- L’action est-elle cohérente avec le mandat et les principes de l’organisation et des
différentes parties prenantes ?
- L’action est-elle en synergie avec les autres initiatives nationales et internationales
en la matière ?
- Quelles recommandations pour optimiser la cohérence future ?
Impacts :
- Les résultats atteints sont-ils pérennes ou ont-ils suscité d’autres effets ? si oui,
lesquels ?
- Y a-t-il eu des effets indésirables sur les parties prenantes du projet ou ses
partenaires ? si oui lesquels ?
- Quelles recommandations pour pérenniser/sécuriser les impacts positifs ? et pour
atténuer les éventuels effets négatifs ?
-
2.3 Méthodologie
L’évaluation comportera idéalement les phases suivantes :
-
Phase préparatoire
Elle permettra de circonscrire le champ de l’évaluation et de faire l’étude de la
documentation (documents de projets, budget, rapports, outils de gestion, outils de
suivi) et des données disponibles, de définir précisément la méthodologie qui sera
adoptée et d’élaborer un planning de travail.
Cette phase impliquera :
> des échanges avec le chef de file de l’Action et ses partenaires et associés
ainsi qu’une réunion de cadrage avec le chef de file ;
> la rédaction d’une note d’étape qui présentera la méthodologie envisagée, et
que le chef de file et ses partenaires valideront ;
> la détermination des sources de collecte et l’élaboration des outils de collecte
d’information qui devront être validés par le chef de file et ses partenaires.
-
Phase de collecte de données
L’équipe d’évaluation collectera les données en Europe auprès des acteurs suivants :
> porteurs de projet d’appui à l’équipement médical ayant bénéficié d’un ou
plusieurs résultats et/ou outputs de l’Action ;
9
>
donateurs de matériel médical adhérents ayant bénéficié d’un ou plusieurs
résultats et/ou outputs de l’Action ;
> plateformes et réseaux régionaux d’appui aux acteurs de solidarité
internationale, collectifs d’associations, acteurs spécialisés dans
l’accompagnement des porteurs de projet, centres de ressources, centres de
formation ayant bénéficié d’un ou plusieurs résultats et/ou outputs par
l’Action ;
> institutions d’aide au développement (UE, Ministère des affaires étrangères,
AFD, OMS, etc.).
L’équipe d’évaluation réalisera une enquête à distance approfondie auprès des
acteurs des pays en développement :
> ONG locales porteuses de projet ayant bénéficié d’un ou plusieurs résultats
et/ou outputs de l’Action ;
> structures de santé des pays en développement ayant bénéficié d’un ou
plusieurs résultats et/ou outputs de l’Action ;
> patients usagers de ces structures de santé ayant bénéficié indirectement
d’un ou plusieurs résultats et/ou outputs de l’Action ;
> autorités locales ayant bénéficié directement ou indirectement d’un ou
plusieurs résultats et/ou outputs de l’Action.
-
Phase d’analyse des résultats quantitatifs et qualitatifs obtenus à partir des données
collectées.
- Phase de restitution et transmission du rapport
L’évaluateur rédigera et présentera au chef de file et à ses partenaires un rapport
provisoire qui contiendra les résultats et les analyses de l’évaluation. Celui-ci pourra faire
l’objet d’observations et de commentaires de la part des parties prenantes, que
l’évaluateur pourra prendre en compte dans son rapport final.
2.4 Moyens humains
Cette évaluation sera conduite par un ou plusieurs experts-évaluateurs qui devront
individuellement ou collectivement combiner les connaissances et caractéristiques
suivantes:
 une expérience solide et diversifiée en matière d'évaluation de projets de solidarité
internationale et idéalement dans le domaine de la santé ;
 une expérience d’évauation de programme d’actions cofinancé par l’Union
européenne.
2.5 Moyens financiers
Les propositions financières des évaluateurs, pour cette évaluation, devront être détaillées
et se situer entre 15 000 € et 20 000 € TTC (tous les frais devront être inclus, y compris les
frais de déplacement et frais de vie).
Le devis approuvé sera à considérer comme ferme et définitif et sera annexé au contrat.
Un acompte sera versé à la signature du contrat, en décembre 2013.
10
3 Calendrier prévisionnel
Le calendrier prévisionnel de l’évaluation est le suivant :
- 24 décembre 2013 : Date limite de réception des propositions par le chef de file
- Du 24 au 31 décembre 2013 : Analyse des propositions (des entretiens skype ou
téléphoniques pourront être organisés), sélection de l’évaluateur et signature du
contrat.
- Entre le 10 et 14 mars 2014 (Semaine 11) : Remise d'un rapport provisoire
- Entre le 24 et 28 Mars 2014 (Semaine 13) : Remise du rapport final
Veuillez adresser votre proposition avant le 15 décembre 2013, à l’adresse suivante :
[email protected]
Humatem – 65, place de la mairie – 74 310 LES HOUCHES
Evaluation à réaliser dans le cadre du programme d'action Europeaid "Renforcement des outils de
coopération et structuration du dialogue entre les acteurs du don de matériel médical : pour une
amélioration des pratiques dans les projets d'appui à l'équipement des structures de santé des pays en
développement " - DCI-NSA/2009/205-811 – Programme cofinancé par :
11