Grille d`appréciation de la qualité du programme

LA GRILLE D’APPRECIATION
DE LA QUALITE DU PROGRAMME
La grille d’appréciation de la qualité reprend les critères énumérés dans le canevas de rédaction en les structurant suivant cinq dimensions. Cette grille cherche à favoriser une lecture transversale du projet pour permettre un débat et une appréciation globale. Les cinq dimensions reprennent un ensemble plus large de critères.
1. La cohérence interne est le lien formel entre les différentes composantes du programme
• Commentaires
Cohérence : rapport étroit d’idées qui s’accordent entre elles, absence de contradiction.
Cette dimension vérifie si les différentes composantes du programme sont présentes et portent bien sur les
mêmes objets (le même contenu).
Cette première dimension est proposée pour servir de transition entre le canevas de rédaction et la grille d’appréciation. Elle fournit une première indication de la valeur d’un programme.
Pour les rédacteurs de programme, la confrontation à cette première dimension doit les obliger à une vérification de la présence et de la cohérence des différentes informations demandées par le canevas.
Pour les membres de la Commission d’avis l’étude de la cohérence interne est un premier filtre dans l’analyse. L’absence de certaines informations sur le programme, le manque de relation entre ces différentes composantes rendent la suite de l’analyse difficile, voire impossible. La première tâche de l’analyste est alors, si
possible, de reconstruire le programme à partir des informations disponibles.
Le manque de cohérence est parfois lié à un manque de précision dans la rédaction du programme. Il faut
donc insister sur l’importance de cette rédaction et sur l’utilisation du canevas de rédaction. Mais il est aussi
le signe de problèmes au niveau de la conception du programme.
Par exemple, un programme peut se préoccuper de la prévention du cancer de la population, se donner
comme objectif la réduction de la consommation de tabac chez les jeunes de 12 à 16 ans, proposer la diffusion d’un jeu dans les écoles pour améliorer les connaissances sur les méfaits du tabac et évaluer le
nombre de commandes faites par les enseignants.
Avant même d’analyser la pertinence de la démarche, il est possible de remarquer que les différentes
étapes du programme ne portent pas sur les mêmes objets et ne sont peut être pas mis en relation explicitement : La problématique est la prévention du cancer ; l’objectif vise un comportement chez un public
donné, mais aussi les connaissances ; l’activité se situe au niveau de la diffusion d’un jeu ; l’évaluation
porte sur l’adhésion d’un public relais au processus de diffusion mis en œuvre.
Cohérence interne et pertinence sont étroitement liés, mais il est intéressant de les distinguer dans un premier temps pour faciliter l’analyse.
• Cohérence interne : analyse
K
K
K
K
Les objectifs sont présents (formulés) et cohérents (mis en relation) avec l’analyse de la problématique
et du public.
Le plan d’action est présent (décrit) et cohérent avec l’analyse de la stratégie, des méthodes et des ressources. Il est aussi cohérent avec les objectifs et le(s) public(s) visé(s).
L’évaluation est présente et cohérente avec les objectifs fixés et les moyens proposés (stratégies et ressources).
Le budget est présent et cohérent avec les besoins définis dans le plan d’action.
• Cohérence interne : conclusions
Le projet est cohérent. Un programme est cohérent si toutes ses composantes (analyse, objectifs, plan d’action, évaluation, budget) sont présentes et mises en relation.
Le projet est peu cohérent. Un programme est peu cohérent si toutes ses composantes (analyse, objectifs,
plan d’action, évaluation, budget) sont présentes, mais que certaines ne sont pas ou peu mises en relation.
Le projet n’est pas cohérent. Un programme n’est pas cohérent si une partie de ses composantes (analyse,
objectifs, plan d’action, évaluation, budget) n’est pas présente.
Le critère “ très cohérent ” n’est pas utilisé pour indiquer que la cohérence est une dimension nécessaire,
mais insuffisante en elle-même pour juger de la qualité d’un programme.
2. La pertinence est le bien-fondé du choix des objectifs, du plan d’action et de l’évaluation
• Commentaires
Pertinence : qualité de ce qui est conforme à la raison, au bon sens.
C’est la dimension la plus importante et la plus complexe.
Elle porte sur l’adéquation entre le problème à résoudre (problématique), le programme proposé et le contexte. En quoi ce projet va-t-il améliorer la santé du public ? La problématique abordée mérite-t-elle d’être traitée ? Les objectifs formulés permettront-ils de progresser dans la résolution du problème traité ? Les moyens
d’action prévus (méthodes, outils, ressources, planification, budget) permettront-ils d’atteindre les objectifs ?
L’évaluation proposée permettra-t-elle de connaître le déroulement et les résultats du programme, d’en apprécier la qualité et de décider des suites à donner ?
L’analyse tient compte des arguments du promoteur, mais aussi des connaissances et de l’expérience des
membres de la Commission d’avis. Elle s’appuie à la fois sur les données de la recherche et de l’expérience.
On y retrouve un ensemble de critères qu’il est parfois difficile d’isoler. A ce stade, la Commission estime si
le choix de la problématique est fondé, si le programme et son évaluation pourront être efficaces et efficients,
et s’ils respectent l’éthique.
Un programme peut, par exemple, parfaitement justifier l’importance de la prévention du cancer et le rôle
du comportement tabagique des jeunes dans cette optique et convaincre la Commission. Il peut aussi
justifier sa stratégie centrée sur l’amélioration des connaissances sur les méfaits du tabac pour diminuer
la consommation, mais apparaître peu pertinent. Cette stratégie a, en effet, déjà montré ses limites. De
plus, le choix du jeu comme support de connaissances et le choix de l’école comme lieu de diffusion peuvent aussi sembler peu pertinents sans justification précise.
• Pertinence : analyse
K
K
K
K
La problématique analysée est pertinente. L’argumentation permet de convaincre de l’intérêt d’y apporter une solution en termes de promotion de la santé.
Les objectifs sont pertinents. Ils permettront de résoudre le problème traité vis-à-vis du public retenu.
Ils sont réalistes. Ils sont en accord avec la définition de la promotion de la santé (renforcement individuel et collectif du pouvoir de dire et d’agir sur les déterminants de la santé). Ils s’appuient sur une
demande ou une attente du public. Ils respectent la déclaration universelle des droits de l’homme.
Le plan d’action (stratégies, méthodes, ressources, planification, budget) est pertinent. Il permettra d’atteindre les objectifs (efficacité). Il est adapté et proportionné aux ressources disponibles (efficient). Il
est en accord avec les stratégies de la promotion de la santé (politique publique saine, milieux favorables,
action communautaire, aptitudes individuelles et sociales, réorientation des services). Il combine plusieurs stratégies. Il suscite particulièrement la participation du public et le partenariat. Il respecte la
déclaration universelle des droits de l’homme.
L’évaluation est pertinente. Elle permettra de réguler le programme, d’observer et de juger ses effets et
son processus. Les objectifs et les moyens de l’évaluation sont adaptés et proportionnés au programme.
Elle respecte la déclaration universelle des droits de l’homme.
• Pertinence : conclusions
Le programme est très pertinent. Un programme est très pertinent si :
1) La problématique analysée et les objectifs formulés sont convaincants.
2) Le plan d’action dans toutes ses composantes (activités, ressources, planification et budget) et l’évaluation
sont jugés efficaces et efficients.
3) Le programme poursuit le but et combine les stratégies de la promotion de la santé (particulièrement la
participation et le partenariat). Il respecte la déclaration universelle des droits de l’homme.
Le programme est pertinent. Un programme est pertinent si :
1) La problématique analysée et les objectifs formulés sont convaincants.
2) Le plan d’action et l’évaluation sont jugés globalement satisfaisants sur le plan de l’efficacité, de l’efficience
malgré des faiblesses sur certains aspects du plan d’action (activités, ressources, planification et budget) ou
de l’évaluation.
3) Le programme est en accord avec les principes de la promotion de la santé. Il respecte la déclaration universelle des droits de l’homme.
Le programme est peu pertinent. Un programme est peu pertinent si :
La problématique analysée et les objectifs formulés ne sont pas convaincants OU le plan d’action et l’évaluation semblent manquer globalement d’efficacité, d’efficience. Le programme est peu en accord avec les principes
de la promotion de la santé. Le programme respecte la déclaration universelle des droits de l’homme.
Le programme n’est pas pertinent. Un programme est non pertinent si :
La problématique analysée et les objectifs formulés ne sont pas convaincants ET le plan d’action ou l’évaluation
sont jugés inefficaces. Le programme n’est pas en accord avec les principes de la promotion de la santé. Certains
aspects du programme ne respectent pas la déclaration des droits de l’homme.
Compte tenu de son importance, la dimension “ pertinence ” compte 4 niveaux d’appréciation.
3. La plus-value est appréciée en fonction des avantages escomptés pour le développement et la
continuité des activités et services de promotion de la santé dans la Communauté française
• Commentaires
Plus-value : augmentation de la valeur, valeur supplémentaire.
Le Conseil Supérieur de Promotion de la Santé souligne dans le programme quinquennal l’importance du
développement et de la continuité des actions de qualité pour assurer la permanence des effets. Le terme
“ plus-value ” a donc ici un sens précis que l’on peut associer à des termes comme retombées, prolongements, apports. Il concerne les avantages retirés à la fois par le promoteur lui-même, mais aussi par l’ensemble de la politique de promotion de la santé au terme du programme. Il ne s’agit donc pas ici de la valeur
directe du programme pour le public (ce point fait partie de l’analyse de la pertinence). Au-delà des bénéfices
immédiats vis-à-vis du problème, y aura-t-il des effets à plus long terme sur les activités et services de promotion de la santé ?
La dimension “ plus-value ” regroupe des critères portant sur le développement et la continuité :
–
Le programme avec le moins de plus-value sera un programme en concurrence avec un programme qui
existe déjà.
–
Au niveau suivant de plus-value, il se montre au moins complémentaire et assure une diffusion sur son
déroulement et ses résultats.
–
Il aura encore plus de plus-value s’il s’avère novateur et qu’il met en place les moyens d’une utilisation
ultérieure par d’autres. Le programme apporte une nouvelle méthode, de nouvelles connaissances, un
nouveau service à la population, un personnel mieux formé. De plus, il est généralisable.
La continuité des actions est une caractéristique différente qui s’ajoute aux précédentes. Elle envisage la permanence de l’action après le financement de la Communauté française.
• Plus-value : analyse
K
K
Le programme envisage la continuité des effets. Il propose des conditions la favorisant : financement
alternatif, intégration dans une structure existante, etc…
Le programme favorise le développement de la promotion de la santé dans la Communauté française.
K Le programme est complémentaire avec d’autres programmes ou services. Le programme a un
projet de diffusion pour faire connaître son mode d’action et ses résultats (information). Ce projet de
diffusion est détaillé, par exemple, par un plan de communication.
K Le programme ou l’une de ses composantes est innovant. Le programme prévoit une stratégie pour
favoriser son utilisation par d’autres (généralisation). Son projet de généralisation est détaillé par des
propositions concrètes : outils éducatifs, création de réseaux, formations, etc.
• Plus-value : conclusions
Le projet a beaucoup de plus-value. Un programme a beaucoup de plus-value s’il assure la continuité de
ses effets et/ou qu’il favorise le développement de la promotion de la santé (innovation et/ou généralisation).
Le projet a une plus-value. Un programme a une plus-value s’il assure la continuité de ses effets et/ou qu’il
favorise le développement de la promotion de la santé (complémentarité et diffusion).
Le projet a peu de plus-value. Un programme a peu de plus-value s’il contribue peu au développement de
la promotion de la santé ou si les propositions sont vagues ou peu convaincantes.
La dimension “ plus-value ” est une dimension qui intervient après la dimension pertinence. Elle n’a de sens
que si la pertinence est jugée suffisante (programme pertinent). Elle compte 3 niveaux et ne propose pas de
niveau d’exclusion.
4. La crédibilité est l’appréciation de la capacité de l’équipe à mener à bien son projet
• Commentaires
Crédibilité : ce qui fait qu’une chose mérite d’être crue, caractère de ce qui est croyable.
La crédibilité est une dimension souvent utilisée, mais de manière implicite. Pour favoriser une sélection plus
équitable, il a été décidé de rendre cette dimension plus explicite. C’est une dimension large qui comporte des
critères en termes de capacité technique, d’expérience et de formation en relation avec le programme proposé. L’analyse doit porter sur les éléments disponibles dans le dossier. C’est la présence de ces critères plus
que leur qualité qui est jugée.
• Crédibilité : analyse
K
K
K
K
L’équipe a une capacité technique suffisante (compétences, logistiques) pour réaliser le programme proposé.
L’équipe témoigne d’un ancrage dans le milieu d’intervention et d’une connaissance suffisante de la problématique et du public.
L’équipe fait état d’une expérience et d’une formation jugée utile au programme proposé.
L’équipe a l’expérience d’un programme de promotion de la santé.
• Crédibilité : conclusions
L’équipe est très crédible. Une équipe est très crédible si elle a une capacité technique suffisante, un ancrage
et une connaissance du milieu d’intervention ainsi qu’une expérience d’un programme d’éducation pour la
santé.
L’équipe est crédible. Une équipe est crédible si elle a une capacité technique suffisante ou un ancrage et une
connaissance du milieu d’intervention ou une formation jugée utile au programme ou une expérience d’un programme de promotion de la santé.
L’équipe est peu crédible. Une équipe est peu crédible si elle ne rencontre aucun des critères de crédibilité.
Seule, la crédibilité ne peut être un critère d’exclusion. C’est pourquoi, il n’y a pas de niveau “ pas crédible ”.
5. Le degré de priorité est défini à partir de la comparaison entre différents programmes
• Commentaires
Le respect des priorités du programme quinquennal et du plan communautaire définit une priorité politique
qui n’est pas envisagée ici. Il sert de critère de recevabilité en amont de l’analyse de la Commission d’avis.
Le degré de priorité est une nouvelle dimension. En plus de ses qualités intrinsèques de cohérence, pertinence, plus-value et crédibilité, la demande peut se montrer prioritaire dans le cadre d’une approche comparative.
Pour devenir prioritaire, le projet doit répondre à des critères de couverture des besoins, du public ou des stratégies. Un projet deviendrait plus prioritaire qu’un autre s’il est le seul à couvrir tel besoin ou tel public ou
telle stratégie. Une telle analyse exige une comparaison entre les demandes de subvention en relation avec
le programme quinquennal et le plan communautaire.
Par exemple, le plan annuel souhaite mettre l’accent sur la formation des personnels de santé en relation
avec les populations les moins favorisées. Le seul programme qui propose cette stratégie est privilégié
à condition qu’il réponde aux exigences minimales des 4 autres critères.
• Priorité : analyse
K
K
Le projet est seul à couvrir une des priorités (besoins, publics, stratégies) du programme quinquennal et
du plan communautaire.
Le projet vise explicitement à réduire les inégalités sociales face à la santé.
• Priorité : conclusions
Le projet est prioritaire. Un programme est prioritaire si :
– Il est seul à couvrir un besoin, un public ou une stratégie prioritaire du programme quinquennal ou du plan
communautaire.
– Il vise explicitement à réduire les inégalités sociales face à la santé.
Le projet n’est pas prioritaire. Il n’est pas seul à couvrir une des priorités ou il ne vise pas à réduire les inégalités sociales face à la santé.
La dimension “ priorité ” est une dimension supplémentaire qui n’a de sens que si les autres dimensions sont
jugées suffisantes (jugement global positif). Cette dimension ne compte que deux niveaux d’appréciation.