Conduite de projet : des objectifs à l`évaluation de l`atteinte des

Séminaire de base IIII
www.forres.ch
Conduite de projet :
des objectifs à
l’évaluation de l’atteinte des objectifs
Extrait de :
Méthodologie de projet en promotion de la santé
« quint-essenz »
www.quint-essenz.ch
Formuler les objectifs de projet
De quoi s'agit-il?
Vision
Les visions sont des déclarations d'intention plutôt vagues et généralement ambitieuses, qui
visent au-delà de la durée du projet (5-20 ans). Une vision exprime une situation désirée,
idéale, dont le projet doit contribuer à s'approcher. Garder à l'esprit la vision du projet peut
être une force de motivation importante lors de sa réalisation. Exemple:
Vision:
Promouvoir la santé des jeunes en les sensibilisant à leurs propres ressources et en
renforçant leur confiance en soi.
A partir de cette vision, on pourrait avoir l'objectif suivant:
Objectif:
Avec ce projet, nous aimerions rendre les jeunes conscients de leurs propres ressources et
renforcer leur confiance en soi.
Décrire un effet
En prévention et promotion de la santé, les objectifs de projet décrivent un état (un effet) que
l'on souhaite voir à différents niveaux au moment où le projet se termine:
•
•
•
•
•
au niveau d'individus (personnes-clé)
au niveau de groupes
au niveau d'une organisation
au niveau d'un cadre de vie
au niveau de la société ou de la politique
Un projet d'intervention en promotion de la santé devrait dans la mesure du possible prendre
en compte plusieurs de ces niveaux; en d'autres termes, il ne devrait pas seulement viser
des changements de comportements individuels ou de groupe, mais également des
changements structurels au niveau d'un organisme, d'un cadre de vie ou de la société.
Un bon objectif de projet n'exprime pas une action à entreprendre, mais un effet que l'on
aimerait avoir atteint chez les membres du groupe-cible ou du setting à la fin du projet. Il ne
dit encore rien sur les stratégies qui permettront d'atteindre l'effet souhaité, ni sur la
planification ou le déroulement du projet. Exemple:
objectif décrivant une action
objectif décrivant un effet
Rendre les jeunes conscients de leurs
propres ressources et renforcer leur
confiance en soi
Les jeunes sont conscients d'avoir leurs
propres ressources et ont une plus grande
confiance en soi
La "Catégorisation des résultats des projets" peut aider à identifier des effets visés réalistes.
Ce modèle distingue 3 types d'effets:
1. Effets directs sur la santé (par exemple diminution de la morbidité, augmentation de
la qualité de vie)
2. Effets intermédiaires sur la santé (par exemple un style de vie ou des conditions de
vie favorables à la santé)
3. Effets de promotion de la santé (par exemple compétences en matière de santé,
motivations relatives à la santé, attitudes personnelles favorables à la santé)
Au niveau d'un projet de promotion de la santé, il est souvent irréaliste de vouloir avoir des
effets directs sur la santé. De tels effets ne peuvent généralement être atteints que sur une
durée allant au-delà d'un seul projet. Une fois que les objectifs de projet sont formulés de
manière à exprimer un effet, il s'agit de les concrétiser à l'aide des critères "smart" (voir
"Objectifs smart"); ceci nécessite généralement la définition d'indicateurs de succès (voir
"Indicateurs").
Ce qui pourrait vous empêcher d'en tenir compte
•
•
•
on confond souvent les mesures opérationnelles (qui sont des actions) avec les
objectifs (état final); ainsi, on pense que le fait d'avoir appliqué ou mis en oeuvre une
mesure prévue signifie que l'objectif a été atteint
lorsque les objectifs restent vagues, on peut éviter d'avoir à décrire précisément quel
impact visible on veut atteindre
lorsque les objectifs sont formulés d'une manière vague (comme par exemple
sensibiliser un certain groupe-cible), vous ne pouvez pas vérifier s'ils ont été atteints, et
vous ne prenez ainsi pas le risque de devoir dire clairement si le projet a réussi ou pas
Les avantages que vous pouvez en retirer
•
•
lorsque les objectifs de projets sont formulés de manière à exprimer un effet, ils sont
plus motivants
lorsque les objectifs ne disent encore rien des stratégies et mesures à prendre, vous
avez plus de liberté d'action
Ce que vous pouvez concrètement faire
•
•
•
•
décrivez l'état futur que vous aimeriez atteindre
lorsque les objectifs ne disent encore rien des stratégies et mesures à prendre, vous
avez plus de liberté d'action
essayez d'estimer, en restant réaliste, quels changements sont envisageables sur la
période prévue
essayez de vous mettre à la place des membres du public-cible/du setting
Questions-test
•
•
Est-ce que les objectifs de projet visent un impact (expriment un effet)?
Est-ce que les objectifs de projet visent un effet à plusieurs niveaux?
http://www.quint-essenz.ch/fr/topics/stage1/3233.html
Des objectifs de projet 'smart'
De quoi s'agit-il?
Une fois que les objectifs de projet (ou tout autre objectif) expriment un effet (voir "Formuler
les objectifs"), on peut vérifier s'ils sont bien 'smart':
•
•
•
•
•
Spécifiques
Mesurables
Ambitieux
Réalistes
définis dans le Temps
Ces 5 critères 'smart' sont illustrés ci-dessous par un exemple.
Spécifique
L'objectif décrit précisément ce qui doit avoir changé chez qui, et en quoi cela doit avoir
changé.
non spécifique
Les jeunes sont conscients d'avoir leurs
propres ressources et ont ainsi une plus
grande confiance en soi
spécifique
Les élèves du cycle secondaire de l'école Z
ayant participé au projet sont conscients de
leurs ressources individuelles et sociales; ils
ont ainsi une plus grande confiance en soi,
qui leur permet de réagir d'une manière
adéquate lors de situations conflictuelles
Mesurable
Il sera possible de juger objectivement de l'atteinte de l'objectif. Pour cela, il faut
généralement fixer des indicateurs (voir aussi "Indicateurs"):
objectif
exemples d'indicateurs
Les élèves du cycle secondaire de l'école Z
sont conscients de leurs ressources
individuelles et sociales; ils ont ainsi une plus
grande confiance en soi, qui leur permet de
réagir d'une manière adéquate lors de
situations conflictuelles
Augmentation du score moyen lors d'une
auto-évaluation des élèves à la fin du projet
(>20%) - dans ce cas, il est nécessaire de
récolter des données au début du projet
A la fin du projet: estimation rétrospective
(par les élèves eux-mêmes et les maîtres de
classe) des changements au niveau de la
confiance en soi
Les élèves réagissent et se comportent de
manière adéquate lors de situations
conflictuelles (jeu de rôle/évaluation lors de
la discussion de groupe finale)
Ambitieux
Atteindre l'objectif implique un effort. Ceci s'exprime soit à travers l'objectif lui-même, soit à
travers ses indicateurs:
indicateur peu ambitieux
Les élèves ont participé au jeu de rôle
indicateur ambitieux
Les élèves réagissent et se comportent de
manière adéquate lors de situations
conflictuelles en jeu de rôle (évaluation lors
de la discussion de groupe finale)
Réaliste
Un objectif de projet doit être réaliste dans le sens qu'il doit être atteignable avec les moyens
disponibles. On ne peut juger de cela qu'en connaissant le contexte, la durée et les
ressources du projet.
irréaliste
intentions > ressources en temps, en
compétences et financières
contexte défavorable
temps nécessaire pour que le changement
visé se passe > durée du projet
réaliste
intentions ≤ ressources en temps, en
compétences et financières
contexte favorable
temps nécessaire pour que le changement
visé se passe ≤ durée du projet
Défini dans le temps
En principe, un objectif de projet doit être atteint à la fin du projet. Un objectif intermédiaire
doit être atteint au plus tard au moment du pointage d'étape. Dans les outils "Tableau de
planification" et "Tableau de pilotage", l'élément temporel des objectifs est défini par leur
place dans les tableaux.
non défini dans le temps
Objectif de projet X
Objectif intermédiaire Y
Objectif qualité Q
défini dans le temps
L'objectif de projet X est atteint à la fin du
projet (mars 2004)
L'objectif intermédiaire Y est atteint à la fin
de l'étape de planification 4 (pointage:
31.10.2003)
L'objectif qualité Q est atteint dans 6, 9
mois/ à la fin de l'étape de planification 3
Ce qui pourrait vous empêcher d'en tenir compte
•
•
•
Lorsque les objectifs restent vagues, on peut éviter d'avoir à décrire précisément quel
impact visible on veut atteindre .
Lorsque les objectifs sont formulés d'une manière vague, vous ne pouvez pas
facilement vérifier s'ils ont été atteints, et vous ne prenez ainsi pas le risque de devoir
dire clairement si le projet a réussi ou pas.
Vous avez l'impression que votre projet perdrait son essence en rendant vos objectifs
de projet 'smart'.
Les avantages que vous pouvez en retirer
•
•
•
Des objectifs de projet 'smart' sont des outils qui servent concrètement au pilotage du
projet.
Lorsque vous savez très exactement ce que vous voulez atteindre et ce que vous ne
voulez pas atteindre (!), vous pouvez économiser de l'énergie et en garder pour des
démarches créatives.
Lorsque les objectifs de projet sont 'smart', le succès du projet devient évident, (et on
peut le fêter!)
Ce que vous pouvez concrètement faire
•
•
Prévoyez assez de temps pour (re)formuler vos objectifs de projet.
Discutez de la formulation de vos objectifs en groupe, avec d'autres responsables de
projet ou avec un coach.
Questions-test
•
•
L'atteinte des objectifs de projet peut être évaluée?
Le niveau d'ambition (degré d'atteinte de l'objectif à partir duquel on va parler de
succès) est fixé pour chaque objectif de projet?
http://www.quint-essenz.ch/fr/topics/stage2/3278.html
Indicateurs d'atteinte des objectifs
De quoi s'agit-il?
La formulation des objectifs (voir "Formuler les objectifs" et "Objectifs smart") ne permet
souvent pas de juger de leur atteinte. Il est alors nécessaire de définir précisément un ou
plusieurs indicateurs de succès (indicateurs d'atteinte des objectifs).
Un indicateur décrit:
•
•
les critères selon lesquels on jugera de l'atteinte des objectifs
le niveau d'ambition que l'on se fixe pour pouvoir parler de succès à la fin du projet
La détermination d'indicateurs est fortement lié au choix des méthodes d'évaluation. Pour
obtenir une bonne évaluation de l'atteinte d'un objectif, il est recommandé de combiner
plusieurs méthodes (et donc plusieurs indicateurs) qui apportent plusieurs perspectives de la
même situation (par exemple intégration de personnes concernées indirectement par
l'intervention; choix de méthodes d'évaluation qui ne se basent pas uniquement sur la récolte
des opinions de différentes personnes impliquées). Un bon indicateur respecte les points
suivants:
•
•
•
•
•
Pertinence: indications significatives par rapport à l'objectif considéré
Efficience : l'effort pour récolter des données est raisonnable
Simplicité: compréhensible et logique pour chacun
Disponibilité : les chiffres sont à disposition au moment opportun
Exactitude : donne une mesure fiable
Exemple d'objectif de projet: Les élèves du cycle secondaire de l'école Z sont conscients de
leurs ressources individuelles et sociales; ils ont ainsi une plus grande confiance en soi, qui
leur permet de réagir d'une manière adéquate lors de situations conflictuelles.
Indicateurs
Augmentation du score moyen lors d'une
auto-évaluation des élèves à la fin du
projet (>20%)
Les maîtres de classe constatent un
renforcement de la confiance en soi des
élèves à la fin du projet
Les élèves réagissent et se comportent de
manière adéquate lors de situations
conflictuelles
Méthodes d'évaluation
Questionnaire standardisé (pré-test / post-test)
Interview (estimation rétrospective)
Observations systématiques en jeu de rôle,
auto-évaluation et évaluation externe lors de la
discussion de groupe finale
Il est tout à fait légitime de vouloir garder une certaine marge de manoeuvre quant au niveau
d'ambition et/ou d'évaluer après coup l'étendue précise du changement survenu. Lorsqu'un
indicateur ne contient pas de donnée quantitative, on part du principe que le succès
minimum est défini par au moins un changement démontré dans la direction souhaitée.
Ce qui pourrait vous empêcher d'en tenir compte
•
•
La réussite d'un projet ne va pas de soi; le projet échoue souvent pour des raisons
financières, ou souffre de manques de qualité suite à des restrictions de fonds. Pour
cette raison, le simple fait de réaliser le projet jusqu'au bout est souvent considérée
comme un indicateur de réussite
Vous ne voulez pas rendre vos objectifs vérifiables, pour ne pas devoir rendre
compte d'un éventuel échec de votre projet
Les avantages que vous pouvez en retirer
•
•
•
•
les indicateurs d'atteinte des objectifs de projet rendent la réussite du projet tangible
les indicateurs ont un effet motivant
vous ne risquez pas de vous satisfaire de résultats moindres par rapport à ce qui était
prévu à l'origine
vous pouvez rendre des comptes aux mandants d'une manière objective et fondée
Ce que vous pouvez concrètement faire
Définissez des indicateurs qui décrivent la réussite de votre projet et la rendent mesurable.
Travaillez à l'aide du tableau de planification et du tableau d'évaluation.
Questions-test
•
•
•
Les indicateurs sont-ils réalistes et formulés d'une manière compréhensible?
Les points à retenir ont-ils été respectés lors de la définition des indicateurs?
Les indicateurs apportent-ils plusieurs perspectives du projet?
http://www.quint-essenz.ch/fr/topics/stage2/3186.html
Planification de l'évaluation
De quoi s'agit-il?
Cette étape est l'une des plus importantes de tout le processus d'évaluation : on y définit
avec précision ce qui doit être évalué, dans quel but, avec quels moyens et sur la base de
quelles données.
Formuler les questions de l'évaluation et définir des indicateurs
Les questions à évaluer sont formulées sur la base du but de l'évaluation (voir "Préparer
l'évaluation") et des objectifs du projet. En plus d'examiner l'atteinte des objectifs du projet,
l'évaluation aborde généralement aussi une série d'autres thèmes : la participation, l'atteinte
du groupe-cible, la qualité des mesures mises en oeuvre et les effets imprévus. En fonction
du but et de l'intérêt des mandants, des questions supplémentaires peuvent être formulées.
Pour que ces questions puissent être examinées, des indicateurs doivent être définis. C'est
sur la base de ces indicateurs que les questions concrètes de récolte des données sont
définies, que les sources des données sont déterminées et que les instruments appropriés
sont choisis.
Procédure quantitative et qualitative
En principe, il existe deux méthodes différentes pour la récolte de données et leur analyse :
la méthode quantitative et la méthode qualitative. La méthode quantitative est basée sur la
saisie et l'analyse de chiffres (comptage, mesures). La méthode qualitative permet
d'analyser des données qui ne sont pas chiffrées mais qui sont disponibles sous forme de
textes. La plupart des méthodes de récolte de données peuvent être utilisées à la fois pour
une évaluation quantitative ou qualitative, en fonction de leur degré de standardisation.
Choix des méthodes et des instruments de récolte des données
Le choix des instruments de récolte des données dépend de plusieurs facteurs, notamment
des personnes qui seront interrogées, des ressources à disposition, du savoir-faire, du
contenu et du setting de l'évaluation (voir introduction "Méthode récolte de données").
Le tableau suivant peut fournir une aide pour le choix de la méthode la plus appropriée :
Développement de ses propres instruments de récolte
Avant de développer ses propres instruments de récolte de données tels que questionnaires
ou guides d'entretiens personnels (ce qui demande un effort considérable, notamment du
point de vue des ressources), il s'agit d'examiner si d'autres instruments, utilisés dans
d'autres projets, peuvent éventuellement être repris et adaptés au projet concerné. La qualité
de l'évaluation dépend largement de la qualité des données récoltées. Il est donc
recommandé, lorsqu'on ne dispose pas encore d'une expérience ou de connaissances
suffisantes, de demander conseil à des spécialistes (par exemple pour la rédaction d'un
questionnaire). Avant de les utiliser, il est également recommandé de faire examiner les
instruments de récolte par des personnes-clé qui connaissent bien le contexte de l'évaluation
qui sera entreprise (mandants, experts, etc.).
Le tableau principal d'évaluation en tant qu'instrument de planification
Les questions de l'évaluation et les objectifs du projet qui doivent être examinés sont notés
sur le tableau principal d'évaluation. On y note également les indicateurs, les méthodes
choisies et les délais qui ont été fixés.
Ce qui pourrait vous empêcher d'en tenir compte
•
•
Vous n'avez pas planifié suffisamment de ressources pour l'(auto)évaluation.
Vous n'avez pas suffisamment de compétences pour planifier des mesures
d'évaluation et pour développer des instruments de récolte de données.
Les avantages que vous pouvez en retirer
Une planification par petites étapes - formulation des objectifs du projet et des questions à
évaluer - définition des indicateurs - choix des sources de données et des méthodes de
récolte - permet ensuite de procéder à la récolte de données qui fournissent effectivement
les informations souhaitées.
Ce que vous pouvez concrètement faire
Prévoyez suffisamment de temps pour la récolte des données, de manière à avoir une
marge de manoeuvre en cas d'imprévu (demandes de compléments aux questionnaires,
difficultés à fixer des dates pour les entretiens, etc.). Prévoyez aussi du temps pour tester
vos instruments de récolte, de manière à pouvoir les optimiser si nécessaire (voir "Récolte
de données").
Questions-test
•
•
•
Les questions de l'évaluation et les objectifs du projet sont-ils clairs et mesurables ?
Les indicateurs reflètent-ils ces questions et ces objectifs de manière appropriée ?
La (les) méthode(s) choisie(s) permet(tent)-elle de répondre aux questions de
l'évaluation et de mesurer l'atteinte des objectifs du projet ?
http://www.quint-essenz.ch/fr/topics/stage2/3303.html