Outil de suivi et d`évaluation : un document à l`appui du

Outil de suivi
et d’évaluation
un document à l’appui du
portefeuille de normes canadiennes
de prévention de l’abus de
substances chez les jeunes
Marvin Krank, Ph.D., Université de la Colombie-Britannique
L
e 22 novembre 2010, le Centre canadien de lutte
contre l’alcoolisme et les toxicomanies (CCLAT)
a publié le portefeuille de normes canadiennes de
prévention de l’abus de substances chez les jeunes afin d’aider
les agents de prévention à renforcer la qualité des initiatives
canadiennes de prévention de la toxicomanie destinées aux
jeunes. Une des rares séries de normes pour de tels programmes
dans le monde, le portefeuille comprend notamment des
normes de prévention de l’abus de substances en milieu scolaire
et des normes de prévention de l’abus de substances en milieu
communautaire.
Pourquoi le suivi et l’évaluation?
Tout au long de la création des normes, le CCLAT a tenu
de vastes consultations avec des travailleurs en prévention
de la toxicomanie (c.-à-d. des praticiens, des concepteurs
de programmes et des responsables des politiques œuvrant
dans la prévention chez les jeunes). Comme ces travailleurs
souhaitaient en savoir plus sur les activités d’évaluation qui
leur faciliteraient la tâche au moment d’appliquer les normes,
le CCLAT a créé un outil de suivi et d’évaluation.
L’outil s’adresse aux intervenants en prévention de la
toxicomanie. Il sera utile tant aux personnes qui font un suivi
ou une évaluation pour la première fois, qu’aux équipes en
prévention dont les membres possèdent une expérience variée
en évaluation.
Qu’apprendrez-vous?
L’outil de suivi et d’évaluation est une courte introduction
au suivi et à l’évaluation. Vous y trouverez une définition des
concepts clés et des exercices qui vous aideront à déterminer
le bon type d’évaluation à faire. L’outil s’inspire de documents
existants et fournit des liens vers des sources d’information
externes qui vous guideront dans la réalisation de vos
évaluations.
Prévenir l’abus de substances est un but à long terme. Avec le
suivi et l’évaluation, vous pourrez voir si vous avez atteint votre
but de prévention; vous pourrez aussi analyser les volets de
votre initiative qui suscitent un changement de comportement
et ceux qui pourraient être améliorés. En outre, les intervenants
en prévention se doivent de plus en plus d’améliorer leurs
façons de faire – et de démontrer leur efficacité. C’est là que le
suivi et l’évaluation entrent en jeu.
À qui s’adresse l’outil?
Comment utiliser l’outil?
L’outil est comme un manuel : vous pouvez le remplir du début
à la fin ou vous pouvez utiliser les liens pour aller directement
aux sections qui vous intéressent. L’ajout d’une ressource
dans l’outil ne sous-entend en aucun cas son approbation ou
autorisation par le CCLAT. Toute question relative à une
ressource particulière devrait être adressée à l’auteur ou à
l’éditeur concerné.
© Centre canadien de lutte contre l’alcoolisme et les toxicomanies, 2012
Outil de suivi et d’évaluation : un document à l’appui du portefeuille de normes canadiennes de prévention de l’abus de substances chez les jeunes
PREMIÈRE SECTION : Qu’est-ce que le suivi et l’évaluation?
Le suivi fournit de l’information au fur et à mesure. C’est la
collecte continue d’information sur le contexte, le contenu,
les extrants et les résultats de votre initiative. Avec cette
information, il vous sera possible de voir si votre initiative
atteint les buts fixés, de l’améliorer et d’évaluer son efficacité.
Par exemple, si vous ou vos bailleurs de fonds souhaitez savoir
combien d’élèves participent à une initiative de prévention,
vous pouvez systématiquement compter le nombre d’élèves
présents à vos séances et, en en fin de compte, vous pourrez
calculer le nombre total d’élèves. Si le suivi et l’évaluation sont
parfois très complexes, la mesure ci-dessus est simple et vous
permet de suivre efficacement un résultat potentiel de votre
initiative.
L’évaluation est l’analyse périodique du fonctionnement
d’une initiative et permet de voir où sont les lacunes dans les
programmes actuels. Grâce aux lacunes recensées pendant
l’évaluation, vous saurez quels volets de votre initiative doivent
changer ou quelles nouvelles approches doivent être adoptées.
Ces renseignements forment une base à partir de laquelle vous
pourrez améliorer les initiatives prometteuses et concevoir de
nouvelles initiatives plus efficaces.
L’évaluation se sert de données tirées des activités de
suivi recueillies pendant et après l’initiative. Il existe deux
principaux types d’évaluation : l’évaluation formative, que l’on
fait aux étapes de la planification et de la mise en œuvre d’une
initiative pour l’orienter, et l’évaluation sommative, qui est
réalisée au terme d’une initiative ou d’une étape de l’initiative
pour en évaluer les résultats.
1
Analyse
4
2
évaluation
Sommative
Formative
3
2
Coordination et
mise en oeuvre
© Centre canadien de lutte contre l’alcoolisme et les toxicomanies, 2012
Organisation et
préparation
Outil de suivi et d’évaluation : un document à l’appui du portefeuille de normes canadiennes de prévention de l’abus de substances chez les jeunes
L’évaluation formative : améliorer la prestation de votre initiative
Avec l’évaluation formative, vous pouvez améliorer ce que vous faites en perfectionnant et en ajustant la prestation de l’initiative.
Elle n’a rien à voir avec l’efficacité de l’initiative, mais sert plutôt, comme son nom l’indique, à orienter la forme que prend
l’initiative. L’évaluation formative permet aussi d’évaluer la nécessité d’offrir l’initiative et les ressources disponibles, facilite la
planification initiale de l’initiative et donne un aperçu des problèmes de mise en œuvre.
Types d’évaluation formative :
• Évaluation des besoins : Permet d’évaluer le contexte d’un programme potentiel ou existant et de déterminer l’ampleur
du problème à aborder. Ce type d’évaluation se fait habituellement avant la mise en œuvre d’une initiative, mais aussi
parfois pendant ou après son déroulement, pour en faciliter la révision.
•
Évaluation du processus : Permet d’évaluer le mode de prestation d’une initiative et si elle a rejoint son public cible.
Ce type d’évaluation se fait habituellement pendant la mise en œuvre de l’initiative et sert à modifier ou à corriger le plan
de prestation. Une évaluation du processus peut aussi être effectuée au terme de l’initiative et ainsi mettre en contexte
l’évaluation sommative.
Type d’évaluation
Questions à poser
Évaluation des besoins
Qui l’initiative devrait-elle cibler (public cible)?
Que devrait cibler l’initiative (facteurs de risque et de protection)?
Quels éléments pourraient contribuer ou nuire à la mise en œuvre?
De quelles ressources disposons-nous pour contribuer au succès de l’initiative?
Évaluation du processus
Quels sont les coûts de l’initiative?
L’initiative a-t-elle rejoint son public cible?
Quel accueil a reçu l’initiative?
Le programme a-t-il été réalisé comme prévu?
Notes
À noter : Vous pouvez taper (sauvegarder et consulter) un nombre illimité de caractères dans cette boîte, mais seuls les
650 premiers caractères (espaces compris) sont imprimables.
© Centre canadien de lutte contre l’alcoolisme et les toxicomanies, 2012
3
Outil de suivi et d’évaluation : un document à l’appui du portefeuille de normes canadiennes de prévention de l’abus de substances chez les jeunes
L’évaluation sommative : montrer l’efficacité d’une initiative
L’évaluation sommative vous permet de faire une analyse formelle des résultats obtenus au terme de l’initiative ou d’une de ses
étapes et de déterminer si l’initiative a atteint ses buts et si elle était rentable. Comme il faut des compétences en méthodologie
de recherche et en analyse statistique pour la réaliser, vous voudrez peut-être collaborer avec un expert en évaluation. Si vous
embauchez un tel expert, il s’attendra à ce que vous planifiiez l’évaluation.
Types d’évaluation sommative :
• Évaluation des résultats : Permet d’analyser si l’initiative a eu l’effet voulu. Quand on parle de prévention de la
toxicomanie, l’évaluation des résultats devrait mesurer si l’initiative a empêché ou réduit la consommation de substances
ou les méfaits découlant de cette consommation.
•
Analyse coût/efficacité et coût/bénéfice : Porte sur l’efficience d’une initiative par rapport aux coûts relatifs liés à
l’atteinte des résultats souhaités. Une évaluation économique mesure la valeur comparative de l’intervention.
Type d’évaluation
Questions à poser
Évaluation des résultat
L’initiative a-t-elle permis de prévenir l’abus de substances?
L’initiative a-t-elle atteint ses buts à court, à moyen et à long terme?
Quelles étaient les répercussions imprévues de l’initiative (qu’elles soient positives ou négatives)?
Analyse coût/efficacité
et coût/bénéfice
Combien coûte l’obtention d’un résultat positif?
L’initiative est-elle plus rentable que les autres approches disponibles?
Notes
À noter : Vous pouvez taper (sauvegarder et consulter) un nombre illimité de caractères dans cette boîte, mais seuls les
650 premiers caractères (espaces compris) sont imprimables.
4
© Centre canadien de lutte contre l’alcoolisme et les toxicomanies, 2012
Outil de suivi et d’évaluation : un document à l’appui du portefeuille de normes canadiennes de prévention de l’abus de substances chez les jeunes
DEUXIÈME SECTION : Planifier l’évaluation
Une planification minutieuse des activités de suivi et d’évaluation fait épargner temps et argent. Plus la planification initiale est
complète, plus il sera facile de répondre aux questions des bailleurs de fonds de l’initiative et des autres intervenants.
La présente section vous orientera dans le processus de planification de l’évaluation. Si votre initiative de prévention est encore
sans plan d’évaluation clair et documenté, il n’est pas trop tard. Même maintenant, en planifiant, vous pourrez recueillir de
l’information qui vous sera utile lors de l’évaluation de votre initiative.
La réalisation d’une évaluation commence par les étapes suivantes :
• définir le but de votre évaluation;
• identifier vos intervenants.
Définir le but de votre évaluation
Prenez un instant pour réfléchir aux raisons pour lesquelles vous envisagez une évaluation. Est-ce pour déterminer si une initiative
est nécessaire ou pour justifier la réalisation d’une initiative? Pour voir si l’initiative est mise en place comme prévu? Analyser les
répercussions de l’initiative? Établir si elle est rentable par rapport à des initiatives semblables?
Exercice 1
Pensez aux raisons pour lesquelles vous envisagez une évaluation et aux questions auxquelles vous voulez répondre.
Notez autant de raisons que possible.
À noter : Vous pouvez taper (sauvegarder et consulter) un nombre illimité de caractères dans cette boîte, mais seuls les
650 premiers caractères (espaces compris) sont imprimables.
© Centre canadien de lutte contre l’alcoolisme et les toxicomanies, 2012
5
Outil de suivi et d’évaluation : un document à l’appui du portefeuille de normes canadiennes de prévention de l’abus de substances chez les jeunes
Identifier vos intervenants
Par intervenants, on entend les personnes, les groupes et les organisations qui s’intéressent à votre initiative et voudront consulter
et utiliser les résultats de votre évaluation. Les intervenants sont entre autres :
• des parents;
• des enseignants et administrateurs scolaires;
• des organismes de financement;
• des partenaires communautaires;
• des jeunes et familles qui seront ciblés par votre initiative;
• vous – les personnes qui planifient et exécutent les initiatives.
Pour être en mesure de répondre aux besoins de vos intervenants, vous devez savoir quels renseignements il leur faut et à quelles
fins. Est-ce pour assurer une prestation sans accroc de l’initiative (évaluation formative)? Est-ce pour montrer la satisfaction de
la clientèle et inciter d’autres clients potentiels à se servir de l’initiative (évaluation du processus)? Est-ce pour démontrer une
diminution dans la consommation de substances des jeunes (évaluation des résultats) ou présenter des résultats financièrement
avantageux à un organisme de financement (analyse coût/efficacité)? Pour vous faciliter la tâche, vous pourriez mettre les
intervenants en ordre de priorité et voir le niveau d’implication recherché par chacun d’entre eux, p. ex. participer au processus
d’évaluation ou n’en recevoir que les résultats.
Exercice 2
Remplissez le tableau ci-dessous pour identifier vos intervenants et leurs intérêts.
Intervenant
Intérêts
Bailleurs de fonds
Administrateurs (spécialement les
décideurs)
Autres fournisseurs de programmes
Politiciens
Membres de la communauté
Employés d’un établissement ou d’un
organisme où sera donnée l’initiative
Employés qui pourraient travailler
avec l’initiative
Syndicats
Groupes d’intérêts
Clients ou bénéficiaires potentiels de
l’initiative
Autre (précisez)
6
© Centre canadien de lutte contre l’alcoolisme et les toxicomanies, 2012
Recevoir les résultats Type d’information qu’ils voudraient
de l’évaluation?
peut-être recevoir
Oui
Non
Oui
Non
Oui
Non
Oui
Non
Oui
Non
Oui
Non
Oui
Non
Oui
Non
Oui
Non
Oui
Non
Oui
Non
Outil de suivi et d’évaluation : un document à l’appui du portefeuille de normes canadiennes de prévention de l’abus de substances chez les jeunes
Exercice 3
Examinez la liste à la page précédente en pensant au but de l’évaluation.
Quels sont les intervenants de cette liste qui devraient recevoir les résultats?
Rédigez un court énoncé sur qui devrait recevoir cette information.
À noter : Vous pouvez taper (sauvegarder et consulter) un nombre illimité de caractères dans cette boîte, mais seuls les
650 premiers caractères (espaces compris) sont imprimables.
Exercice 4
Notez les questions d’intérêt auxquelles votre évaluation devrait répondre selon vos intervenants.
À noter : Vous pouvez taper (sauvegarder et consulter) un nombre illimité de caractères dans cette boîte, mais seuls les
650 premiers caractères (espaces compris) sont imprimables.
© Centre canadien de lutte contre l’alcoolisme et les toxicomanies, 2012
7
Outil de suivi et d’évaluation : un document à l’appui du portefeuille de normes canadiennes de prévention de l’abus de substances chez les jeunes
Déterminer le type d’évaluation
Exercice 5
Compte tenu des questions d’intérêt pour vous et vos intervenants, quelles sont les principales questions auxquelles
vous aimeriez obtenir des réponses avec votre évaluation?
À noter : Vous pouvez taper (sauvegarder et consulter) un nombre illimité de caractères dans cette boîte, mais seuls les
650 premiers caractères (espaces compris) sont imprimables.
À quel type d’évaluation correspondent vos questions? Référez-vous aux descriptions des types d’évaluation et aux questions
d’intérêt ci-dessus.
Il se peut que les questions d’intérêt pour vous et vos intervenants couvrent plus d’un type d’évaluation. Dans ce cas, l’étape où
vous en êtes dans le cycle de vie d’une initiative pourrait vous aider à déterminer avec quel type d’évaluation commencer.
• À l’étape de la planification, c’est une évaluation des besoins qui vous intéressera, vous et vos intervenants.
• Pendant la mise en œuvre, pour améliorer ce que vous faites, vous et vos intervenants voudrez surveiller de près ce
que vous faites et ce qui se passe (évaluation du processus).
• À des étapes importantes, pour déterminer quelles sont les répercussions de votre initiative, vous et vos intervenants
voudrez voir où vous en êtes par rapport aux buts de votre initiative (évaluation sommative).
Exercice 6
Déterminez le type d’évaluation qui vous convient le plus pour commencer et pour quelles raisons.
À noter : Vous pouvez taper (sauvegarder et consulter) un nombre illimité de caractères dans cette boîte, mais seuls les
650 premiers caractères (espaces compris) sont imprimables.
8
© Centre canadien de lutte contre l’alcoolisme et les toxicomanies, 2012
Outil de suivi et d’évaluation : un document à l’appui du portefeuille de normes canadiennes de prévention de l’abus de substances chez les jeunes
Si vous avez retenu l’évaluation des besoins
Consultez la trousse d’évaluation des besoins axée sur les normes canadiennes.
Si vous avez retenu l’évaluation du processus
Vous trouverez dans les documents suivants des renseignements et des outils pour vous lancer :
The Health Communication Unit. Evaluating health promotion programs, Toronto, Université de Toronto, Centre de promotion de la santé, 2007.
Consulté sur le www.thcu.ca/resource_db/pubs/107465116.pdf
Work Group for Community Health and Development. A framework for program evaluation: A Gateway to tools, Lawrence (KS), Université du Kansas,
2011. Consulté sur le http://ctb.ku.edu/en/tab...tents/section_1338.aspx
Si vous avez retenu l’évaluation des résultats
Vous trouverez dans les documents suivants des renseignements et des outils pour vous lancer :
Aromaa, S., S. Guckenburg, D. Rosenbloom et E. Edwards. How do we know we are making a difference? A community alcohol, tobacco, and drug
indicators handbook, Boston, Join Together, 2005. Consulté sur le http://www.promoteprevent.org/resources/how-do-we-know-we-are-makingdifference-community-alcohol-tobacco-and-drug-indicators-hand
The Health Communication Unit. Evaluating health promotion programs, Toronto, Université de Toronto, Centre de promotion de la santé, 2007.
Consulté sur le www.thcu.ca/resource_db/pubs/107465116.pdf
Work Group for Community Health and Development. Developing an evaluation plan, Lawrence (KS), Université du Kansas, 2011. Consulté sur le http://ctb.ku.edu/en/tab...b_section_main_1352.htm
Si vous avez retenu l’analyse coûts/bénéfice
Vous trouverez dans le document suivant des renseignements et des outils pour vous lancer :
The Health Communication Unit. Evaluating health promotion programs, Toronto, Université de Toronto, Centre de promotion de la santé, 2007.
Consulté sur le www.thcu.ca/resource_db/pubs/107465116.pdf
ISBN 978-1-927467-04-6
Centre canadien de lutte contre l’alcoolisme et les toxicomanies
75, rue Albert, bureau 500
Ottawa (Ontario) K1P 5E7
Tél. : 613-235-4048 | Téléc. : 613-235-8101
www.cclat.ca
© Centre canadien de lutte contre l’alcoolisme et les toxicomanies, 2012
9