v EDITOR`S REMARKS - Canadian Evaluation Society

v
EDITOR’S REMARKS
Understanding and taking into account the complexities of the context
within which programs occur is becoming increasingly essential to
evaluation practice, regardless of the approach taken. Many would
argue that evaluators need to develop not only their sensitivities to
context but also their skills in integrating stakeholder value perspectives into the evaluation process. The first four articles in this issue
of the Journal address these challenges from different perspectives.
First, Valéry Ridde uses a previously developed framework for collaborative inquiry processes to analyze three independent participatory evaluation projects. He does this with the goal of critiquing the
framework, suggesting modifications to it, and proposing ongoing
direction for further inquiry in this area. Ridde’s contribution is primarily theoretical, with implications for understanding the dynamics
of the participatory process at deeper levels than is presently the
case. The next three articles, in contrast, build on case examples of
participatory or collaborative evaluation approaches to develop lessons learnt for evaluation practice.
Alma Estable and her colleagues recount their experiences in evaluating a community-based health promotion research project. The
approach taken by the authors provided them with insights into the
functioning of a partnership in a complex and changing environment. It permitted the identification of changes to the partnership
that may be linked to the evaluation process itself. Next, Michelle
Anderson-Draper looks closely at the issue of cultural competence for
evaluators through the evaluation of a project designed to address
issues of family violence. Her analysis generated several implications
for practice including relationship building, learning facilitation,
and the development of evaluator competencies. I am pleased to
acknowledge the Anderson-Draper article as a revised version of the
winning entry from the 2005 Canadian Evaluation Society Student
Paper Contest. Finally, Colla MacDonald and associates used a community-based participatory research framework in the evaluation
of an online dementia care program. Their article is rich in insights
into the dynamics and challenges of working within the community
of professional practice to generate evaluative knowledge.
Nadine Lanctôt and Julie Chouinard provide an interesting case study
focused on the implementation of a multi-site program from a youth
centre in Québec. Their analyses succeed in illuminating a host of
vi
THE CANADIAN JOURNAL OF PROGRAM EVALUATION
structural factors influencing the implementation process and offer
valuable insight for both program managers and those charged with
the responsibility of evaluating program implementation.
The final two feature articles address the complexities inherent in conducting accurate and useful outcome evaluations. First, Joan Bishop
and Evelyn Vingilis use a causal modelling approach to develop and
implement a conceptual framework for client outcomes in community
mental health services. The framework consisted of hypothesized
links among treatment and mediating variables and intermediate
and longer term outcome variables and was validated and modified
on the basis of input from stakeholders. Bishop and Vingilis describe
an approach worthy of serious consideration for evaluation in the
field of community mental health. Finally, Ian Cahill and colleagues
develop a solution to a problem of comparing outcomes of participants
to non-participants. Specifically, they focus on the problem of producing biased outcome estimates when using a conventional approach
to determining the implementation period for the non-participant
group. Using a simulation method, they develop and test a solution
that applies semi-parametric duration models.
The current issue also includes a Research and Practice Note and
four book reviews. John Mayne proposes the concept of performance
studies: limited, single-issue inquiries that focus on an ad hoc basis on
aspects of performance that typically do not lend themselves well to
ongoing measurement. Mayne provides a comparison of performance
studies to evaluation and performance measurement and suggests
that such an approach would be an effective, low-cost way of supporting results-based management under appropriate circumstances. As
an interesting follow-up, one of the books reviewed is a comprehensive
treatise on evaluation and performance measurement. The others,
including one French-language review, focus on qualitative and case
study methodology and evaluator role and identity. I hope that you
will enjoy reading them.
J. Bradley Cousins
Editor-in-chief
Ottawa, August 2006
LA REVUE CANADIENNE D’ÉVALUATION DE PROGRAMME
vii
REMARQUES DU RÉDACTEUR EN CHEF
Comprendre et tenir compte des complexités du contexte dans lequel
les programmes sont mis en oeuvre devient un élément de plus en plus
incontournable de la pratique de l’évaluation, et ce, peu importe l’approche adoptée. Beaucoup soutiendraient que les évaluateurs ont non
seulement besoin d’être sensibilisés au contexte, mais qu’ils doivent
également développer leurs aptitudes à intégrer les points de vue des
intervenants au processus d’évaluation. Les quatre premiers articles
de ce numéro de la Revue examinent ces défis sous différents angles.
Tout d’abord, Valéry Ridde utilise un cadre de travail élaboré antérieurement pour des processus d’enquête participatifs pour analyser
trois projets d’évaluation participative indépendants. Il le fait en vue
de mettre à l’épreuve le cadre de travail afin d’y suggérer des modifications et de proposer une orientation pour des recherches futures
dans ce domaine. La contribution de Ridde est principalement théorique et permet une compréhension beaucoup plus approfondie de la
dynamique du processus participatif que ce n’est le cas actuellement.
Les trois articles suivants s’appuient quant à eux sur des exemples
d’approches participatives ou collaboratives en évaluation et en dégagent des leçons pour la pratique de l’évaluation.
Alma Estable et ses collègues relatent leurs expériences dans le cadre
de l’évaluation d’un projet de recherche communautaire en promotion
de la santé. L’approche adoptée par les auteures leur a permis de
mieux comprendre le fonctionnement d’un partenariat dans un environnement complexe et changeant. Le projet a permis d’identifier les
changements dans le partenariat qui pourraient être dus au processus
d’évaluation comme tel. Ensuite, Michelle Anderson-Draper examine
de près la question de compétence culturelle pour les évaluateurs en
s’appuyant sur l’évaluation d’un projet conçu pour aborder les questions de violence familiale. Son analyse a de nombreuses retombées
sur la pratique, notamment l’établissement de relations, la promotion
de l’apprentissage, et le perfectionnement des compétences des évaluateurs. C’est avec plaisir que je souligne aussi que l’article d’AndersonDraper est une version révisée du manuscrit gagnant du Concours de
dissertation étudiante de 2005 de la Société canadienne d’évaluation.
Enfin, Colla MacDonald et ses associés utilisent un cadre de recherche
participative communautaire pour évaluer un programme de soins
aux personnes atteintes de démence offert sur Internet. Leur article
fournit de précieux renseignements sur la dynamique et les défis qu’on
doit relever quand on travaille au sein de la communauté de pratique
professionnelle pour produire des connaissances en évaluation.
viii
THE CANADIAN JOURNAL OF PROGRAM EVALUATION
Nadine Lanctôt et Julie Chouinard présentent une étude de cas intéressante fondée sur la mise en œuvre d’un programme multisites mis
sur pied par un centre jeunesse au Québec. Leurs analyses mettent
en lumière une foule de facteurs structuraux qui influencent le processus de mise en œuvre et contiennent d’importantes leçons à la fois
pour les gestionnaires de programmes et pour ceux qui sont chargés
d’évaluer la mise en œuvre de ces derniers.
Les deux derniers articles de fond abordent les complexités liées à la
réalisation d’évaluations des résultats pertinentes et utiles. D’abord,
Joan Bishop et Evelyn Vingilis utilisent une approche de modélisation
causale pour élaborer et mettre en œuvre un cadre de travail conceptuel pour analyser les effets des services communautaires de santé
mentale sur les patients. Le cadre de travail consistait en des liens
hypothétiques entre le traitement, les variables de médiation, et les
variables des effets à moyen et à long terme. Il a été validé et modifié
pour tenir compte des commentaires et suggestions des intervenants.
Bishop et Vingilis décrivent une approche qui mérite d’être prise en
considération dans le cadre d’évaluation de services communautaires
de santé mentale. Enfin, Ian Cahill et ses collègues trouvent une solution au problème de la comparaison des effets sur les participants
et les non-participants. Plus spécifiquement, ils mettent l’accent sur
le problème de production d’estimations biaisées des effets lorsqu’on
utilise une approche traditionnelle pour déterminer la période de
mise en œuvre pour le groupe de non-participants. En utilisant une
méthode de simulation, ils élaborent et mettent à l’essai une solution
qui utilise des modèles de durée semi-paramétriques.
Le présent numéro comprend aussi une note sur la recherche et les
méthodes et quatre comptes rendus de livres. John Mayne propose le
concept d’études du rendement : des enquêtes limitées à une question
unique qui mettent l’accent, de façon ponctuelle, sur certains aspects
du rendement qui, typiquement, se prêtent mal à une mesure continue. Mayne compare les études du rendement à l’évaluation et à
la mesure du rendement et suggère qu’une telle approche serait un
moyen efficace et peu coûteux d’appuyer la gestion axée sur les résultats dans des circonstances appropriées. Plus loin dans la Revue
s’ensuit un compte-rendu d’un traité exhaustif sur l’évaluation et la
mesure du rendement. Les autres, dont un compte-rendu en français,
mettent l’accent sur les méthodologies qualitatives et d’études de cas
et le rôle et l’identité de l’évaluateur. Bonne lecture!
J. Bradley Cousins
Rédacteur en chef
Ottawa, août 2006