v EDITOR`S REMARKS - Canadian Evaluation Society

v
EDITOR’S REMARKS
The editorial team is proud to present Volume 23 Number 2 of the
Canadian Journal of Program Evaluation, which begins with a thematic segment guest-edited by Andrea L.K. Johnson. The segment
focuses on cross-cultural issues in evaluation, specifically in relation
to indigenous peoples in North America. The section provides a collection of articles that discuss and present conceptual and practical
challenges and solutions for doing evaluation in this sector. The
collection finds its origins in a Canadian stream section of the 2005
joint meeting of the Canadian Evaluation Society and the American
Evaluation Association held in Toronto.
The issue continues with other articles that touch on cross-cultural
issues in evaluation. H. T. Wilson provides a conceptual critique
of evaluating bureaucratic competence, redefining the concept to
include cross-cultural sensitivity and ethics. This article is followed
by a piece by Ricardo Ramírez on evaluation in rural cross-cultural
settings. He draws on the use of “moments of truth”—borrowed from
the management studies literature—to capture and communicate
program benefits.
Françoise Jabot and Jean Turgeon then provide an illustration of
evaluation approaches in France. The article presents a comparative
analysis of an approach to a program evaluation scale founded on a
sequential progression, highlighting that French evaluative culture
is marked at the same time by pluralist and criteria approaches.
Their comparison is meant to expand evaluative reflection in France
as well as in Canada. In their respective articles, Marie Gervais and
Pierre-Marc Daigneault provide fodder for thinking about planning
and framing evaluation. Gervais illustrates through practical application the benefits of a conceptual framework useful for planning
evaluation. The framework has interesting connections to traditionalistic program logic and results chain frameworks. Daigneault then
provides a critique of the Treasury Board of Canada Secretariat’s
quality review process. Although he identifies several problems with
the process, he concludes that it has passable levels of credibility.
Finally, Christina A. Christie and Katherine E. Masyn expand on
prior research on evaluation linking evaluation theory to program
practice. Using latent profile analysis, they describe the self-reported
practices of 138 Californian evaluators. Four classes emerged—indistinct pattern of practice, method-focused, user-focused, and robust
vi
The Canadian Journal of Program Evaluation
pattern of practice—leading the authors to draw implications for
evaluation theory and practice.
Volume 23 Number 2 concludes with a set of five book reviews,
reflecting the final contribution of outgoing Book Review editor Isabelle Bourgeois. We owe a debt of gratitude to Isabelle for enabling
a vibrant and healthy book review section, a definite asset of CJPE.
Isabelle is replaced by Jill Anne Chouinard, Ph.D. candidate, University of Ottawa. Jill brings some fresh ideas and perspectives to
the challenge, and the editorial team wishes her a warm welcome.
Thank you also to editorial staff (now with Courtney Amo, Associate
Editor, and Vincent Lahey, Editorial Assistant) and peer reviewers
whose contributions truly enable the production of the Journal. As
always, we are open to your suggestions and ideas for articles or
thematic segments. Please feel free to connect with myself at <cjpe@
uottawa.ca> or Christian Dagenais at <[email protected]> if you would like to discuss possibilities.
Brad Cousins
Editor-in-chief
Ottawa
La Revue canadienne d’évaluation de programme
vii
MOT DU RÉDACTEUR EN CHEF
L’équipe de rédaction est heureuse de présenter le volume 23(2), qui
débute par un segment thématique sous la direction d’Andrea L.K.
Johnson, notre rédactrice invitée. Ce segment porte sur les enjeux
interculturels de l’évaluation ayant trait spécifiquement aux peuples
autochtones des États-Unis et du Canada. Le segment renferme une
collection d’articles présentant une analyse des difficultés et des solutions conceptuelles et pratiques inhérentes à l’exercice de l’évaluation
dans ce secteur. La série d’articles émane du « volet canadien » de
l’assemblée conjointe de 2005 de la Société canadienne d’évaluation
et l’American Evaluation Association, tenue à Toronto.
Le numéro présente ensuite une série d’articles sur les enjeux interculturels de l’évaluation. H.T. Wilson présente une critique conceptuelle de l’évaluation des compétences bureaucratiques qui redéfinit
le concept en incluant la sensibilisation aux différences culturelles et
l’éthique. Dans l’article qui suit, sur l’évaluation en milieu interculturel rural, Ricardo Ramirez recourt à des « moments de vérité »—empruntés à la littérature dans le domaine de la gestion—afin de saisir
et de communiquer les avantages du programme.
Françoise Jabot et Jean Turgeon fournissent une illustration des
approches d’évaluation adoptées en France. L’article présente une
comparaison entre ces approches et une méthode plus traditionnelle,
qui fait appel à une échelle d’évaluation de programme fondée sur la
progression séquentielle. L’article souligne que la culture de l’évaluation en France se caractérise par des démarches à la fois pluralistes et
fondées sur les critères. Leur comparaison vise à enrichir la réflexion
sur l’évaluation en France ainsi qu’au Canada. Dans leurs articles
respectifs, Marie Gervais et Pierre-Marc Daigenault proposent un
nouveau sujet de réflexion sur la planification et l’encadrement de
l’évaluation. Gervais illustre ses propos par l’application pratique
des avantages d’un cadre conceptuel servant à planifier l’évaluation. Ce cadre, élaboré il y a quelque temps et appliqué par la suite
à divers contextes d’évaluation de programme, comporte des liens
intéressants avec la logique traditionaliste des programmes et les
structures de la chaîne de résultats. Daigenault présente quant à lui
une critique du processus d’examen de la qualité du Secrétariat du
Conseil du Trésor du Canada. Bien qu’il relève plusieurs lacunes de
ce processus, l’auteur conclut qu’il se révèle passablement crédible
à plusieurs niveaux.
viii
The Canadian Journal of Program Evaluation
Enfin, Christina A. Christie et Katherine E. Masyn développent la
recherche antérieure en évaluation qui établit un lien entre la théorie de l’évaluation et la pratique des programmes. Grâce à l’analyse
de profil latent, elles décrivent les pratiques autorapportées par
138 évaluateurs californiens. Quatre classes émergent de ces analyses : modèle indistinct de pratique; modèle axé sur la méthode; modèle axé sur l’utilisateur; et modèle robuste de pratique, incitant les
auteures à définir leurs implications pour la théorie et à la pratique
de l’évaluation.
Le volume 23(2) se termine par cinq comptes rendus de livres, la
dernière série dirigée par Isabelle Bourgeois, rédactrice sortante des
comptes rendus de livres. Nous tenons à exprimer notre immense
gratitude à Isabelle, qui a favorisé la tenue d’une rubrique à la fois
dynamique et constructive de comptes rendus de livres, qui est devenue assurément un atout pour la RCEP. Isabelle est remplacée par
Jill Anne Chouinard, candidate au doctorat à l’Université d’Ottawa.
Jill relèvera le défi en proposant des idées et des perspectives nouvelles. L’équipe de la rédaction lui souhaite la plus chaleureuse des
bienvenues.
Nous tenons également à remercier le personnel de la rédaction
(maintenant avec Courtney Amo, Rédactrice associée, et Vincent
­Lahey, Adjoint à la rédaction) et les pairs examinateurs, dont l’apport
facilite réellement la production de la Revue. Comme toujours, vos
suggestions et vos idées d’articles ou de segments thématiques sont les
bienvenues. Si vous désirez discuter de ces possibilités, n’hésitez pas
à me joindre à <[email protected]> ou à communiquer avec Christian
Dagenais à <[email protected]>.
Brad Cousins
Rédacteur en chef
Ottawa