v GUEST EDITOR`S REMARKS - Canadian Evaluation Society

v
GUEST EDITOR’S REMARKS
This issue of the Journal celebrates its 20th year of publication and,
perhaps fittingly enough, takes an historical perspective, presenting
review articles dealing with developments in evaluation, particularly
in Canada, across various fields of practice, including health, child
welfare, social services, health networks, and federal government
evaluation efforts, as well as reviews of the use of such practice tools
as client satisfaction measures and two reviews of articles published
in this Journal over its life.
The first two articles, by Lisa Birch and Steve Jacob and Emily Addison and Courtney Amo, present analyses of materials published in
this Journal over its 20-year history, providing something of a perspective on how the Canadian evaluation field has evolved and offering
benchmarks for future comparative assessments. While covering
slightly different time periods and types of published materials, the
two articles complement each other, providing interesting insights
into the focus and content of published materials and the manner in
which these have changed over time.
Birch and Jacob cover articles, research notes, and book reviews published in the Journal from Spring 1986 through Fall 2004 — a total
of 382 pieces. The scope of the article by Addison and Amo is slightly
different, covering only articles and research and practice notes (not
book reviews) published in issues from Spring 1986 through Fall
2005 — a total of 370 pieces. While the two articles use different categories to present their results, the overall conclusions are generally
similar. Among their findings are that the vast majority of authors
publishing in the Journal were Canadian, with a majority from the
province of Ontario and representing a variety of disciplines in university settings. While there has been some increase in the number
of French-language articles, the vast majority of published pieces
have been written in English, and while there have been changes
over time, the published articles represent a rough balance in the
proportion dealing with general discussions of evaluation topics,
including methodological concerns, and those dealing with evaluation cases. Almost two-thirds of the articles and research notes dealt
with content related to mental health, social services, government,
health, and education.
The third article, by Catherine Worthington, provides a thoughtful
review of one of the most commonly used evaluation tools in differ-
vi
THE CANADIAN JOURNAL OF PROGRAM EVALUATION
ent evaluation practice fields: client satisfaction instruments. While
Worthington’s article deals mainly with the use of client or patient
satisfaction instruments in the field of health care, her review analysis is relevant to any field of practice in which client satisfaction is
an evaluation concern. She carefully describes and assesses major
approaches to satisfaction theory and research, concluding with a
discussion of emerging approaches and implications for evaluation
practice.
The next four articles present reviews of evaluation in specific practice
fields — social services, child welfare, health, and education. The first
of these, by Robert Flynn and Danielle Bouchard, presents a review
of Canadian child welfare outcome evaluations published in the last
10 years. Only studies using an experimental or quasi-experimental
design were included in the review and, quite surprisingly for such a
large field of service, only four randomized and six non-randomized
impact evaluations were found. These form the basis for this review.
This means that, as Flynn and Bouchard note, Canadian child welfare outcome studies are published at a rate of approximately one a
year, what would most likely be viewed as a terribly disappointing
number, given the number of children and families implicated in
provincial and territorial child welfare systems and the huge expenditure of funds used to deliver services to them. The evidence is clear:
Provincial and territorial governments simply do not value program
evaluation, regardless of the amount of verbal support given to such
practices. Programs having little or no empirical support continue
to be operated and new services implemented with no substantive
consideration given to documenting their efficacy, even though, as this
review by Flynn and Bouchard demonstrates, the more rigorous the
evaluation, the more likely that program effects will not significantly
differ from zero. Given that child welfare administrators have failed
at documenting the worth of their services, they may well want to
consider adopting the medical credo of doing no harm and taking
responsibility for showing the benign effects of their interventions
with children and families.
Jackie Sieppert’s article can be seen as expanding some of Flynn
and Bouchard’s findings to the broader context of social services. He
reviews some themes dominating evaluation trends in social services over the last decade — developing performance measurement
systems, taking on a community-level perspective on outcomes and
evaluation processes, developing an organizational capacity in social
service agencies to undertake evaluation studies, and involving and
LA REVUE CANADIENNE D’ÉVALUATION DE PROGRAMME
vii
empowering community stakeholders to identify the range of relevant
measures and types of data that best relate to desired outcomes. Sieppert calls for funding bodies to invest in building the capacity of social
service organizations to undertake program evaluations, and notes
that this means social service administrators must begin mounting
reasonable evaluation efforts so as to provide accountability for the
worth of the services provided. Underlying this effort probably means
that social work training programs must begin taking on more of an
applied social science orientation, emphasizing training in program
evaluation methods, and putting much less emphasis on what is often
seen as a proclivity to reinforce student biases toward left-wing ideological position-taking. It probably seems reasonable to expect that
emphasis on substantive skills training in research and evaluation
methods must overtake an emphasis on ideological positioning, of
whatever stripe, if social workers are to play leading roles in bringing
about the kind of changes Sieppert sees as necessary.
The next article, by Janice Popp and her colleagues, deals with reviewing the evaluation of Canadian child and youth health networks.
Key findings from the literature on networks and their evaluation are
described, the experience of work on a network evaluation reviewed,
and key lessons identified for evaluating network effectiveness. To a
considerable extent, evaluation work on networks poses similar challenges to evaluating issues of a horizontal nature that cut across two
or more departments or agencies. These are more common than one
might initially expect, involving many programs in this country in
which both provincial and federal governments play a role — whether
funding, implementing, evaluating, or auditing — as well as programs
in which two or more federal or provincial agencies are involved. An
example of a program in which two federal agencies play roles is the
federal parole program in which the federal corrections agency as well
as the federal parole agency play important operational roles.
Lorna Earl, A. Sidiq Ali, and Linda E. Lee’s article reviews the evaluation of school improvement in Canada. Complexities and challenges
of defining and evaluating school improvement are described and illustrated using the case example of the Manitoba School Improvement
Program. These authors then turn to reviewing research on school
effectiveness and establishing a theoretical model to be used for the
purpose of designing both ideal and practically realistic evaluation
designs.
The final article shifts to a review of federal government efforts at
viii
THE CANADIAN JOURNAL OF PROGRAM EVALUATION
evaluation. Robert Segsworth presents a history of program evaluation in the federal government, tracing the evolution of federal evaluation policy, along with changes in the central locus of evaluation
and the amount and type of resources deployed. A key finding from
Segsworth’s analysis is that a central policy and central organizational arrangements have been the principal influence on the federal
evaluation effort. In the 1980s there was a clear evaluation policy
and a strong central organization staffed with evaluation specialists. These conditions facilitated the rapid development of evaluation
units in departments and agencies and the production of evaluation
products across government. In the early 1990s the evaluation policy
was weakened, and then in 1994 further diluted by immersion in a
broader review policy. The central evaluation organization was dismantled and, largely as a result, departments and agencies reduced
their investment in program evaluation. Then in 2001, when the
conditions of the early 1980s were recreated — a strong policy, well
staffed central coordinating function — departments and agencies
once again appeared to follow the lead, creating or strengthening
local evaluation units and increasing evaluation outputs. In short,
Segsworth traces the ups and downs of federal evaluation efforts, and
the pity is that federal bureaucrats seem to have trouble setting and
maintaining a consistent focus on program evaluation. It would be
interesting to know who were the officials responsible for proposing
that the federal evaluation policy be weakened. But to give federal
bureaucrats at least a backhanded compliment, in contrast to their
provincial counterparts who have been consistent in doing little,
they have, as Segsworth documents so well, at least made sporadic
efforts to evaluate the huge number of programs and services paid
for by the citizenry.
An interview with the Guest Editor finishes off this issue. That
interview was carried out by the Editor, J. Bradley Cousins, and
gratitude is expressed to him for his work. Brad had the idea for
this anniversary issue, and he either did much of the work himself
or encouraged, cajoled, and persistently pushed the rest of us to get
our parts done.
Joe Hudson, Professor Emeritus
Faculty of Social Work, University of Calgary, Calgary, Alberta
<[email protected]>
December 2005
LA REVUE CANADIENNE D’ÉVALUATION DE PROGRAMME
ix
UN MOT DU RÉDACTEUR INVITÉ
Cette publication de la Revue souligne sa 20ième année de publication et, comme il le fallait, l’édition se concentre sur un point de vue
historique, présentant des exposés de synthèse qui traitent des cheminements en évaluation, surtout au Canada, à travers différents domaines de la pratique, notamment la santé, la protection de l’enfance,
les services sociaux, les réseaux de santé, les efforts d’évaluation du
gouvernement fédéral, ainsi que les examens de l’utilisation d’outils
de la pratique comme les mesures de satisfaction de la clientèle, et
deux critiques d’articles parus dans la Revue au cours de sa vie.
Les deux premiers articles, de Lisa Birch et Steve Jacob et d’Emily
Addison et Courtney Amo, présentent des analyses d’articles publiés
dans la Revue au cours de ses 20 années de publication, en fournissant
un certain point de vue sur l’évolution du domaine de l’évaluation au
Canada et en présentant des points de repère pour des évaluations
comparatives à venir. Même s’ils couvrent des périodes légèrement
différentes et des genres différents d’articles, les deux articles se
complètent en fournissant des aperçus intéressants de l’accent et du
contenu du matériel publié ainsi que de l’évolution des articles au
fil des ans.
Le premier article, de Birch et Jacob, traite des articles, des notes de
recherche, et des comptes rendus de livres publiés dans la Revue du
printemps 1986 à l’automne 2004, analysant un total de 382 textes.
La portée du deuxième article, celui d’Addison et Amo, est quelque peu
différente, traitant seulement des articles et des notes de recherche
et de pratique, mais pas de comptes rendus de livres, publiés dans
des éditions du printemps 1986 à l’automne 2005, analysant un total de 370 textes. Bien que les deux articles utilisent des catégories
différentes pour présenter leurs résultats, les conclusions globales
sont en général semblables. Parmi les constatations, on note le fait
que la grande majorité des auteurs publiant dans la Revue étaient
Canadiens, provenant majoritairement de l’Ontario, et qu’ils représentaient une variété de disciplines du monde universitaire. Même
s’il y a eu une certaine augmentation du nombre d’articles en français, la grande majorité des articles publiés ont été écrits en anglais
et, bien qu’il y ait eu des changements au fil du temps, les articles
publiés représentent un certain équilibre entre articles traitant des
discussions générales des thèmes d’évaluation, y compris des préoccupations méthodologiques, et articles traitant de diverses situations
d’évaluation. Presque les deux tiers du contenu des articles et notes
x
THE CANADIAN JOURNAL OF PROGRAM EVALUATION
de recherche avaient trait à la santé mentale, aux services sociaux,
au gouvernement, à la santé, et à l’éducation.
Le troisième article, de Catherine Worthington, présente une critique
réfléchie d’un des outils d’évaluation les plus utilisés dans différents
domaines de la pratique de l’évaluation, soit, les instruments de
mesure de la satisfaction de la clientèle. Même si l’article de Worthington traite surtout de l’utilisation des instruments de mesure de
la satisfaction des clients ou des patients dans le domaine des soins
de santé, son analyse est pertinente pour n’importe quel domaine
de pratique pour lequel la satisfaction de la clientèle est une préoccupation pour l’évaluation. Elle décrit soigneusement et analyse les
principales approches de la théorie et de la recherche touchant la
satisfaction et conclut par une discussion sur les approches nouvelles
et les répercussions sur la pratique de l’évaluation.
Les quatre articles suivants présentent des analyses de l’évaluation
dans des domaines précis de pratique—les services sociaux, la protection de l’enfance, la santé, et l’éducation. Le premier des quatre
articles, celui de Robert Flynn et Danielle Bouchard, examine les
évaluations publiées au cours de la dernière décennie sur les résultats
de la protection de l’enfance au Canada. Seules les études utilisant
une conception expérimentale ou quasi expérimentale ont fait partie
de l’étude et, chose assez surprenante pour un si grand domaine de
service, seules quatre évaluations randomisées et six non randomisées
ont été trouvées sur les impacts. Ces évaluations forment la base de
l’étude. Ceci veut dire que, comme le notent Flynn et Bouchard, les
études sur les résultats de la protection de l’enfance au Canada sont
publiées à un rythme d’environ une étude par année, ce qui peut être
probablement perçu comme un nombre terriblement décevant, étant
donné le nombre d’enfants et de familles participant aux systèmes
provinciaux et territoriaux de protection de l’enfance et les dépenses
considérables de fonds pour leur offrir ces services. La preuve est
claire : les gouvernements provinciaux et territoriaux n’accordent
aucune valeur à l’évaluation de programme, peu importe le soutien
verbal exprimé pour de telles pratiques. Les programmes qui ont
peu de soutien empirique, ou aucun, continuent de fonctionner, et
de nouveaux services sont instaurés sans analyse significative pour
documenter leur efficacité, même si, comme le démontre cette étude
de Flynn et Bouchard, plus l’évaluation est rigoureuse, plus il est
probable que les effets du programme ne différeront pas beaucoup
de zéro. Étant donné que les administrateurs de la protection de
l’enfance ne se sont pas préoccupés de documenter la valeur de leurs
LA REVUE CANADIENNE D’ÉVALUATION DE PROGRAMME
xi
services, ils pourraient peut-être désirer envisager l’adoption du credo
médical visant à ne faire aucun mal et à prendre la responsabilité de
démontrer les effets bénins de leurs interventions auprès des enfants
et des familles.
L’article de Jackie Sieppert sert à élargir certaines constatations
de Flynn et Bouchard en les appliquant au contexte plus large des
services sociaux. Cet article examine certains thèmes qui ont dominé
les tendances de l’évaluation dans les services sociaux au cours de
la dernière décennie—le développement de systèmes de mesure du
rendement, l’adoption d’un point de vue communautaire pour les
résultats et les processus d’évaluation, le renforcement de capacité
organisationnelle chez les agences de service social pour entreprendre
des études d’évaluation, et l’implication et la responsabilisation des
intervenants communautaires pour identifier la gamme des mesures
pertinentes et le genre de données qui sont mieux liés aux résultats
désirés. Sieppert demande aux organismes de financement d’investir
dans le renforcement de la capacité des organismes de service social
à effectuer des évaluations de programme et note que ceci veut dire
que les administrateurs de services sociaux doivent commencer à
déployer des efforts raisonnables d’évaluation afin d’assumer la responsabilité de la valeur des services fournis. Pour appuyer cet effort,
les programmes de formation en travail social doivent commencer à
adopter plus l’orientation des sciences sociales appliquées, soulignant
la formation dans les méthodes d’évaluation de programme et plaçant
moins d’accent sur ce qui est souvent perçu comme une tendance à
renforcer les préjugés des étudiants sur la position idéologique de
gauche. Il semble raisonnable probablement de s’attendre à ce que
l’accent sur la formation de compétences de fond sur les méthodes de
recherche et d’évaluation prenne le dessus sur l’accent sur la position
idéologique, de quelque couleur qu’elle soit, si les travailleurs sociaux
doivent jouer des rôles de premier plan pour entraîner le genre de
changements qui est nécessaire, selon Sieppert.
L’article suivant, de Janice Popp et de ses collègues, traite de l’examen
de l’évaluation des réseaux de santé pour les enfants et les jeunes
au Canada. Les principales constatations tirées de la littérature
sur les réseaux et leur évaluation sont décrites, l’expérience de travail d’évaluation d’un réseau est examinée, et les principales leçons
sont identifiées pour l’évaluation de l’efficacité du réseau. Dans une
grande mesure, le travail d’évaluation des réseaux pose des défis
semblables aux questions d’évaluation de nature horizontale qui
peuvent croiser deux ministères ou agences ou plus. Ces dernières
xii
THE CANADIAN JOURNAL OF PROGRAM EVALUATION
sont plus courantes que ce à quoi on pourrait s’attendre, impliquant
plusieurs programmes nationaux dans lesquels tant les gouvernements provinciaux que fédéral jouent un rôle—que ce soit pour le
financement, la mise en œuvre, l’évaluation, la vérification—ainsi
que les programmes impliquant deux ou plus agences fédérales ou
provinciales. Un exemple de programme pour lequel deux agences
fédérales jouent un rôle est le programme fédéral des libérations
conditionnelles dans le Service correctionnelle du Canada ainsi que
la Commission national des libérations conditionnelles jouent des
rôles opérationnels importants.
L’article de Lorna Earl, A. Sidiq Ali, et Linda E. Lee examine l’évaluation de l’amélioration des écoles au Canada. Les complexités et
les défis liés à l’évaluation de l’amélioration des écoles sont décrits
et illustrés en utilisant un exemple du Manitoba School Improvement Program. Ces auteurs se penchent ensuite sur l’examen de la
recherche sur l’efficacité des écoles et sur l’établissement d’un modèle
théorique qui sert à établir des conceptions pour une évaluation idéale
et réaliste dans la pratique.
Le dernier article aborde les efforts d’évaluation du gouvernement
fédéral. Robert Segsworth présente un historique de l’évaluation de
programme au gouvernement fédéral, traçant l’évolution de la politique fédérale en matière d’évaluation ainsi que les changements dans
le lieu central de l’évaluation et la quantité et le genre de ressources
déployées. Une constatation clé découlant de l’analyse de Segsworth
est qu’une politique centrale et des aménagements organisationnels
centraux ont été l’influence principale des efforts d’évaluation du
fédéral. Au cours des années 1980, il existait une politique claire
sur l’évaluation et une organisation centrale énergique dotée de spécialistes de l’évaluation. Ces conditions ont facilité le développement
rapide d’unités d’évaluation au sein des ministères et agences ainsi
que la production de produits d’évaluation au sein du gouvernement.
Au début des années 1990, la politique d’évaluation a été affaiblie
et ensuite, en 1994, diluée davantage par son intégration à une politique plus large sur l’examen. L’organisation centrale d’évaluation a
été démantelée et, surtout à cause de cette situation, les ministères
et agences ont réduit leur investissement dans le domaine de l’évaluation de programme. Ensuite, en 2001, lorsque les conditions du
début des années 1980 ont été créées à nouveau—une politique forte,
une fonction centrale de coordination bien dotée—les ministères et
les agences ont à nouveau emboîté le pas, en créant ou en consolidant
les unités locales d’évaluation et en augmentant les résultats d’éva-
LA REVUE CANADIENNE D’ÉVALUATION DE PROGRAMME
xiii
luation. En résumé, Segsworth fait le tracé des hauts et des bas des
efforts d’évaluation du fédéral, et, ce qui est triste, les bureaucrates
fédéraux semblent avoir des problèmes à établir et à conserver une
concentration constante sur l’évaluation de programme. Il serait
intéressant de savoir qui étaient les représentants responsables de
proposer que la politique du fédéral en matière d’évaluation soit
affaiblie. Mais il faut quand même complimenter les bureaucrates
fédéraux par rapport à leurs collègues provinciaux qui ont fait preuve
d’une grande constance à en faire très peu. En fait, les représentants
du fédéral, comme l’article de Segsworth le documente si bien, ont
fait au moins des efforts sporadiques pour évaluer l’énorme quantité
de programmes et services payés par les contribuables.
Une entrevue avec le rédacteur invité termine cette publication. L’entrevue a été réalisée par le rédacteur en chef, J. Bradley Cousins,
et nous lui sommes reconnaissants pour son travail. C’est lui qui a
eu l’idée de publier cette édition anniversaire et il a fait une grande
partie du travail lui-même en plus d’encourager, bichonner, et inciter
le reste de notre équipe à préparer nos sections.
Joe Hudson, Professeur émérite
Faculté du travail social, University of Calgary
Calgary, Alberta
<[email protected]>
décembre 2005