199 interview with joe hudson, founding editor of cjpe entrevue avec

The Canadian Journal of Program Evaluation Vol. 20 No. 3 Pages 199–221
ISSN 0834-1516 Copyright © 2005 Canadian Evaluation Society
199
INTERVIEW WITH JOE
HUDSON, FOUNDING
EDITOR OF CJPE
ENTREVUE AVEC JOE
HUDSON, RÉDACTEUR
FONDATEUR DE LA RCÉP
J. Bradley Cousins
Current Editor
J. Bradley Cousins
Rédacteur actuel
[Brad Cousins] Joe, I am truly
delighted with the opportunity
to talk with you. I know that
our readers are interested in
learning about how the Journal got its start 20-plus years
ago, but first, could you describe your career trajectory
and the development of your
interests in evaluation?
[Brad Cousins] Joe, je suis réellement content d’avoir l’occasion
de m’entretenir avec vous. Je sais
que nos lecteurs voudront savoir
comment la Revue a débuté il y a
plus de 20 ans, mais tout d’abord,
pourriez-vous raconter votre cheminement de carrière et comment
vous êtes venu à vous intéresser à
l’évaluation?
[Joe Hudson] Sure … I grew up
in New Westminster, spent some
time in the British Merchant Marine, finally graduating from UBC,
and then went to Prince Albert to
work as a Classification Officer in
the Saskatchewan federal prison.
That experience drove my interest
in group work and, more generally,
social work, so I enrolled at the
University of Minnesota, graduated with a Master’s degree in
Social Work, and returned to the
prison with great expectations of
bringing about the kind of changes
I thought were so badly needed.
Those expectations quickly evaporated. The warden was not terribly impressed with my new degree
and had quite different ideas about
how to run a prison. Since he had
the power to carry through with
his views, and I didn’t, I finally
resigned, going to Calgary to work
[Joe Hudson] Bien sûr … J’ai grandi
à New Westminster et j’ai passé quelque temps dans la marine marchande
britannique. Après avoir obtenu un
diplôme de l’UBC, je suis allé à Prince
Albert pour travailler comme agent de
classification dans une prison fédérale
de la Saskatchewan. Cette expérience
m’a amené à m’intéresser au travail
de groupe et, plus généralement, au
travail social, donc je me suis inscrit
à l’Université du Minnesota où j’ai obtenu une maîtrise en travail social. Je
suis ensuite retourné à la prison tout
feu tout flamme, espérant y apporter
le genre de changements qui selon
moi étaient nécessaires. Ces attentes
se sont rapidement envolées. Le directeur de la prison n’était pas terriblement impressionné par mon nouveau
diplôme et il avait des idées pas mal
différentes sur la façon de diriger une
prison. Étant donné qu’il avait le pouvoir de mettre ses idées à exécution et
200
THE CANADIAN JOURNAL OF PROGRAM EVALUATION
in a private residential treatment
centre with others interested in
dealing with people more in line
with my views.
From Calgary, I moved back to
Minnesota and enrolled in the
doctoral program in Social Work
and Sociology at the University, beginning a lifelong friendship with
Len Rutman, who had come from
Winnipeg to enroll in the same program. Together, we developed our
interests in program evaluation,
not from any instructors, but from
reading, discussions with other
students, work on our dissertations, and some contracted work
at designing an evaluation for
Hennepin County (Minneapolis)
probation services and organizing
a series of continuing education
workshops on program evaluation
in the human services.
My dissertation was an evaluation using an experimental design to determine the effects of
parole supervision for juvenileaged boys and girls. Just before
finishing that, a student colleague
and I got interested in the notion
of victim reparations and how
a corrections program could be
designed around offenders making reparations to their victims.
We wrote a program design proposal centring on offender reparations and gave it to the newly
appointed state Commissioner of
Corrections, Dr. David Fogel, a
very colourful, controversial, and
well-known criminologist quite
pas moi, je me suis résigné; j’ai fini par
donner ma démission et j’ai démenagé
à Calgary pour travailler dans un centre de traitement résidentiel privé avec
des collègues dont les idées se rapprochaient davantage des miennes.
De Calgary, je suis retourné au Minnesota, et je me suis inscrit au programme de doctorat en travail social et en
sociologie à l’université, où j’ai fait la
connaissance de Len Rutman, qui est
devenu un ami de longue date et qui
était venu de Winnipeg pour s’inscrire à ce même programme. Ensemble,
nous avons développé nos intérêts en
évaluation de programme, non pas à
cause de l’influence de nos professeurs,
mais à partir de nos lectures, de nos
discussions avec d’autres étudiants,
des travaux effectués sur nos thèses et
dans le cadre d’emplois contractuels,
notamment la conception d’une évaluation pour les services de probation
de Hennepin County (Minneapolis), et
de l’organisation d’une série d’ateliers
d’éducation permanente sur l’évaluation de programme dans les services
sociaux.
Ma thèse était une évaluation fondée
sur une méthodologie expérimentale
visant à déterminer les effets de la supervision de la libération conditionnelle pour les garçons et filles mineurs.
Juste avant de la terminer, un autre
étudiant et moi avons commencé à
nous intéresser à la notion de réparation—par le contrevenant—des torts
causés à la victime et à la conception
d’un programme correctionnel fondé
sur cette notion. Nous avons élaboré
une proposition relative à la conception
LA REVUE CANADIENNE D’ÉVALUATION DE PROGRAMME
receptive to what others probably
would have seen as crazy ideas.
He supported the notion of considering crime victims in the corrections system, and especially
the idea of a victim-offender reparations scheme. He got our proposal funded with a federal grant,
and offered me the job as director
of what was called the Minnesota
Restitution Center. I took the job
and, having completed my degree,
left the university. This was 1972,
and the Center program amounted to the first systematic attempt
to hold face-to-face victim and offender meetings to develop plans
of reparation for making good the
harm caused — what has since
come to be known as restorative
justice programming. After the
Center program had been running for a while, the idea of victim
reparations was picked up and
implemented in dozens of other
programs, such as the KitchenerWaterloo restorative justice program in this country.
Evaluation was a key element of
this pioneering program and essentially involved randomly selecting inmates incarcerated for
property crimes in the state prison with average sentences of five
years and offering them an opportunity to meet with their victims
at the prison to negotiate a plan to
pay back the damages done. Once
the reparation plan was prepared,
the offender was released on parole four months after admission to
the prison. An experimental design
201
d’un tel programme et l’avons remise à
un commissaire l’État pour les services
correctionnels nouvellement arrivé en
fonction, David Fogel, Ph.D., un criminologue réputé, flamboyant, controversé, et très réceptif à des idées que
d’autres considéreraient probablement
comme saugrenues. Il appuyait la notion de l’inclusion des victimes d’actes
criminels dans le système correctionnel et était particulièrement ouvert
à l’idée de mettre en place un mécanisme de réparation des torts causés
aux victimes par les contrevenants.
Il a réussi à obtenir une subvention
fédérale pour notre proposition et m’a
offert un emploi comme directeur de ce
qu’on appelait à l’époque le Minnesota
Restitution Center. J’ai accepté le poste et, puisque j’avais déjà obtenu mon
diplôme, j’ai quitté l’université. C’était
en 1972 et le programme du centre
constituait la première tentative d’organiser des rencontres personnelles
entre la victime et le contrevenant en
vue de déterminer comment ce dernier
pouvait réparer les torts qu’il avait
causés—ce qu’on connaît maintenant
sous le nom de programme de « justice
réparatrice. » Après qu’elle eut fait ses
preuves au centre, l’idée de réparation
a été adoptée et mise en oeuvre dans
des douzaines d’autres programmes
comme le programme de justice réparatrice de Kitchener-Waterloo ici au
Canada.
L’évaluation était un élément-clé de
ce programme novateur et consistait
essentiellement à sélectionner des
détenus incarcérés à la prison d’État
pour des crimes contre les biens et qui
purgeaient des peines moyennes de
202
THE CANADIAN JOURNAL OF PROGRAM EVALUATION
was built in to the program, the
staff was largely composed of exoffenders, residents were housed
on one floor of the downtown Minneapolis YMCA and were assisted
to obtain employment, their reparation payments were monitored,
along with their payment of family
support, and they were supervised
in accordance with their parole
conditions.
I learned much from this work,
but two things in particular related to my growing interest in
program evaluation. One concerned what I called the “yah
but” experience. It ran like this:
When the core program idea was
explained, people would inevitably get around to saying that, yes,
the idea of bringing offenders and
victims together to negotiate an
agreement for paying back the
damages done was an interesting
one, but then they quickly added
the qualifying “but” as to why it
would not work … and here the
reasons ran the gamut from victims not being willing to meet
with the people who had stolen
from them, to victims being terribly vengeful and making any attempt at negotiations useless, to
offenders using the opportunity to
meet with their victims as a way
to re-victimize them, and on and
on, all without a shred of evidence
to support very dogmatically held
views. These “yah but” responses
struck to the heart of what I found
particularly appealing about program evaluation and the aim of
cinq ans et à leur offrir l’occasion de
rencontrer leurs victimes à la prison
et de négocier un plan de réparation
des torts causés. Une fois le plan élaboré, le contrevenant bénéficiait d’une
libération conditionnelle quatre mois
après son admission à la prison. Une
méthodologie expérimentale a été intégrée au programme; le personnel était
composé, en grande partie, d’ancien
contrevenants; les résidents étaient
tous logés sur un étage du YMCA
du centre-ville de Minneapolis et on
les aidait à obtenir un emploi; leurs
paiements de réparation étaient surveillés, de même que leurs paiements
de pension alimentaire, et ils étaient
surveillés selon les conditions régissant leur libération conditionnelle.
Ce travail m’a beaucoup appris, mais
deux choses en particulier m’ont porté
à m’intéresser davantage à l’évaluation de programme. L’une d’elles concernait ce que j’appelle l’expérience
« oui, mais », que je pourrais décrire
comme ceci : une fois qu’on a expliqué
l’idée centrale d’un programme, les
gens disaient inévitablement qu’en effet l’idée de réunir les contrevenants
et les victimes en vue de négocier une
entente pour réparer les torts causés
était intéressante, mais ils s’empressaient d’ajouter un « mais » et d’énumérer les raisons pourquoi cela ne
fonctionnerait pas… Dans ce cas-ci,
on a fourni toutes sortes de raisons,
entre autres, que les victimes refuseraient de rencontrer les gens qui
leur avaient dérobé des biens, que les
victimes adopteraient une attitude
vengeresse et saboteraient toute tentative de négociation, que les contreve-
LA REVUE CANADIENNE D’ÉVALUATION DE PROGRAMME
empirically testing out the worth
of programming efforts.
Another thing that struck me
from work in that early restorative justice program related to
the experimental design we put in
place to test program outcomes.
Following program implementation, it quickly became apparent
that the evaluation design was
inappropriate. The design should
have been tailored more appropriately to the level of program
development. Our programming
efforts were truly untested, and
flexibility to shift and alter the active programming ingredients in
light of changing circumstances
was sorely needed. As the program director I needed evaluation information that was quickly
fed back to better inform about
changing programming needs.
But the experimental design did
not allow for this kind of flexibility, and even if it had been available, feeding back information to
change program elements in midstream would have caused serious
attribution problems. Instead of
trying to rigorously test program
effects, we would have been much
better advised to use a design
that provided an ongoing stream
of information about the program,
one that could be changed in light
of new circumstances and the emphasis being placed on different
program elements.
After the Restitution Center, I
moved into the central office of
203
nants profiteraient de l’occasion pour
rencontrer leurs victimes et ensuite
les victimiser à nouveau, et ainsi de
suite, le tout sans la moindre preuve
pour étayer ces opinions très dogmatiques. Cette attitude du « oui, mais »
est exactement pourquoi j’étais particulièrement attiré par l’évaluation
de programme, qui visait à prouver,
de façon empirique, le mérite des programmes mis en œuvre.
Une autre chose qui m’a frappé pendant les premières années que j’ai passées à travailler dans ce programme
de justice réparatrice est la méthodologie expérimentale qu’on avait mise en
place pour vérifier les résultats du programme. Après la mise en œuvre du
programme, on s’est vite rendu compte
que la méthodologie d’évaluation était
inadéquate. Elle aurait dû être mieux
adaptée à l’étape du développement
du programme. Nos initiatives d’élaboration de programme étaient mal
testées, et il y avait un grand besoin de
prévoir une certaine souplesse qui permettrait de modifier et de changer des
ingrédients actifs du programme selon
les circonstances. En tant que directeur du programme, j’avais besoin de
renseignements fournis par l’évaluation rapidement afin de prendre des
décisions éclairées quant aux changements à apporter au programme. Mais
la méthodologie expérimentale n’offrait pas une telle souplesse et, même
si cela avait été le cas, le fait de fournir
une rétroaction en vue de changer des
éléments du programme en cours de
route aurait causé de graves problèmes d’attribution. Au lieu d’essayer
de procéder à des tests rigoureux des
204
THE CANADIAN JOURNAL OF PROGRAM EVALUATION
the Minnesota Department of
Corrections with responsibilities
for Research, Planning and Information Systems and then, later,
Victim Services. Much of the work
involved building an evaluation
capability, upgrading the offender-based information system, preparing a state-wide corrections
master plan, and implementing a
comprehensive community corrections policy. Minnesota has always
been regarded as being at the forefront of developments in the human services, and the 1970s was
an especially exciting time to be
working there in the corrections
field. Pioneering efforts were being
implemented by state corrections
staff to set up a variety of crime
victim services — the Department
was responsible for state-wide programming for victims of sexual assault as well as for battered women
— sentencing guidelines were being developed, and major policy
initiatives carried out to reduce
reliance on prisons and training
schools.
While working in the Department
I continued my interest in restorative justice programming and, with
a colleague at the University, was
awarded a research grant from
the National Institute of Justice to
carry out a national evaluation of
restorative justice programming.
Taking a leave of absence from the
Department of Corrections, I spent
the two years from 1978 to 1980
working on this evaluation study
and then upon its completion, ac-
effets du programme, nous aurions
mieux fait d’utiliser une méthodologie
qui pouvait fournir un débit soutenu
de renseignements sur le programme
et qu’on pourrait modifier selon les
circonstances afin de mettre l’accent
sur certains éléments particuliers du
programme.
Après le Restitution Center, j’ai occupé
un poste à l’administration centrale
du Minnesota Department of Corrections (MDC) où j’avais des fonctions
liées à la recherche, la planification,
et les systèmes d’information et, plus
tard, les services aux victimes. Une
bonne partie de ce travail consistait à
développer les capacités d’évaluation;
à mettre à niveau le système d’information sur les contrevenants; à élaborer un plan directeur pour les services
correctionnels à l’échelle de l’État; et
à mettre en œuvre une politique détaillée sur les services correctionnels
communautaires. Le Minnesota a
toujours été à l’avant-garde des développements en matière de services
sociaux et les années 70 étaient une
époque particulièrement stimulante
pour ceux qui y travaillaient dans le
domaine des services correctionnels.
Le personnel des services correctionnels de l’État déployait les premiers
efforts pour instaurer un éventail de
services d’aide aux victimes d’actes criminels. Le MDC était chargé de mettre en place, à l’échelle de l’État, des
programmes pour les victimes d’agression sexuelle et les femmes battues.
On élaborait des lignes directrices en
matière de détermination de la peine
et on mettait en œuvre d’importantes
politiques visant à réduire le recours
LA REVUE CANADIENNE D’ÉVALUATION DE PROGRAMME
cepted an offer from the Office of
the Auditor General of Canada to
move to Ottawa and head up work
carrying out the effectiveness mandate of the Office.
Just as with corrections in Minnesota in the 1970s, the early 1980s
was an exciting time to be involved
with evaluation work in the federal government — the Program
Evaluation Branch of the Office of
the Comptroller General had been
recently established and federal
evaluation guidelines published;
departments and agencies were
under pressure to hire evaluation
staff, prepare plans, and conduct
evaluation studies; and the Auditor General had been given an
expanded value for money audit
mandate that, in part, gave that
Office responsibility for conducting
what could be seen as amounting
to meta-evaluations of departmental efforts.
Coming to the audit office in 1980,
I found only one staff member with
knowledge of program evaluation.
There was no written methodology
to describe how to carry out the audit mandate. Consultants had been
used to do the effectiveness audit
work, and they were given much
discretion in their work. Perhaps
the most graphic description of the
situation at that time was brought
home to me when, upon first visiting the Office, I asked my future
boss for some written materials
describing how the effectiveness
audit mandate was carried out and
205
aux prisons et aux centres d’éducation
surveillée.
Tout en travaillant au MDC, j’ai continué à m’intéresser aux programmes
de justice réparatrice et un collègue de
l’université et moi avons obtenu une
bourse de recherche du National Institute of Justice pour procéder à une
évaluation nationale des programmes
de justice réparatrice. J’ai pris congé
du MDC, et j’ai consacré deux ans (de
1978 à 1980) à cette étude évaluative;
une fois celle-ci complétée, j’ai accepté
une offre du Bureau du vérificateur
général du Canada, et j’ai déménagé
à Ottawa pour diriger les travaux liés
au mandat d’efficacité du Bureau.
Tout comme dans les services correctionnels au Minnesota dans les années
70, le début des années 80 était une
période captivante pour l’évaluation
au gouvernement fédéral : on venait
de créer la direction de l’évaluation
de programme au Bureau du contrôleur général (BCG) et de publier des
lignes directrices en matière d’évaluation pour le gouvernement fédéral; on
incitait les ministères et organismes à
embaucher du personnel d’évaluation,
à élaborer des plans, et à effectuer des
études d’évaluation; et le Vérificateur
général venait de recevoir un mandat
élargi de vérification de la rentabilité
en vertu duquel il devait, entre autres,
effectuer ce qui pourrait être perçu
comme des méta-évaluations des initiatives ministérielles.
Quand je suis arrivé au Bureau du
vérificateur général en 1980, je n’y ai
trouvé qu’un seul employé qui possé-
206
THE CANADIAN JOURNAL OF PROGRAM EVALUATION
he responded by handing me a copy
of the 1978 Auditor General Act.
While this legislation stipulated
that government departments were
to have satisfactory procedures in
place to measure and report program effectiveness, it said nothing about how auditors carried out
their work to arrive at judgements
about the extent to which government was meeting requirements of
the law. Regardless, a very competent staff was recruited, detailed
audit methodology prepared and
published, and by 1983 we completed a government-wide audit of
program evaluation, covering the
organization of evaluation in 19
federal departments and agencies
and the evaluation studies and
plans prepared in those departments. The executive summary of
that audit report was published in
the Evaluation Review Annual for
that year.
[BC] What were some of the
biggest challenges involved
with audit and evaluation in
Ottawa in the early 1980s when
the first big impetus was given
to these functions?
[JH] Besides the challenge of recruiting audit staff with knowledge of program evaluation and
developing the methodology for
auditing effectiveness measurement and reporting procedures, a
number of thorny substantive issues had to be addressed in auditing government evaluation efforts.
One of the most vexing concerned
dait des connaissances en évaluation
de programme. Il n’existait aucune
méthodologie écrite décrivant comment réaliser le mandat de vérification. Jusque-là, on avait eu recours
à des experts-conseils pour effectuer
les vérifications de l’efficacité, et on
les accordait une grande discrétion
dans leurs travaux. Je crois que j’ai
réellement saisi la situation qui régnait dans le Bureau quand, à ma
première visite, j’ai demandé à mon
futur patron de la documentation sur
le mandat de vérification de l’efficacité
et, en guise de réponse, il m’a remis
une copie de la Loi sur le vérificateur
général (1978). Bien que cette loi stipulait que les ministères du gouvernement devaient avoir des procédures
satisfaisantes en place pour mesurer
et rendre compte de l’efficacité de programme, elle ne mentionnait rien sur
comment les vérificateurs effectuaient
leur travail ou déterminaient dans
quelle mesure le gouvernement adhérait aux exigences de la loi. En tout
cas, on a recruté un personnel très
compétent et on a préparé et publié
une méthodologie de vérification détaillée et, en 1983, nous avons réalisé,
à l’échelle du gouvernement, une vérification de l’évaluation de programme
de l’organisation de l’évaluation dans
19 ministères et organismes fédéraux,
ainsi que des études et projets d’évaluation élaborés dans ces ministères
et organismes. Le sommaire de ce
rapport de vérification a été publié
dans la Evaluation Review Annual
cette année-là.
[BC] Quels sont les plus grands
défis que présentaient la vérifi-
LA REVUE CANADIENNE D’ÉVALUATION DE PROGRAMME
the audit mandate of the Auditor General and the extent it fit
with the Treasury Board evaluation policy and the work of the
Comptroller General’s Evaluation
Branch. In a nutshell, the effectiveness audit mandate amounts
to determining whether government departments and agencies
have implemented satisfactory
procedures to measure and report
program effectiveness, where
reasonable and appropriate. In
principle, these measurement
procedures could take the form of
either periodic effectiveness/outcome evaluation studies or performance measurement/ongoing
program monitoring systems capturing and reporting information
on program outcome indicators.
While insular Canadian evaluators might deny the legitimacy of
monitoring systems/performance
measurement systems as a form
of program evaluation, most others
take a different view. For example,
American Evaluation Association
Standards identify ongoing monitoring types of evaluations as probably the most commonly used form
of program evaluation. In contrast,
however, the Treasury Board evaluation policy (1977-47) in effect in
the early 1980s, which served as
the driving force for the work of
the Comptroller General’s Evaluation Branch, dealt only with periodic program evaluation studies
which could, legitimately, address
a variety of issues besides program
effectiveness. Ongoing monitor-
207
cation et l’évaluation à Ottawa
au début des années 80 quand ces
fonctions ont reçu leur premier
grand élan?
[JH] En plus du défi de recruter du
personnel de vérification possédant
des connaissances en évaluation de
programme et d’élaborer une méthodologie pour vérifier la mesure de
l’efficacité et les procédures pour en
rendre compte, plusieurs questions
de fond épineuses devaient être examinées dans le cadre de la vérification des démarches d’évaluation du
gouvernement. Une des questions les
plus frustrantes concernait le mandat du Vérificateur général et dans
quelle mesure elle correspondait à
la politique d’évaluation du Conseil
du Trésor et au travail de la direction de l’évaluation de programme du
Contrôleur général. Bref, le mandat
de vérification de l’efficacité revient
à déterminer si les ministères et organismes du gouvernement ont mis
en œuvre des procédures satisfaisantes pour mesurer et rendre compte
de l’efficacité de programme, lorsque
raisonnable et approprié. En principe,
ces procédures de mesure pourraient
prendre la forme d’études d’évaluation périodiques sur l’efficacité et les
résultats des programmes, ou encore
des systèmes de mesure du rendement
ou de surveillance continue des programmes qui permettent de saisir et
rendre compte des renseignements
pertinents sur les indicateurs des résultats des programmes.
Les évaluateurs canadiens insulaires
remettront peut-être en question le
208
THE CANADIAN JOURNAL OF PROGRAM EVALUATION
ing systems, called performance
measurement systems in the government vernacular, were the subject of a different Treasury Board
policy (1976-25), seen as anathema
by the OCG Evaluation Branch officials, and regarded by them as a
failed policy initiative that was not
to be confused with their work at
implementing the program evaluation policy.
The quandary for us in the audit
office, then, was twofold. First,
could an audit of effectiveness
measurement legitimately cover
program evaluation studies that
had nothing to do with measuring program effectiveness? In fact,
most studies done in government
departments did not deal with
measuring program outcomes,
impacts, or effects. Compounding this issue was the related one
about whether effectiveness audit
work could legitimately exclude
dealing with ongoing performance
measurement systems that either
were in place or could reasonably
and appropriately be implemented
to provide information on program
effectiveness. Both issues were key
to implementing the audit mandate and, depending on the position taken by the audit office, seen
by officials in the OCG Evaluation
Branch as having the potential to
seriously damage their work at implementing the government’s evaluation policy. Their concerns were
legitimate, given the narrow scope
of the program evaluation and performance measurement policies in
caractère légitime des systèmes de
surveillance et de mesure du rendement comme forme d’évaluation de
programme, la plupart des autres
évaluateurs sont d’une opinion toute
autre. Par exemple, les normes de
l’American Evaluation Association
constatent que la surveillance continue est probablement la forme la plus
utilisée d’évaluation de programme.
Cependant, la politique d’évaluation
du Conseil du Trésor (1977-47), en
vigueur depuis le début des années
80 et qui a servi de moteur aux travaux de la direction de l’évaluation
de programme du Contrôleur général,
ne traitait que d’évaluations de programme périodiques qui pourraient,
légitimement, aborder un éventail de
questions autres que l’efficacité d’un
programme. Les systèmes de surveillance continue—appelés systèmes
de mesure du rendement dans le jargon gouvernemental—faisaient l’objet
d’une politique différente du Conseil
du Trésor (1976-25), considérée comme anathème par les fonctionnaires
dans la direction de l’évaluation de
programme du BCG et comme une
initiative stratégique qui a échoué
et qu’il ne fallait pas confondre avec
leurs fonctions, soit de mettre en œuvre la politique d’évaluation de programme.
Pour le personnel du Bureau du vérificateur général, la confusion était
double. En premier lieu, on se demandait si une vérification de la mesure de l’efficacité pourrait, en toute
légitimité, couvrir des études d’évaluation de programme qui n’ont rien
à voir avec la mesure de l’efficacité de
LA REVUE CANADIENNE D’ÉVALUATION DE PROGRAMME
place in government. At the same
time, concerns about being true to
the audit mandate were also legitimate. The fundamental issue was
that government policies for program evaluation and performance
measurement were unnecessarily
and inappropriately conceived independent of each other and the
audit mandate. The three sets of
policies must have been drafted
without any thoughtful consideration of each other; thus they
operated to some considerable extent at cross-purposes. But that’s
probably not a rare occurrence in
government.
After six years in the audit office and wanting change, I took
advantage of an opportunity for
a secondment to the newly established Office of the Inspector
General of the Canadian Security
Intelligence Service. Being the new
incumbent of this Office and wanting to move quickly to carry out his
mandate, the Inspector General
requested and obtained position
secondments from the audit office,
RCMP, Civil Service Commission,
and the Ontario Provincial Police.
Working with senior staff from
these agencies on program audits
of CSIS programs was particularly
interesting and enjoyable. To my
way of thinking, and following the
views of Eleanor Chelimsky,
this work could just as well have
been called “program evaluation”
as “program auditing.” After all,
only effectiveness or outcome types
of evaluations are substantively
209
programme. En fait, la plupart des
études effectuées au sein des ministères gouvernementaux ne traitaient
pas de la mesure des résultats, des
impacts ou des effets des programmes. À cette question venait s’ajouter celle de savoir si la vérification
de l’efficacité pourrait légitimement
exclure les systèmes de mesure continue du rendement déjà en place ou
qui pourraient être mis en oeuvre raisonnablement et adéquatement afin
de fournir des données sur l’efficacité
de programme. Les deux questions
constituaient des éléments clés de la
mise en œuvre du mandat de vérification et, dépendant de la position prise
par le Bureau du vérificateur général,
les fonctionnaires de la direction de
l’évaluation de programme du BCG
considéraient qu’elles risquaient de
sérieusement compromettre les efforts qu’ils déployaient pour mettre
en œuvre la politique d’évaluation
du gouvernement. Leurs préoccupations étaient légitimes, étant donné
la portée limitée des politiques d’évaluation de programme et de mesure
du rendement en vigueur au gouvernement. En même temps, la préoccupation de rester fidèle au mandat de
vérification était également fondée.
La question fondamentale était que
les politiques gouvernementales en
matière d’évaluation de programme
et de mesure du rendement étaient—
inutilement et de manière inappropriée—élaborées indépendamment
les unes des autres et du mandat de
vérification. Les trois ensembles de
politiques ont probablement été élaborés sans égard les unes aux autres
et visaient donc, en grande partie, des
210
THE CANADIAN JOURNAL OF PROGRAM EVALUATION
different from program audits in
terms of the types of questions addressed. While program audits do
not address questions of causality, which outcome evaluations
do, both audits and evaluations
have in common a concern with
addressing descriptive (“What are
characteristics of a program?”) and
normative (“To what extent does a
program meet specific standards?”)
types of questions.
While I was working in the Inspector General’s office, Ron
Robinson, then President of the
Evaluation Society, asked if I
would take on the task of starting
this Journal. That was in February, 1986. I agreed, began advertising for members of the Society
interested in joining the editorial
board, found an Ottawa printer,
and actively began soliciting articles, interviews, book reviews,
and opinion pieces for the first issue, which appeared that Spring
in April.
Leaving Ottawa in late June, 1986,
I continued with my Journal responsibilities for the next couple of
years, before turning it over to Richard Grinnell, a Calgary faculty
colleague. However, my involvement with the Journal continued
and I served as Book Review Editor for a number of years, as well
as on the Editorial Board, and then
spent a couple of years helping
revive the Society Newsletter at
the request of the CES President,
John McDermott.
objectifs contradictoires. Mais ce n’est
probablement pas une chose rare au
gouvernement.
Après six années au Bureau du vérificateur général, je voulais un changement et j’ai profité de la possibilité
d’un détachement au nouveau Bureau
de l’inspecteur général du Service canadien du renseignement de sécurité.
En tant que nouveau responsable de
ce bureau et voulant commencer tout
de suite à exécuter son mandat, l’Inspecteur général a demandé et obtenu
que des employés du Bureau du vérificateur général, de la GRC, de la
Commission de la fonction publique,
et de la Police provinciale de l’Ontario soient temporairement affectés à
son bureau. Travailler avec des cadres
supérieurs de ces organismes sur la
vérification des programmes du SCRS
a été particulièrement intéressant
et agréable. Selon moi et d’après les
opinions d’Eleanor Chelimsky, ce
travail aurait pu tout aussi bien s’appeler « évaluation de programme » que
« vérification. » Après tout, seules les
évaluations axées sur l’efficacité ou les
résultats diffèrent passablement de la
vérification de programme pour ce qui
est du genre de question abordée. Bien
que les vérifications de programme
n’abordent pas les questions de causalité—contrairement aux évaluations
des résultats—les vérifications et les
évaluations cherchent toutes les deux
à répondre à des questions de type
descriptif (« Quelles sont les caractéristiques d’un programme? ») et de
type normatif (« Dans quelle mesure
un programme répond-il à des normes
précises? »).
LA REVUE CANADIENNE D’ÉVALUATION DE PROGRAMME
[BC] Thanks very much. Okay,
so when Ron Robinson asked
you to start the Journal, what
was the impetus behind that?
What mandate were you given?
What was the vision for the
Journal and who developed
that?
[JH] As I recall, the impetus behind the Executive members of the
Society deciding to start a journal
went something along the lines of
them seeing the organization as
having achieved a sizeable membership base, successfully having
sponsored several annual conferences bringing in substantial revenues, and now wanting to provide
additional services for the membership. The idea of providing a
journal subscription as part of the
membership services was seen to
fit nicely with the growing financial reserves of the Society and the
credibility a journal could, potentially, provide.
The mandate and vision for the
Journal came out of communications with Ron Robinson, the
President of CES and members
of the Executive Committee. We
agreed that, in general, a journal
must have intellectual credibility
by meeting such a requirement as
anonymous article reviews, as well
as providing informative and useful information for the readership.
My editorial statement in the first
issue of the Journal (Vol. 1, No.
1, April, 1986) listed the aim as
one of providing a lively exchange
211
Pendant que je travaillais au bureau
de l’inspecteur général, Ron Robinson, alors président de la Société canadienne d’évaluation, m’a demandé
si j’accepterais de me charger du
lancement de cette Revue. C’était en
février 1986. J’ai accepté et j’ai commencé à publier des annonces invitant les membres de la Société à siéger
au sein du comité de rédaction. J’ai
trouvé un imprimeur à Ottawa et j’ai
activement commencé à solliciter des
articles, des entrevues, des comptes
rendus de livres, et des opinions pour
le premier numéro, qui a été publié ce
printemps-là en avril.
Même après avoir quitté Ottawa à la
fin de juin 1986, j’ai continué à travailler pour la Revue pendant les deux
années qui ont suivi, avant de passer
les rênes à Richard Grinnell, un
collègue qui enseignait à l’University
of Calgary. J’ai toutefois continué à
participer à la production de la Revue à titre de rédacteur des comptes
rendus de livres pendant plusieurs
années; j’ai également siégé au sein
du comité de rédaction, puis j’ai passé
environ deux ans à aider à réactiver
le bulletin de nouvelles de la Société
à la demande du président de la SCÉ,
John McDermott.
[BC] : Merci beaucoup. Donc
quand Ron Robinson vous a demandé de lancer la Revue, qu’estce qui l’a motivé à le faire? Quel
mandat avez-vous reçu? Quelle
vision avait-on pour la Revue et
qui a élaboré cette vision?
[JH] : Si je me souviens bien, les
212
THE CANADIAN JOURNAL OF PROGRAM EVALUATION
of views on significant evaluation
topics of current interest, largely,
but not exclusively, by Canadians
in both official languages. In a
more negative vein, I restated the
aim as one of avoiding the publication of a lot of homogenized
yackety-yak.
In addition to the articles included
in each issue, I hoped to include
an interview with well-known
people in the field, an opinion and
comments piece, research notes,
and book reviews. Consequently,
I was able to enlist the volunteer
services of many exceptionally
talented people in the evaluation
field. For example, in the first
issue of the Journal, Kenneth
Watson, the well-known Ottawa
consultant, was kind enough to
complete a fascinating interview
with Donald T. Campbell; Alan
Gratias, the pioneering federal
evaluator and bon vivant, contributed a humorous opinion and
comment piece; Michael Rayner,
the Comptroller General of Canada, and Joseph Wholey from the
Urban Institute in Washington,
D.C., each wrote on the utilization of evaluation in their respective governments; Len Rutman
made some incisive observations
on Canadian federal evaluations;
and Neil Maxwell from the Office of the Auditor General of
Canada and John Mayne from
the Office of the Comptroller General engaged in a spirited debate
on the place of performance measurement systems and program
membres du comité exécutif de la Société ont voulu créer une revue parce
qu’ une fois que l’organisation avait
établi un base important d’adhérants
et qu’elle avait parrainé avec succès
plusieurs congrès annuels qui ont généré des revenus importants, ils voulaient à ce moment-là offrir davantage
de services aux membres. Selon eux,
offrir l’abonnement à la Revue comme
privilège d’adhésion cadrait bien avec
les réserves financières croissantes de
la Société et avec la crédibilité accrue
que pourrait fournir une revue.
Le mandat et la vision pour la Revue découlaient de mes entretiens
avec Ron Robinson, président de la
SCÉ, et les membres du comité exécutif. Nous nous sommes mis d’accord
sur le fait que, de façon générale, une
revue doit posséder de la crédibilité
intellectuelle en satisfaisant à des critères comme des lectures à l’aveugle
des articles et doit fournir des renseignements utiles et pertinents aux
lecteurs. Le commentaire que j’ai publié dans le premier numéro de la Revue (Volume 1, numéro 1, avril 1986)
stipulait que le principal objectif visé
était de fournir un forum d’échange
sur des sujets actuels en évaluation
formulées principalement, mais pas
exclusivement, par des Canadiens et
dans les deux langues officielles. Sur
une note un peu plus négative, j’ai
réitéré que voulions éviter de publier
un tas de verbiage synthétisé.
En plus des articles, j’espérais inclure,
dans chaque numéro, une entrevue
avec des gens bien connus dans le domaine, une section Opinion et Com-
LA REVUE CANADIENNE D’ÉVALUATION DE PROGRAMME
evaluation. Subsequent issues of
the Journal contained interviews
with Michael Patton, John
Conrad, and others with insights
on evaluation and its practice.
Most generally, my vision was to
have a journal that contributed
to an ongoing dialogue with the
readership about program evaluation, sharing insights, suggestions, and contributions from
evaluators and others in different parts of the country as well
as outside. I hoped the Journal
would be a forum for debate and
some controversy, believing that
differences are not measures of
absurdity.
Members of the Editorial Board,
along with many other interested
members of the Society, greatly
helped in moving toward the
Journal aims. Initially, the greatest challenge was generating responses from the readership for
contributions. To a much greater
extent than I wanted during the
first year or two of the Journal,
I found myself having to go out
and directly solicit contributions,
whether these were articles, book
reviews, or willingness to do interviews with notable figures in the
field. Once contacted, however,
people were quite willing to take
an active role in taking on tasks,
and increasingly, over the years,
as the Journal became more accepted, there was a corresponding
increase in the number and quality of submissions. Of course, that
brings a whole new set of chal-
213
mentaires, des notes sur la recherche,
et des comptes rendus de livres. J’ai eu
donc l’occasion de bénéficier des services bénévoles de plusieurs personnes
talentueuses dans le domaine de l’évaluation. Par exemple, dans le premier
numéro de la Revue, Kenneth Watson, expert-conseil bien connu d’Ottawa, a eu l’amabilité de réaliser une
entrevue captivante avec Donald T.
Campbell; Alan Gratias, un pionnier de l’évaluation au gouvernement
fédéral et bon vivant, a contribué une
Opinion/Commentaire humoristique;
Michael Rayner, Contrôleur général du Canada, et Joseph Wholey
du Urban Institute à Washington,
D.C., ont chacun écrit des articles
sur l’utilisation de l’évaluation dans
leurs gouvernements respectifs; Len
Rutman a fait des observations très
percutantes sur les évaluations fédérales canadiennes; et Neil Maxwell
du Bureau du vérificateur général du
Canada et John Mayne du Bureau
du Contrôleur général ont pris part
à une discussion animée sur la place
des systèmes de mesure du rendement
et de l’évaluation de programme. Les
numéros subséquents de la Revue contenaient des entrevues avec Michael
Patton, John Conrad, et d’autres
éminents intervenants du domaine de
l’évaluation. De façon générale, ma vision était d’une revue qui favoriserait
un dialogue continu avec les lecteurs
au sujet de l’évaluation de programme,
ainsi que le partage de connaissances,
de suggestions, et de contributions
d’évaluateurs et d’autres intéressés
dans diverses parties du pays et de
l’étranger. J’espérais que la Revue
serait un forum pour la discussion et
214
THE CANADIAN JOURNAL OF PROGRAM EVALUATION
lenges about making difficult decisions of what to publish.
Besides the challenge of obtaining sufficient quality materials
for early issues of the Journal
was the more mundane task of
getting the mechanics of publication completed in a timely manner. This was before the day of
widespread use of computers in
the publishing field and much
time had to be spent reviewing
submissions, making final editorial changes, checking back with
the authors on the edited manuscripts, reviewing the typeset
proofs as they came back from
the printer, and all the other
mundane but important tasks
necessary for Journal production. Being new to the work, I
had a steep learning curve, but
had the good fortune to be associated with many hard-working
people who were willing to offer
guidance. Not least important of
these were the people I worked
with in my day job at the Office
of the Inspector General. Producing an evaluation journal was not
a priority of the staff of the Office
but they tolerated my avocation
with great good grace. Once at
the Faculty of Social Work, work
on the Journal fit much closer
with other academic responsibilities, and the Dean willingly supported the administrative costs
associated with producing the
Journal. Much credit must go to
Dean Ray Tomlison for his support.
un peu de controverse, puisque je suis
d’avis que les différences ne sont pas
des mesures d’absurdité.
Les membres du comité de rédaction
et de nombreux autres membres intéressés de la Société ont grandement
aidé à faire avancer les objectifs de
la Revue. Initialement, le plus grand
défi consistait à persuader les lecteurs
de nous envoyer des articles. Pendant
les deux premières années d’existence
de la Revue, j’ai dû beaucoup trop souvent solliciter moi-même des contributions, que ce soit des articles, des
comptes rendus de livres, ou des entrevues avec des intervenants du domaine. Une fois contactés, cependant,
les gens étaient plus que disposés à
jouer un rôle actif et à accomplir des
tâches; donc, au fur et à mesure, au fil
des ans, le lectorat de la Revue a pris
de l’ampleur, et on a vu augmenter
le nombre et la qualité des articles
soumis. Bien sûr, cela posait un tout
nouveau problème, soit celui de savoir
comment décider quoi publier.
En plus du défi d’obtenir suffisamment
d’articles de qualité pour les premiers
numéros de la Revue, il fallait également s’assurer que les rouages de la
publication fonctionnaient adéquatement et que les tâches pouvaient être
complétées à temps. C’était bien avant
l’époque des ordinateurs et de l’édition
électronique, et on passait beaucoup
de temps à examiner les articles, à
corriger le contenu, à communiquer
avec les auteurs des manuscrits révisés, à relire les épreuves fournies
par l’imprimeur, et toutes les autres
tâches fastidieuses mais importantes
LA REVUE CANADIENNE D’ÉVALUATION DE PROGRAMME
[BC] I’m glad you raised the
part about the steep learning
curve. I had a similar experience when I took on the role
of editor but the infrastructure and operating procedures
were pretty much already in
place! I can scarcely imagine
some of the challenges that
you confronted. I suppose the
publisher played an important
role in meeting at least some of
those challenges. Has the University of Calgary Press been
the Journal’s publisher since
its inception? Could you tell us
a bit about how that relationship came about?
[JH] No, originally, and all during the time I was involved as
Editor, the Journal was published
in Ottawa by a small, private
printing company, now defunct.
Richard Grinnell, who took on
editorial responsibilities from me,
must be given credit for coming
up with the idea, making contacts
with the University Press, handling all negotiations, and shifting publication responsibilities
to that Press. While I have been
distant from the arrangement, it
appears to have worked well for
the University Press and for the
Journal.
[BC] Joe, much of your work
has been in the government
sector, at least earlier in your
career and certainly a good
portion of our readership is
government-based. What are
215
et nécessaires à la production de la
Revue. Étant novice, j’avais beaucoup
à apprendre, mais j’ai eu la bonne fortune de collaborer avec des gens très
dévoués qui me fournissaient volontiers conseils et appui. Certains de ces
gens étaient mes collègues du Bureau
de l’inspecteur général. La production
d’une revue sur l’évaluation n’était
pas une priorité pour le personnel du
Bureau mais ils ont toléré ma vocation de bonne grâce. Quand j’étais à
la Faculté de travail social, le travail
que j’accomplissais pour la Revue
correspondait plus étroitement à mes
autres responsabilités académiques,
et le doyen a gracieusement accepté
de défrayer les coûts administratifs
associés à la production de la Revue.
On doit une fière chandelle au doyen
Ray Tomlison pour son appui.
[BC] Je suis content que vous ayez
mentionné la période d’apprentissage. J’ai vécu une expérience
semblable quand j’ai accepté le
rôle de rédacteur mais l’infrastructure et les méthodes de fonctionnement étaient déjà bien en
place! Je ne peux qu’imaginer les
défis que vous avez dû relever. Je
suppose que l’éditeur vous a fourni une précieuse aide en ces sens.
Est-ce que University of Calgary
Press a été l’éditeur de la Revue
depuis sa création? Pouvez-vous
nous raconter un peu comment
cette relation a débuté?
[JH] Non, à l’origine et pendant tout
le temps où j’étais rédacteur, la Revue
a été publiée à Ottawa par une petite
entreprise d’impression qui a cessé
216
THE CANADIAN JOURNAL OF PROGRAM EVALUATION
your thoughts on evaluation in
government? In what ways has
evaluation within the government evolved since the Journal’s inception?
[JH] It’s a platitude, but I do think
that the systematic collection of
information about a program, program component, or set of activities
is part and parcel of good management, whether in government or
elsewhere. Central to this process,
though, is the importance of thinking through what is the program,
component, or set of activities to be
the focus of information collection,
what are the questions needing to
have information brought to bear
on them, what methods should be
used to collect the information, and
how will the information be used
once reported. Those are questions
that require joint work between
evaluators and information users,
and that, too often, is not the case.
My experience has been that potential users of information, not infrequently, leave decisions on such
critical questions to the evaluator
who, also not infrequently, is quite
happy making them. And that is
not likely to lead to the production of useful evaluation information used for enhancing program
operations. Michael Patton’s
emphasis on user involvement
in making all critical decisions in
planning, conducting, reporting,
and using evaluations, it seems to
me, is absolutely critical, whether
the evaluation is done in or outside
government.
d’exister. C’est Richard Grinnell—le
rédacteur qui m’a succédé—qui en a
eu l’idée; il a contacté University of
Calgary Press et s’est chargé de toutes
les négociations entourant la transition des responsabilités de publication
à cette organisation. Je n’ai pas participé directement à ces discussions,
mais il semble que cette entente fonctionne bien pour la Revue et University of Calgary Press.
[BC] Joe, une bonne partie de votre travail a été dans le secteur
public—au moins au début de votre carrière—et bon nombre de
nos lecteurs travaillent pour le
gouvernement. Que pensez-vous
de l’évaluation dans la fonction
publique? Comment l’évaluation
au gouvernement a-t-elle évolué
depuis la création de la Revue?
[JH] Cela peut paraître évident, mais
je pense que la collecte systématique
de données au sujet d’un programme,
d’une composante d’un programme, ou
d’un ensemble d’activités fait partie
d’une saine gestion, que ce soit au gouvernement au ailleurs. Au cœur de ce
processus, cependant, est l’importance
de réfléchir soigneusement à ce qu’est
le programme, la composante, ou l’ensemble d’activités qui fait l’objet de
la collecte de données, aux questions
sur lesquelles on a besoin de recueillir
des données, aux méthodes à utiliser
pour recueillir les données, et à la façon dont les données seront utilisées
une fois présentées. Ce sont là des
questions qui exigent une collaboration entre les évaluateurs et ceux qui
utiliseront les données et, souvent, ce
LA REVUE CANADIENNE D’ÉVALUATION DE PROGRAMME
How evaluation has evolved the
past few years in the federal government is not something I know
much about directly, and it is only
through reading Robert Segsworth’s work, another former
editor of this Journal, that I have
some notion of what transpired
over the years since I left Ottawa.
My impression, confirmed to some
extent by Robert’s article in this
issue of the Journal, is that the
1980s were the heyday of federal
evaluation initiatives, and despite
much maneuvering and many bureaucratic machinations, there
has been a decrease in the value
placed on program evaluation by
federal decision-makers. How you
can properly manage an organization without good information is
a mystery to me, but maybe the
quality of federal government decisions serve as testimony to the
amount and type of information
relied upon.
But not to beat up on the federal
government, the state of program
evaluation in provincial and municipal governments is probably
a whole lot worse. A couple of experiences lead me to this view.
One is the survey of provincial
government evaluation activities carried out in the mid-1980s
and the way in which this study
was suppressed when the provinces became upset with what
they saw were likely to be very
embarrassing survey findings
demonstrating the dismal state of
provincial evaluation efforts. The
217
n’est pas le cas. L’expérience m’a appris que les utilisateurs potentiels de
l’information laissent trop souvent les
décisions relatives à ces questions cruciales à l’évaluateur qui, également
trop souvent, n’est que trop heureux
de prendre de telles décisions. Et cela
ne permettra probablement pas de produire des données d’évaluation utiles
pouvant être utilisées pour améliorer
les programmes. L’accent que met Michael Patton sur la participation des
utilisateurs à la prise des décisions
cruciales aux stades de la planification, de l’exécution, des processus de
rendre compte, et de l’utilisation des
évaluations semble, du moins à mon
avis, être absolument essentiel, et ce,
que l’évaluation soit effectuée dans la
fonction publique ou ailleurs.
Je ne sais pas trop comment l’évaluation a évolué au gouvernement fédéral
les dernières années, du moins pas
directement; c’est seulement en lisant
les écrits de Robert Segsworth, un
autre ancien rédacteur de la Revue,
que je me fait une idée de ce qui s’est
passé dans le domaine depuis que
j’ai quitté Ottawa. J’avais l’impression—impression qui a été confirmée
dans une certaine mesure par l’article
que publie Robert dans ce numéro de
la Revue—que les années 80 étaient
les beaux jours des initiatives d’évaluation fédérales et, malgré toutes les
manœuvres et machinations bureaucratiques, l’importance qu’accordent
les décideurs fédéraux à l’évaluation
de programme a diminué. Je ne comprends pas comment on peut gérer un
organisme sans disposer de données
adéquates, mais peut-être que la qua-
218
THE CANADIAN JOURNAL OF PROGRAM EVALUATION
other experience occurred soon after I came back to Alberta from
Ottawa. In the course of visiting
with a very senior official in the
office of the provincial auditor
general, I asked how the effectiveness measurement mandate of his
Office was carried out, since his
law was essentially identical to
the federal mandate. His answer
was that he didn’t do effectiveness
audit work because if he were to
carry out this provision of the provincial audit law, the government
would change the mandate — a
case of what I thought was one of
neutering oneself so others might
not exercise the opportunity. So,
it’s useful to keep in mind that
whatever the state of evaluation
and its audit is in the federal government, it’s probably a whole lot
worse in the provinces. And that’s
a shame.
[BC] There’s lots of talk these
days about mainstreaming
evaluation, integrating evaluation into organizational culture, and the like. What are
some of your thoughts about
the value of evaluation, such as
type of work of greatest value
for money?
[JH] I agree; evaluation is integral
to good management. Managing
without good information is not
managing, it’s just blind decisionmaking, mucking around. The key
is for managers to identify what
information they need to make decisions and then put procedures in
lité des décisions du gouvernement
fédéral est un témoignage de la quantité et du type de renseignements sur
lesquels ces décisions s’appuient.
Sans vouloir critiquer le gouvernement fédéral, l’état de l’évaluation de
programme dans les gouvernements
provinciaux et les administrations
municipales est probablement bien
pire. J’en suis venu à cette conclusion après avoir fait une ou deux expériences. L’une d’elle était le sondage
sur les activités d’évaluation dans les
gouvernements provinciaux effectué
au milieu des années 80 et la façon
dont cette étude a été passée sous silence quand les provinces ont réalisé
que les résultats du sondage allaient
probablement les mettre dans l’embarras en dévoilant l’état pitoyable de
leurs initiatives d’évaluation. L’autre
expérience est survenue peu de temps
après mon retour en Alberta après
mon départ d’Ottawa. Lors d’une visite à un très haut fonctionnaire du
bureau du vérificateur général de la
province, j’ai demandé comment on
s’y prenait pour mettre en œuvre le
mandat de mesure de l’efficacité au
bureau, puisque la loi était essentiellement identique au mandat fédéral.
Il m’a répondu qu’il n’effectuait pas
de vérifications de l’efficacité car s’il
devait exécuter cette disposition de
la loi provinciale sur la vérification,
le gouvernement changerait le mandat—ce qui d’après moi équivalait à se
neutraliser pour que d’autres n’aient
pas l’occasion de le faire. Donc il faut
se rappeler que peu importe l’état de
l’évaluation et de la vérification au
gouvernement fédéral, c’est probable-
LA REVUE CANADIENNE D’ÉVALUATION DE PROGRAMME
place to obtain that information in
a simple and direct manner. The
use of ongoing monitoring systems
that routinely compile and report
information on key questions about
specific programming components,
it seems to me, is generally the
best way to proceed. While there is
a place for periodic program evaluation studies, it is likely quite limited, restricted to particular sets of
programming activities requiring
in-depth attention and for which
there is the luxury of having considerable time available to obtain
the needed information.
The information generated from
periodic evaluation studies is not
likely to be either cost-effective
or timely when such studies are
implemented in an across-theboard manner in any organization. Breadth and timeliness, not
so much the depth of information,
are generally needed more in organizational settings, at least the
ones I am most familiar with that
confront rapid change. If there are
programming questions coming
out of an ongoing monitoring system requiring more detailed study,
then a periodic evaluation could
be commissioned. In this way, the
original Treasury Board Policy on
Program Evaluation, I think, had
it totally backwards by placing emphasis on the conduct of acrossthe-board periodic studies rather
than on monitoring systems/performance measurement systems.
I held that view many years ago
when working in Ottawa, and ex-
219
ment bien pire dans les provinces. Et
c’est dommage.
[BC] Ces jours-ci, on entend beaucoup parler de l’inclusion de l’évaluation et de son intégration à la
culture organisationnelle, et ainsi
de suite. Que pensez-vous de la
valeur de l’évaluation, par exemple, le genre de travail qui permet
d’optimiser les ressources?
[JH] Je suis d’accord; l’évaluation fait
partie intégrante d’une saine gestion.
Gérer sans disposer de bonnes données n’est pas gérer, mais prendre des
décisions à l’aveuglette, à tâtons. Les
gestionnaires doivent déterminer de
quelles données ils ont besoin pour
prendre des décisions et ensuite mettre des procédures en oeuvre pour
obtenir ces données d’une manière
simple et directe. Les systèmes de
surveillance continue qui compilent
et présentent des données de façon
systématique sur des questions clés
liées à des composantes précises
d’un programme sont, d’après moi, la
meilleure solution. Bien que les études
d’évaluation périodiques aient leur
place, celle-ci est probablement assez
limitée et restreinte à des ensembles
particuliers d’activités exigeant une
attention poussée et pour lesquelles
on peut se payer le luxe de prendre
tout son temps pour recueillir les renseignements voulus.
Les données fournies par les études
d’évaluation périodiques ne sont
probablement pas rentables ou produites en temps opportun quand ces
études sont réalisées à l’échelle d’une
220
THE CANADIAN JOURNAL OF PROGRAM EVALUATION
periences since then have generally confirmed it.
A related point is the increased attention we need to give to precisely
defining the problems we want to
address with our programming
efforts, thoughtfully designing
program interventions to address
the identified problems, carefully
think through and identify potential implementation issues, and
then mount evaluations to collect
and report back timely monitoring information on program implementation. Too often, we fail
to precisely define the problems
to be addressed, the programs we
implement amount to very puny or
misdirected interventions relative
to the problems, and we fail to consider the many thorny problems
associated with implementing our
programming efforts. Implementation is the slip between the cup and
the lip, and program evaluation
can usefully serve to monitor and
help correct those slips.
[BC] You’ve been a practicing
evaluator for a long time and
that undoubtedly comes with
many challenges and rewards.
Perhaps you could tell us a bit
about some of your biggest
frustrations in working in
the evaluation field. And what
have been some of the most
significant payoffs for you personally?
[JH] The most significant payoffs
have been associating with many
organisation quelconque. Ce sont
davantage la portée des données et
leur caractère opportun, et non leur
abondance, qui sont nécessaires dans
les cadres organisationnels, du moins
ceux qui—comme la plupart des environnements où j’ai travaillé—font
face à des changements rapides. Si les
données fournies par un système de
surveillance continue indiquent que
certains aspects d’un programme exigent un examen plus approfondi, on
pourrait alors commander une évaluation périodique. Donc, la politique initiale du Conseil du Trésor en matière
d’évaluation de programme, selon moi,
plaçait la charrue devant les bœufs
en mettant l’accent sur la réalisation
d’études périodiques à l’échelle de l’organisation au lieu de la mise en place
de systèmes de surveillance et de mesure du rendement. J’ai adhéré à cette
opinion pendant de nombreuses années quand je travaillais à Ottawa et
les expériences que j’ai vécues depuis
l’ont confirmée.
Un autre point connexe est que nous
devons nous employer davantage à
définir de manière plus précise les problèmes que nous voulons aborder en
élaborant nos programmes, à concevoir ces derniers plus soigneusement
afin de résoudre les problèmes décelés,
à nous livrer à une réflexion plus profonde, et à déterminer les problèmes
de mise en œuvre potentiels, puis à
effectuer des évaluations qui fourniront, en temps opportun, des données
pertinentes sur la mise en œuvre des
programmes. Trop souvent, nous ne
définissons pas avec suffisamment de
précision les problèmes à résoudre et
LA REVUE CANADIENNE D’ÉVALUATION DE PROGRAMME
fine people and the many challenging work experiences. Most of the
frustrations had to do with my impatience and lack of consideration,
much more than with any real or
imagined shortcomings of others.
[BC] Many thanks and best
wishes for the next 20 years
when perhaps we can do this
again.
221
les programmes que nous élaborons
ne constituent alors que des interventions mineures et peu judicieuses
par rapport aux problèmes décelés,
et nous ne prenons pas le temps d’envisager les nombreux problèmes épineux associés à la mise en œuvre de
nos programmes. La mise en œuvre
est l’écart entre les lèvres et la tasse et
l’évaluation de programme peut aider
à repérer et à combler ces écarts.
[BC] Vous pratiquez l’évaluation
depuis longtemps et elle vous a
sans doute apporté beaucoup de
défis mais aussi beaucoup de satisfaction. Pouvez-vous nous parler un peu de ce qui vous a le plus
frustré dans le domaine de l’évaluation? Et quelles ont été les plus
grandes satisfactions pour vous
personnellement?
[JH] Ma plus grande satisfaction est
liée à tous les gens merveilleux avec
qui j’ai eu la chance de travailler et
les nombreuses expériences professionnelles enrichissantes qu’il m’a
été donné de vivre. La plupart de mes
frustrations tenaient à mon impatience et à un manque de considération
de ma part, beaucoup plus qu’à des
lacunes—réelles ou imaginées—chez
les autres.
[BC] Je vous remercie et je vous
souhaite le meilleur des succès
pour les deux prochaines décennies. J’espère avoir l’occasion de
vous interviewer à nouveau dans
un autre 20 ans.