Recherche sur les indicateurs de performance

Recherche sur les indicateurs de
performance
Emmanuelle Lussiez, UQAM
sous la direction de Bernard Motulsky, titulaire de la Chaire
Le 14 février 2012
LES
Chaire de relations publiques et communication marketing
Adresse postale :
Case postale 8888, succursale Centre-ville
Montréal (Québec) H3C 3P8
Canada
Adresse géographique et messagerie :
Chaire de relations publiques et communication marketing
Pavillon AC, local AC-4100
1259, rue Berri
Montréal (Québec) H2L 4C7
Contact : Pauline Breduillieard, associée de recherche
[email protected]
Téléphone : (514) 987-3000, poste 0862
Télécopieur : (514) 987-0394
Adresse internet :
www.crpcm.uqam.ca
LES
Méthodologie de la Recherche
Recherche bibliographique
Consultation d'ouvrages jugés pertinents, particulièrement ceux de Thierry
Libaert & André De Marco (Les tableaux de bord de la communication, 2006)
et de Richard Thériault (La communication réseau, 2000).
Recherche et consultation de divers rapports d'activité annuels.
Compte-rendu des recherches effectuées et adaptation au cas demandé.
LES
Plan de présentation
1. Pourquoi évaluer la communication?
2. Quelques définitions
3. Identifier les utilisateurs
4. Différents champs d’évaluation
5. Identifier les objectifs de mesure de la performance
6. Conception, sélection et mise en page de l’indicateur
7. Exemples d’indicateurs pré-existants
8. Indicateurs spécifiques à l’objet d’étude
9. Evaluation de la « communication qualité » selon Thériault
10. Autres exemples: ville de Nantes, mission évaluation FSE, Ministère
Budget France, enquête Vecteur Public, Inergie
11. Questions à soulever pour répondre à la demande
LES
1. Pourquoi évaluer la communication?
Evaluer la communication pour:
- Améliorer la conception d'une stratégie de communication
- Justifier les budgets accrédités
- Mieux manager
- Mieux décider
- Légitimer et valoriser la place des communications dans une organisation
→ Outil de pilotage nécessaire !
« Evaluer les actions de communication, c’est se donner les moyens de
rendre compte de
l’utilisation des ressources, de mesurer
les progrès mais aussi d’améliorer l’efficacité des actions » (Bessières,
2010)
LES
1. Pourquoi évaluer la communication?
→ Fausse idée reçue que « la communication ne se mesure pas »
Or, l’évaluation est toujours possible et presque toujours quantifiable
→ Nécessité économique de l'efficacité: contexte de crise, budgets resserrés,
demandes de retour sur investissement, contexte général de recherche de
performance des organisations.
Professionnalisation grandissante des indicateurs de performance venant
s’ajuster au développement des NTIC et d'Internet (piste: mesurer évaluation via
les réseaux sociaux?).
Rigueur des pratiques de communication (organisation, prévision, gestion)
dorénavant axée sur le management et l'évaluation.
Ce qui se mesure est mieux défendu, particulièrement en contexte de tension
sur le niveau de dépenses.
LES
2. Quelques définitions
Tableau de bord (TDB) = « outil d’aide au management composé d’indicateurs
chiffrés, de synthèses, de graphiques et de commentaires » (T. Libaert).
Pour chaque objectif fixé est défini un indicateur spécifique.
Le TDB coordonne les équipe des communications et pilote les plans
d’action.
λ
Indicateur = représentation chiffrée d’un phénomène qu’on veut mettre sous
contrôle. Il en existe plusieurs types:
- Indicateur de pilotage
- Indicateur d’observation
- Indicateur de résultats
- Indicateurs de performance: doivent être capable de
mesurer l’atteinte des objectifs de communication et de
rendre les résultats compatibles avec les autres
indicateurs qualité.
L'indicateur doit être pertinent, fiable et compréhensible.
λ
LES
2. Quelques définitions
λ
Evaluation : « vérifier, à partir de critères déterminés au moment de la
définition des objectifs visés, que ces derniers ont bien été atteints. » (Libaert)
Elle peut porter soit sur la qualité des techniques et des moyens utilisés, soit
sur les performances des personnes, des équipes ou des prestataires.
λ
Performance: figure moderne de l'évaluation dans la sphère publique.
LES
2. Quelques définitions
L'évaluation en communication
4 critères d'évaluation d'une opération de communication:
« Agrément, notoriété, attribution, compréhension »
(Marshall, 2008)
Evaluer efficacité, efficience, cohérence, pertinence.
« Dans la plupart des ministères on n’a pas choisi de faire entrer la
communication explicitement dans le champ d’évaluation des
indicateurs de performance » (Bessières, 2010)
LES
2. Quelques définitions
L'évaluation en communication
Toute action de communication doit être évaluée au moins à l'aide d'une analyse
interne nécessitant aucun budget ou compétence particulière.
Une évaluation ne se fait pas exclusivement après l'action. Elle peut se faire en
amont (pré-test) ou en parallèle (monitoring).
→ L'évaluation doit donc être planifiée à temps et les objectifs de l'action précisés
à l'avance.
LES
2. Quelques définitions
L'évaluation en communication
Sources: Les systèmes de mesure de la performance, Editions d'Organisations, 1999.
LES
3. Identifier les utilisateurs
λ
Avant d’identifier les utilisateurs du TDB, il serait important d’établir un
inventaire des TDB pré-existants des différentes directions de l'organisation
(afin qu'il y ait logique et cohérence dans la conception des indicateurs).
Le TDB doit ainsi correspondre à la culture de l'entreprise évaluée.
λ
Identifier précisément les utilisateurs (Direction générale, Direction des
Communications, chargés de com, autres prestataires et parties prenantes)
afin d’adapter chaque TDB aux attentes et besoins de chacun.
LES
4. Différents champs d'évaluation possibles
Que cherche-t-on à évaluer?
Exemples:
A. L’image de l’institution (communication institutionnelle)
B. La communication interne
C. Les relations presse
D. Les relations publiques
E. La communication de crise
F. La publicité institutionnelle
G. La communication financière
H. Le mécénat, sponsoring
I. La communication évènementielle et les sites Web
LES
5. Objectifs d'évaluation
λ
λ
λ
Difficulté: ne pas mélanger les types et méthodes d'indicateurs (on ne mesure
pas de la même manière un article rédactionnel et un message publicitaire)
Il faut définir les indicateurs dès la conception du plan d’action et des objectifs
de communication.
Pour ce, il faut pouvoir définir des objectifs quantifiables en action concrètes,
préciser les cibles, fixer le périmètre géographique, les résultats à atteindre,
l'échéance finale...
Ex: Pas de « améliorer l’image de l’institution »
Mais: « accroître de 10% le jugement entreprise qui réalise des progrès dans
la protection de l’environnement de la part de tel public situé à tel endroit »
LES
5. Objectifs d'évaluation
3 catégories de mesure de la performance de la communication:
- Mesures directes d’éléments tangibles
ex : nombre de communiqués de presse diffusés, nombre d’articles publiés dans
la presse, nombre de consultation de l’Intranet (et leur répartition par thèmes),
nombre de demandes d’information, nombre de clients après une campagne etc.
- Mesures relatives
ex : sondages et études d’opinion ; elles peuvent s’exprimer soit en classement
(ex : ordre de préférence) soit en pourcentage (ex : pourcentage de personnes
ayant une même opinion).
- Mesures par traitement mathématique
ex : calcul de médianes des écarts-types, courbe de Gauss
LES
6. Conception, sélection et mise en page de
l'indicateur
Conception des indicateurs (Libaert):
Définir le champ de la mesure
Déterminer les objectifs à atteindre (SMART = Spécifique, Mesurable,
Ambitieux, Réalisable, Temporel)
Identifier les critères et établir leurs paramètres
Composition de l’indicateur
Définir l'unité de mesure: comptage, taux, ratio, notation ou indice?
Evaluation de leur faisabilité
Formalisation du système
LES
6. Conception, sélection et mise en page de
l'indicateur
1. Composants de l’indicateur (Libaert):
- intitulé de l’indicateur
- objectif communication à mesurer
- définition précise de la mesure
- modalités de calcul
- fréquence de relevé
- responsables de la mesure
- mode de représentation (chiffre, symbole, graphique)
- utilisateurs
- mode et calendrier de diffusion des données.
LES
6. Conception, sélection et mise en page de
l'indicateur
2. Choix de la mise en forme de l’indicateur (Libaert):
- Pictogramme
- Histogramme
- Graphiques
- Secteurs
- Camemberts
- Radars
- Mapping
Chaque mise en forme peut correspondre à des besoins particuliers.
LES
6. Conception, sélection et mise en page de
l'indicateur
Grille de sélection de l’indicateur:
Nom de l’indicateur
Indispensables : note de 0 à 5 le besoin réel de l’indicateur
Données existantes : noter si elles sont naturellement disponibles ou si elles
nécessitent une recherche spécifique
Quantité de travail nécessaire : évaluation du travail en temps et en coût
Taux de fiabilité / Taux de compréhensibilité
Taux de facilité de mise en œuvre
Coût : addition des 4 colonnes pour avoir une estimation finale (le cabinet
Occurrence estime par exemple qu’il faudrait tendre un ratio de 5% du budget
com à la mesure de sa performance)
LES
7. Exemples d'indicateurs pré-existants
(Libaert)
1. Sondages / baromètres
2. Enquêtes qualitatives
3. Indicateurs de volume en communication externe
4. Analyse des signes
5. Veille stratégique en intelligence économique
LES
7. Exemples d'indicateurs pré-existants
(Libaert)
1. Sondage: permet de mesurer par exemple la notoriété, l’image de l’institution,
les actions de parrainage, le climat social interne, les efficacités d’actions
évènementielles (on mesure le dynamisme, confiance, gestion, compétence,
proximité, efficacité, qualité, innovation, écoute, éthique, modernisme, bénéfice,
information, social).
Le sondage peut être aléatoire, stratifié, en grappe ou systématique
Limites: ne décèle jamais l’opinion réelle (écarts méthodologiques et
psychologiques), coût important, n'est jamais prédictif. Méthode figée et lente.
LES
7. Exemples d'indicateurs pré-existants
(Libaert)
2. Enquêtes qualitatives :
- Enquête écrite, téléphonique ou électronique
- Face-to-face par entrevue, focus groupe, observation ou expérimentation.
Limites : l’entretien ne fournit pas d’indicateur chiffré, il ne fait qu'identifier les
problèmes, attentes, divergences et blocages. Temps de préparation, de
réalisation, et d'analyse des résultats lent. Il peut cependant ouvrir sur de
nouvelles pistes de recherche.
Enquête écrite < téléphonique < électronique (rapidité et facilité de mise en
oeuvre)
LES
7. Exemples d'indicateurs pré-existants
(Libaert)
3. Indicateurs de volume (particulièrement utilisés en communication externe):
Informations quantitatives brutes
Outputs: nombre de rapports d’activité diffusés, nombre de
communiqués de presse envoyés, nombre d’opération de mécénat,
nombre de salons faits, nombre d’encarts publicitaires achetés,
nombre d’opérations de relations publiques réalisées, nombre de
pages web mises en ligne.
Occurrence rencontres cible / message: nombre de participants
aux conférences réalisées et aux opérations de relations publiques,
nombre d’articles de presse publiés, nombre de coupons-réponses
reçus après insertion, nombre et origine par catégories de clicks sur
site web, nombre d’appels téléphoniques sur numéro vert, nombre
de contacts opérés par la campagne publicitaire (unité de mesure :
Gross rating point)
LES
7. Exemples d'indicateurs pré-existants
(Libaert)
4. Analyse des signes
Etant donné que la diffusion de l’image d’entreprise est à 80% non-verbale, il
faut pouvoir évaluer la performance de la perception sélective, notamment en
communication externe
(ex: perception sélective, accueil téléphonique, architecture bâtiments
etc. )
Outils de travail: sémiologie, sémiométrie, analyse de contenus, fréquence
d’apparition de mots en relations presse etc.
5. Veille stratégique: prise en compte du positionnement concurrentiel.
LES
8. Indicateurs spécifiques à l'objet d'étude
A. La communication institutionnelle
B. La communication interne
C. Les relations presse
D. La communication de crise
E. La publicité institutionnelle
F. La communication évènementielle et les sites Web
LES
8. Indicateurs spécifiques à l'objet d'étude
A. Evaluation de la communication institutionnelle:
Etude de notoriété, étude d'image, diagnostic e-réputation, analyse des outils de
communication, étude de lectorat...
Ex d’indicateurs: classement, indice image, taux de citation, indice notoriété,
baromètre notoriété, pré-tests, médiascopie, mesures d’audience, sondages
(téléphonique ou e-sondage), tracking, TRIM Corporate Reputation Radar,
enquête de logo, enquête de nom, enquête de signature.
LES
8. Indicateurs spécifiques à l'objet d'étude
Evaluation de la communication externe avec parties prenantes
Types d’évaluation: respect des délais (implication), respect des budgets
(disponibilité), contribution à la fluidité des informations (réactivité), qualité du
suivi et du reporting, qualité des documents présentés, impact d’un outil de com,
diverses réactions à une décision mise en œuvre, identifier dans l’opinion les
freins ou les points d’appui
LES
8. Indicateurs spécifiques à l'objet d'étude
B. Evaluation de la communication interne (½)
Objectifs de mesure: climat social (écoute réciproque, dialogue, considération,
reconnaissance), adhésion au changement, réponses aux attentes des salariés,
motivations ou engagement du personnel, qualité des canaux d’information, de
consultation et d’expression, analyse du comportement des salariés, analyse de
la typologie des salariés, performance des outils de communication
Outils de mesure: baromètre d’opinion interne, phase qualitative, questionnaire
(au cours d’une réunion, à remplir seul, par téléphone, entretiens face à face, esondage)
LES
8. Indicateurs spécifiques à l'objet d'étude
B. Evaluation de la communication interne (2/2)
Evaluation des outils et supports de communication:
1. Analyse des supports écrits ; audit des médias internes : « qui lit quoi ? »
2. Analyse du lectorat et de la diffusion des informations
3. Evaluation des réunions et de leurs contenus: taux d'assiduité et de
participation, implication des participants, fréquence et durée des réunions
4. Audit de culture interne : méthodologie mixte
5. Consultation de l’Intranet.
6. Evaluation du réseau de correspondants (fluidité de la communication)
LES
8. Indicateurs spécifiques à l'objet d'étude
C) Evaluer les relations presse (½)
1. Analyse de la diffusion
Types d’indicateurs: nombre de conférences de presse, nombre d’interviews,
nombre de communiqués de presse, dénombrement des réponses quotidiennes
aux demandes des journalistes (faire comparaisons temporelles et
concurrentielles).
2. Analyse des retombées médiatiques
Types d’indicateurs: étude comparée du nombre de messages publiés par
rapport à l’ensemble des citations de l’institution, travail lexicographique de
dénombrement de signes positifs ou négatifs. Cette étude est à mettre en
rapport avec l’OVE (Occasion de voir ou entendre) afin de fournir le score UBM
(Unité de Bruit médiatique) correspondant.
LES
8. Indicateurs spécifiques à l'objet d'étude
C) Evaluer les relations presse (2/2)
Modèle de Lindemann et de MacNamara:
Processus d’évaluation des relations presse en 3 temps: émission, transmission
et effet des messages.
Important: toujours prendre en compte l’état de la relation institution / média.
TDB mensuel ou trimestriel. Il doit comprendre:
Volume d’articles publiés, évolution et comparaison avec concurrents
Visibilité médiatique par support
Visibilité médiatique par thèmes
LES
8. Indicateurs spécifiques à l'objet d'étude
D. Evaluer la communication de crise
Types d’indicateurs:
Avant: sensibilisation des cadres dirigeants, nombre de simulations,
formation, gestion de risque
Pendant: diffusion des informations, communication avec les parties
prenantes, taux de réponse téléphonique, mail
Après: mise en place du retour d’expérience (REX), mise en place des
mesures correctrices suite au REX, enquête d’image
LES
8. Indicateurs spécifiques à l'objet d'étude
E. Evaluer la publicité institutionnelle
Exemples d’indicateurs: prétests, eye-tracking, day after recall, folder, split
run, médiascopie, tracking.
Exemples d’évaluation: évaluation des résultats obtenus par rapport aux
objectifs fixés, évaluation de l’audience estimée, évaluation technique (score de
reconnaissance, score d’impact, score spécifique, score d’attribution, score
d’agrément, compréhension, acceptation, rétention, action)
LES
8. Indicateurs spécifiques à l'objet d'étude
F. Evaluer la performance des sites Internet
Deux types de mesure:
1) Mesures de fréquentation: nombre de visites, nombre de pages vues,
ventilation par rubrique consultées, origine géographique des adresses IP,
origine d’entreprise etc.
2) Mesures d’audience: quantifier et qualifier les internautes (par sondage).
Elaborer profil des internautes.
Types d’indicateur: baromètre e-corporate (de crmmetrix) conçu par Bernard
Tavernier.
Evaluation à l'aide d'une check-list (conformité technique) ou analyse des logfiles
(fichiers statistiques permettant d'évaluer l'utilisation du site).
LES
9. Evaluation de la « communication qualité »
selon Thériault
L’évaluation de la communication s’établit selon 4 rubriques:
- Coûts
- Productivité
- Efficacité & efficience
- Implantation des 8 principes du management qualité
« Mesurer la communication qualité, c’est non seulement mesurer le niveau de
connaissance (…) mais c’est aussi mesurer l’efficacité de la diffusion de
l’information » (Thériault).
LES
9. Evaluation de la « communication qualité »
selon Thériault
Thériault propose un mode d’évaluation qui distingue la capacité du
processus diffuser de sa rétention, c’est-à-dire de l’acquisition de
connaissances par les personnes identifiées à chaque système.
Répartition des indicateurs:
A. Indicateurs dont les résultats impliquent des correctifs prioritaires immédiats
B. Indicateurs dont les résultats impliquent des correctifs moyennement
importants
C. Indicateurs à maintenir (représentants facteurs de performance du réseau de
communication)
Pour lui, ces mesures seront évaluées par entretiens, questionnaires ou focus
groupes uniquement.
LES
9. Evaluation de la « communication qualité »
selon Thériault
8 indicateurs de performance proposés:
- 3 indicateurs du message: information, rétroaction et fréquence
- Evaluation selon 4 catégories du message: « DEFI » (Connaissances
Dynamiques, Externes, Fondamentales ou Internes)
- Ex: Objectifs de l’ets, du service, clientèle, partenaires, produits, mission
de l’ets, mission de la Direction, politique qualité, méthode, structure,
priorités etc.
- 4 indicateurs de l’émetteur: quantité, qualité, cohérence, accessibilité
- Evaluation selon 4 types d’émetteurs (« CALE »: émetteurs Coaxiaux,
Axiaux, Leader ou Externes)
- Ex: Equipe, service, clientèles, partenaires, produits, mission de l’ets,
mission de la Direction, politique qualité, méthode, structure, priorités etc.
- 1 indicateur de moyen: le vecteur
- Evaluation selon 4 catégories des moyens de communication (« POID »:
moyens Passifs, Ouverts, Interactifs, Dédiés)
- Ex: Lettre, affiche, babillard, bornes interactives, réunions diverses,
Intranet,
Extranet etc.
LES
10. Exemple de la Ville de Nantes
Le rapport annuel de 2010 de la ville précise les mesures d'évaluation qui ont
été effectuées en communication interne:
Analyse des effectifs permanents, mouvement du personnel, formations
déployées, développement des compétences, pilotage de la masse salariale,
aménagement du temps, absentéisme, conditions de travail, bilan dispositifs
d’écoute
Evaluation des actions: réalisations de publications périodiques, animation de
la page d’accueil, développement de la com de proximité, accueil des
nouveaux agents, accueils des nouveaux cadres, visites de sites et
d’équipements
Mesure du dialogue social: représentativités des organisations syndicales,
instances paritaires
Evaluation des différentes mesures mises en place de lutte contre la
discrimination (mesurer la diversité et mixité de l’emploi)
LES
10. Exemple de la Ville de Nantes
Objectifs: coordonner les services des collectivités, améliorer la cohérence de
l’action publique locale.
Création du SIAD (Système d’information décisionnel): illustration de
l’amélioration de la performance.
En ce qui concerne la mesure du climat interne: mesurer l’absentéisme,
accidents de travail, bilans de compétence, congés de formation
professionnelle, formation d’intégration et de professionnalisation, mobilité
interne, correspondances internes
Mais le rapport annuel ne précise pas la méthodologie employée et les types
d'indicateurs proposés
LES
10. Autres exemples
Cas du Service de la Communication commun aux ministères de l'Economie
et du Budget (France): en 2008, le nouveau directeur structure une grille
d'indicateurs (logique inspirée du secteur privé):
Source: Bessières, 2010.
Ex:
LES
10. Autres exemples
Cas de la Direction Générale pour l'Armement (France) qui entreprend en
2002 une évaluation par reporting: évaluation de satisfaction par
questionnaire (communication évènementielle), en interne en termes de
respect des délais et des coûts.
Cas de la mission d'évaluation du FSE (Fonds Social Européen): lors de son
rapport annuel de 2009, le FSE a effectué une campagne d'évaluation des
communications (double objectif: opérationnel & stratégique).
Objectif: réaliser un bilan raisonné des actions de communication.
Méthode: entretiens de cadrage au niveau national (puis zoom sur
responsables communication de 4 régions). Méthode basée sur travaux de
collecte et d'entretiens.
LES
10. Autres exemples
Enquête Vecteur Public sur les pratiques et méthodes d'évaluation des
communications dans les collectivités territoriales en France:
L'enquête montre que sur l'ensemble des collectivités territoriales ayant réalisé
une évaluation de leur communication au cours de ces 5 dernières années:
- 62% ont évalué le magasine ou le journal de la collectivité
- 54% ont évalué le site Internet de la collectivité
- 22% ont évalué un ou plusieurs évènements
- 18% ont évalué les stratégies de com externes
- 14% ont évalué les outils de communication interne
- 12% ont évalué les relations presse
(Source: Vecteur Public, enquête 2010)
LES
10. Autres exemples
La même enquête met en avant la diversité des méthodes utilisées:
- 54 % des collectivités ont utilisé un questionnaire papier
- 35% ont utilisé l'analyse des statistiques du site Internet
- 25 % ont pratiqué des enquêtes qualitatives
- 25% ont pratiqué des enquêtes téléphoniques
- 25% ont pratiqué des enquêtes via Internet
- 15% ont utilisé des études sur les retombées presse
- 8% ont effectué des analyses sémantiques des outils
=> Le papier apparaît comme l'outil incontournable de l'évaluation, malgré le
temps de traitement et le coût qu'il génère.
(Source: Vecteur Public, enquête 2010 – Benoît de Vasson directeur fondateur)
LES
10. Autres exemples
Inergie, cabinet indépendant de conseil en management, propose comme outils
et mesures d'évaluation:
- Le barocom: baromètre de communication interne
Méthode qualitative (étude lectorat du journal interne, analyse des
pratiques d'information et des attentes par cible, analyse du
contenu et de la perception des supports): entretiens individuels
ou focus groupe.
- Le baroclim: baromètre de climat interne
Méthode quantitative par questionnaire fermé (40 à 60 questions
d'opinion sur échelle à 4 niveaux de satisfaction)
LES
11. Questions à soulever
Savoir précisément ce que vous cherchez à évaluer afin de trouver
l'indicateur adéquat:
- quel type de communication souhaitez-vous évaluer?
- voulez-vous évaluer la performance et la prestation de la
communication, celle des outils, des stratégies ou encore des
supports de communication?
Dresser une liste des utilisateurs principaux
Dresser une liste des éventuels indicateurs ou TDB pré-existants
Quelle finalité? Ces indicateurs auront-ils pour but d'être publiés ou diffusés
auprès des salariés, aux autres services ou parties prenantes? Ou resterontils confidentiels?
LES
11. Questions à soulever
Quel serait le budget consacré à l'évaluation de la performance?
A quelle fréquence préférez-vous que votre évaluation soit réalisée
(mensuelle, trimestrielle, annuelle, ou de façon ponctuelle?)
Avez-vous une préférence dans le type, la forme et l'unité de l'indicateur? En
comptage (unités), en taux (pourcentage), en ratios (rapports entre quantités
d'unités différentes), en notation (appréciation obtenue par grille) ou en
indice?
Quelle est la typologie de l'Intranet utilisé? Audit du journal interne?
(distribution, lectorat, fréquence de diffusion et de lecture, circularité des
informations, maquette et cahier des charges liés à la publication etc.)
Avez-vous recours à d'autres éventuels supports médiatiques? (SMS,
réseaux sociaux, blogs...)
Recherche effectuée en janvier 2012
par Emmanuelle Lussiez, sous la
direction de Bernard Motulsky
[email protected]
[email protected]