Présentation du METROscope

Assemblée Générale 8/12/2000
Métroscope
Indicateurs et tableaux de Bord
de développement de logiciel
Martine Otter et Gina Gullà-Menez
PAGE 1
08/12/200
0
ADELI
PLAN
•
•
•
•
•
•
•
PAGE 2
1. ADELI, le groupe de travail, objectifs
2. Extraits du recueil
3. Démarche de recueil des témoignages
4. Bilan des pratiques constatées
5. Panorama d'indicateurs opérationnels
6. Quelques conseils de mise en œuvre
7. Nouveaux enjeux et perspectives
08/12/200
0
ADELI
1. Point de convergence
PAGE 3
08/12/200
0
ADELI
1. Le groupe de travail
Objectifs
• Dresser un état des pratiques de mise en place
d’indicateurs et tableaux de bord
• Synthétiser ces exposés en des conclusions
dégageant les éléments les plus significatifs
• Montrer les modalités d’utilisation des
référentiels normatifs internationaux : ISO
9001, ISO/CEI 9126, ISO/CEI 12207
•
PAGE 4
08/12/200
0
ADELI
PLAN
• 1. Le groupe de travail, objectifs
ë2. Extraits du recueil
– 2.1. Pourquoi mesurer?
– 2.2. Comment mesurer?
•
•
•
•
•
PAGE 5
» 2.2.1. Vocation et rôle d’un Système de Mesure
» 2.2.2. Quelques définitions
» 2.2.3. Etat de la normalisation
3. Démarche de recueil des témoignages
4. Bilan des pratiques constatées
5. Panorama d'indicateurs opérationnels
6. Quelques conseils de mise en œuvre
7. Nouveaux enjeux et perspectives
08/12/200
0
ADELI
2.1. L’approche processus
Les processus permettent de passer de la gestion par filières fonctionnelles à la gestion
transversale.
L'approche processus permet de focaliser les activités de l'entreprise
sur le client.
J
J
J
J
J
Equipe transversale
J
J
J
J
Client
J
Equipe transversale
J
Client
JJJ
JJJ
JJJ
Commercial
Production
Exploitation
Gestion
L
Un processus est un enchaînement
d'activités qui apporte une valeur ajoutée
importante au client.
Client
PAGE 6
08/12/200
0
ADELI
2.1. Pourquoi mesurer ?
35
IKOSS
30
CNASEA
Janvier
IRMA
MARBEN
MMHS
25
Février
20
Mars
15
Avril
AXA
france Télécom
DUN & BRADSTREET
SPEIG
Marben Bruxelles
Société inconnue
Pilotage
Mai
10
Agence Française du Sang
Juin
SNCF
Banque Nationale de Paris
5
Crédit Coopératif
BULL - Ingéniérie
0
2
4
6
8
1 0
1 2
0
1 4
Repas
Les besoins
du client
Processus
Ressources
humaines
PAGE 7
08/12/200
0
Ressources
matérielles
Produit
Essence
Hotel
La satisfaction
du client
Valorisation
ADELI
2.2. Comment mesurer la Qualité ?
2.2.1. Vocation et rôle d’un Système de Mesure
un niveau de responsabilité = un tableau de bord
.
Système de pilotage
Informations Synthétiques
Système Opérant
1 TB au COMITE DE DIRECTION
Stratégique
n x X TB au niveau OPERATIONNEL
Collecte des données
Informations Détaillées
PAGE 8
08/12/200
0
ADELI
2.2. Comment mesurer la Qualité ?
2.2.2. Quelques définitions
Un Système de Mesure s’articule autour d’indicateurs et de tableaux de
bord
–Indicateur Information choisie associée à un phénomène, destinée à en
observer périodiquement les évolutions au regard d'objectifs Qualité (NF X50-171)
–Tableau de bord
Visualisation synthétique qui caractérise la situation et
l'évolution des Indicateurs Qualité (NF X50-171)
Indicateurs et Tableaux de bord permettent de mesurer en permanence
l'efficacité des dispositions prises pour :
– piloter les processus
– maîtriser la qualité des produits
– s’assurer de la satisfaction des clients
PAGE 9
08/12/200
0
ADELI
2.2. Comment mesurer la Qualité ?
2.2.3. Etat de la normalisation
• Modèles d’évaluation des systèmes
Qualité d’entreprise
–ISO 9000, AQAP 150,..
• Modèles d’évaluation des processus
–ISO 12207, CMM, ISO/SPICE
• Modèles d’évaluation des produits
–ISO 9126, McCall, Boehm,..
• Travaux Indicateurs et Tableaux de Bord
–X50-171, IEEE 1061-1998
PAGE 10
08/12/200
0
ADELI
2.2. Comment mesurer la Qualité ?
2.2.3. Etat de la normalisation
POURQUOI LA REVISION DES NORMES ISO 9000
(Conclusions du Comité Technique 176)
• Les entreprises s’interrogent sur l’apport réel de la certification ISO 9001, 9002 ou 9003
(Assurance de la Qualité) pour l’amélioration de la qualité du produit ou des
performances de l’entreprise
• Les Clients, mais aussi les autres parties prenantes (Actionnaires, Personnel,
Fournisseurs, Société) de plus en plus exigeants poussent les entreprises à s’améliorer
en permanence
• Les critères des prix Qualité (Malcolm Baldrige, EFQM) sont de plus en plus utilisés à
des fins d’auto-évaluation, mais la pratique reste limitée car souvent jugée trop
ambitieuse
• L’objectif est d’encourager les entreprises, qui se satisfont le plus souvent
aujourd’hui d’une démarche d’Assurance Qualité, à s’engager vers le chemin de
la Qualité Totale
PAGE 11
08/12/200
0
ADELI
2.2. Comment mesurer la Qualité ?
2.2.3. Les nouvelles normes de l’An 2000
Passage de 15 à 4 normes de base
•
•
•
•
ISO 9000 : Système de management de la Qualité – Concepts et vocabulaire
ISO 9001 : Système de management de la Qualité - Exigences (ex “ Assurance de la Qualité ”)
ISO 9004 : Système de management de la Qualité – Lignes directrices
ISO ? ? ? : Audits du Système de management de la Qualité et de l’Environnement
•
Ancienne appellation
Nouvelle appellation
Sur quoi porte-t-elle ?
Quelle est la cible ?
Quelle est la finalité ?
PAGE 12
ISO 9001
ISO 9004
Norme de Spécifications (“ doit ”)
Pourra être support de certification.
Assurance de la Qualité
Système de management de la qualité
– Exigences
Les processus principaux
(directement liés à la réalisation du produit)
Les Clients
Norme de Recommandations (“ il convient ”)
Confiance des Clients dans l’obtention
des caractéristiques du produit
08/12/200
0
Management de la Qualité
Système de management de la qualité – Lignes
directrices
Tous les processus et activités
(techniques, administratifs, …)
Les 5 parties prenantes (Clients, Actionnaires,
Personnel, Fournisseurs, Société)
Bénéfice pour les 5 parties par
l’amélioration continue et la satisfaction durable du
Client.
ADELI
2.2. Comment mesurer la Qualité ?
2.2.3. Les points forts des nouvelles normes
1) Le client, qui fait son entrée en force : on passe d'une notion de conformité aux
procédures à une recherche de performance des processus avec (enfin !) la mesure
de satisfaction des clients et un impératif de communication continue avec le client.
2) La maîtrise et l'amélioration des processus : centrage sur les processus de biens et
de services et non plus sur les structures.
3) Le progrès continue (PDCA) : apparition d’actions préventives et non plus seulement
correctives (voire curatives).
4) Le management des ressources y compris humaines : qui prendra une importance
sans commune mesure avec celle très formelle de l'ancienne norme.
5) La simplification du vocabulaire, en utilisant des termes de langage courant.
6) La réduction du nombre de documents normatifs (de 15 à 4).
7) Les compétences d’auditeur qualité considérablement remaniées.
PAGE 13
08/12/200
0
ADELI
PLAN
• 1. Le groupe de travail, objectifs
• 2. Extraits du recueil : rappels
ë3. Démarche de recueil des témoignages
– 3.1. la grille de recueil
– 3.2. l’échantillon
•
•
•
•
4. Bilan des pratiques constatées
5. Panorama d'indicateurs opérationnels
6. Quelques conseils de mise en œuvre
7. Nouveaux enjeux et perspectives
PAGE 14
08/12/200
0
ADELI
3. Démarche de recueil
3.1. La grille de recueil
Objectifs de la grille : permettre une description
homogène d’expériences constatées
• page 1 présentation synthétique du contexte de l’entreprise
et du point d’observation
• page 2 description détaillée du contexte dans lequel
se situent les actions de mesure du logiciel
• page 3 description détaillée des indicateurs typologie des indicateurs mis en œuvre
• page 4 description détaillée des indicateurs désignation et mode de calcul
• page 5 bilan de l’expérience décrite
PAGE 15
08/12/200
0
ADELI
3. Démarche de recueil
3.2. L’échantillon
Ont répondu :
• les services méthodes d’entreprises de 120 à 1500
personnes et des sociétés de conseil en informatique
• 13 catégories de produit sont représentées sur 15
proposées
• 6 activités du cycle de développement sur 8 proposées
• point de vue de l’intervenant :
» la maîtrise d’œuvre dans 75 % des cas
» la maîtrise d’ouvrage est citée 4 fois
PAGE 16
08/12/200
0
ADELI
PLAN
• 1. Le groupe de travail, objectifs
• 2. Extraits du recueil : rappels
• 3. Démarche de recueil des témoignages
ë 4. Bilan des pratiques constatées
– 4.1. Le contexte
– 4.2. Les indicateurs
– 4.3. Axes d’amélioration
•
5. Panorama d'indicateurs opérationnels
• 6. Quelques conseils de mise en œuvre
• 7. Nouveaux enjeux et perspectives
PAGE 17
08/12/200
0
ADELI
4. Bilan des pratiques constatées
4.1. Le contexte
• 2/3 ont un système Qualité Logiciel, presque toujours bouclé,
• 1/3 des systèmes tendent vers la Qualité Totale
• Les systèmes d’évaluation sont très répandus (73%) : seule une moitié
est formalisée (ISO 9001 apparaît 3 fois)
• L’indépendance des personnels en charge de la qualité est un principe
acquis (73 %)
• (2/3) ont recours aux audits internes
• Les méthodes, référentiels de base du processus projet sont souvent
utilisées : en gestion de projet, documentation et développement
(fréquemment internes)
PAGE 18
08/12/200
0
ADELI
4. Bilan des pratiques constatées
4.2. Les indicateurs
• 73 % des indicateurs portent sur le produit 60% sur le processus : faible
pénétration des modèles
• 80 % des indicateurs sont issus de mesures et 73 %des questionnaires
• Indicateurs obtenus par des outils d’analyse de logiciel (60%) et par collecte et
élaboration spécifiques (66 %) ; dans ce cas, la fréquence des outils
spécifiques (53%)
• Faible exploitation des bilans d’utilisation des questionnaires (26%)
• Difficulté de quantification du délai de déploiement d’un noyau dur
d’indicateurs
• 2 cas sur 3, les indicateurs découlent d’exigences contractuelles : obligation
faite au fournisseur d’utiliser les indicateurs internes de son client
PAGE 19
08/12/200
0
ADELI
4. Bilan des pratiques constatées
4.3. Axes d’amélioration
• Généralisation du SQL et des indicateurs associés à toute l’entreprise
• Obtention systématique d’un système bouclé et amélioration de la
palette d’indicateurs initiale
• Faiblesse relative de la maîtrise des achats et des sous-traitants pour
lesquels l’exigence de certification est peu fréquente
• Normalisation des indicateurs qualité souhaitée dans 2 cas : carence
actuelle de repères indiscutables pour mesurer la qualité ...
PAGE 20
08/12/200
0
ADELI
PLAN
•
•
•
•
1. Le groupe de travail, objectifs
2. Extraits du recueil : rappels
3. Démarche de recueil des témoignages
4. Bilan des pratiques constatées
ë 5. Panorama d'indicateurs opérationnels
• 6. Quelques conseils de mise en œuvre
• 7. Nouveaux enjeux et perspectives
PAGE 21
08/12/200
0
ADELI
5. Panorama d’indicateurs opérationnels
(extraits)
Objectifs de
mesure
Objet de la
mesure
Evaluation du Maintenance
support
utilisateur
Efficacité de
la vente
Contrat
Mesure de la
qualité du
produit
Produit en
développement
Indicateur
Formules de
l'indicateur
Nombre
d’anomalies
sans
réponse
Nombre de
visites au
client
- urgentes
- non traitées
Taux de
couverture
des
exigences
Nombre de
visites par
commercial et
par mois
(Nombre de
conformité aux
exigences
Qualité produit)
/( Nombre
d'exigences
Qualité produit)
Interprétation
du résultat
obtenu
Seuil < 10
Responsable
de mesure
Seuil fixé
Service
commercial
Assistance
Utilisateurs
Objectif qualité Responsable
: seuil fixé
Qualité
Processus
12207
concerné
Fourniture
Fourniture
Développement
et d'autres encore dans le recueil .....
PAGE 22
08/12/200
0
ADELI
PLAN
•
•
•
•
•
1. Le groupe de travail, objectifs
2. Extraits du recueil : rappels
3. Démarche de recueil des témoignages
4. Bilan des pratiques constatées
5. Panorama d'indicateurs opérationnels
ë6. Quelques conseils de mise en œuvre
– 6.1. Démarche d’élaboration
»
»
»
»
6.1.1. Identifier
6.1.2. Collecter
6.1.3. Communiquer
6.1.4. Faire évoluer
– 6.2. Exemples
» 6.2.1. Tableau de Bord niveau Direction
» 6.2.2. Tableau de Bord opérant
• 7. Nouveaux enjeux et perspectives
PAGE 23
08/12/200
0
ADELI
6.1. Démarche d’élaboration
6.1.1. Identifier
Décliner les objectifs stratégiques ?
• Au niveau entité : Direction, division,.. (NF X50-171)
–
–
–
–
Définition du champ de mesure (processus)
Définition des objectifs
Identification des travaux et documents
Sélection des indicateurs
• Au niveau opérant: projet, maintenance,...
– Axe processus
– Axe produit
– Axe service
PAGE 24
08/12/200
0
24
ADELI
6.1. Démarche d’élaboration
6.1.2. Collecter
• Collecte des indicateurs
– Chaque indicateur fait l'objet d'une description précise dans
une fiche indicateur : responsable, quand, exploitation,..
– Données élémentaires permettant la construction de
l’indicateur
• Validation des indicateurs
A la lecture de mes indicateurs, suis-je vraiment capable de
faire le point sur le champ de mesure choisi ?
– un responsable
– pour s’assurer de la pertinence de l’indicateur trouvé, la
démarche de validation consiste à remonter les différents
niveaux en s’assurant de la cohérence
PAGE 25
08/12/200
0
25
ADELI
6.1. Démarche d’élaboration
6.1.3. Communiquer
Comment visualiser les indicateurs ?
– Tous les indicateurs sélectionnés pour un niveau de pilotage donné
sont regroupés sur un même document
– Le tableau de bord est daté
– La représentation de l’indicateur est simple, précise et sensible aux
évolutions (écart ou tendance) de la caractéristique mesurée :
»
»
»
»
»
»
PAGE 26
Histogrammes
Courbes
Diagrammes sectoriels
Tableaux
etc..
.
08/12/200
0
ADELI
6.1. Démarche d’élaboration
6.1.4. Faire évoluer
- Procédure de révision (ajustement aux activités,
régulation des objectifs),
- Audit périodique de l’efficacité de la collecte et
de la cohérence du système de mesure
avec la structure décisionnelle,
- Redéfinition éventuelle des indicateurs
pour maintenir leur adéquation aux objectifs,
- Entretien de la motivation par un retour d’information.
•
•
PAGE 27
08/12/200
0
ADELI
6.2. Exemples
6.2.1. Tableau de Bord niveau Direction
m Performances
n respect de la planification : plans,
procédures,..
n respect des relations clientsfournisseurs,
n surcoûts liés aux actions correctives
n maîtrise des fournisseurs
n
mSatisfaction client
n produit
n processus
n service
mSuivi des actions d’améliorations
n stade d’avancement des actions inscrites au PAQ
n mesure de l’efficacité des actions engagées
PAGE 28
08/12/200
0
ADELI
6.2. Exemples
6.2.2. Tableau de Bord opérant
m Produit
n
n
n
n
mProcessus
Capacité fonctionnelle
Portabilité
Fiabilité
maintenabilité, ..
n
n
n
n
ISO/CEI 9126
Gestion de projet
Gestion de configuration
Gestion des exigences clients
Ingénierie produit
ISO/CEI 12207
m Service
n Traiter les demandes
n Informer
nExploiter
ISO 9004-2
PAGE 29
08/12/200
0
ADELI
7. Nouveaux enjeux et perspectives
•
•
•
•
Mise en concurrence accrue
Raccourcissement des délais
Diminution des coûts de production
et.. Exigences de qualité de service
Les objectifs changent
le besoin de mesure demeure
Sur la totalité du cycle de vie
PAGE 30
08/12/200
0
ADELI