ISO 19761

12-10-25
Mesure de la taille fonctionnelle avec la
méthode COSMIC (ISO 19761):
recherches récentes et applications industrielles
1
SYLVIE TRUDEL, PH.D.
CONFÉRENCE DU LATECE
24 OCTOBRE 2012
© Sylvie Trudel
Mon parcours
2
1985-1986:
1986-1996:
1996-2001:
2001-2009:
2009-2012:
2011:
2012-…:
© Sylvie Trudel
premier travail en informatique, avant la fin du bacc
développement, analyse et implantation (ERP)
amélioration de processus de développement logiciel
conseillère senior en amélioration des processus logiciels
(CRIM, nombreux mandats)
+ MGL à l’ÉTS et début du PhD à l’ÉTS
conseillère principale en amélioration des processus
logiciels et transition à l’Agilité (Pyxis, nombreux mandats)
+ avoir complété le PhD
publication du livre “Choisir l’Agilité”
avec Mathieu Boisvert
Professeure de génie logiciel à l’UQAM
Séminaire du LATECE
1
12-10-25
Mes créneaux professionnels
3
Meilleures
pratiques
Mesures et
estimation
Agilité
Génie
logiciel
Qualité du
logiciel
Gestion du
logiciel
Séminaire du LATECE
© Sylvie Trudel
La mesure de la taille
fonctionnelle
4
HISTORIQUE, CONCEPTS ET USAGES
© Sylvie Trudel
La taille fonctionnelle
2
12-10-25
Historique de la taille fonctionnelle
5
Use Case Points
User Story Points
ISO ‘FSM’
Standards
Feature
Points
Avant 1979,
mesure de
la taille
physique
Mark II
FPA 1.3
Mark II
FPA
COSMIC
ISO 19761
Full FP
v1.1
3-D
FP’s
SLOC
Albrecht
FPA
1979
1980
1985
1990
IFPUG
4.2
IFPUG
4.1
IFPUG
4.0
1995
V3.0
NESMA
2.1
2000
2008
Source: © Alain Abran, Notes de cours COSMIC – ISO 19761
IFPUG: International Function Point Users Group
COSMIC: Common Software Measurement International Consortium
© Sylvie Trudel
Productivité de projet logiciel
6
—  Forte corrélation entre:
¡  Taille et effort
¡  Taille et temps écoulé
Effort
Temps
Taille
Taille
—  Coût unitaire = Effort / Taille à heures/point
—  Productivité = Taille / Effort à points/mois-personne
—  Taux de livraison = Taille / Temps à points/mois
© Sylvie Trudel
Séminaire du LATECE
3
12-10-25
Normes ISO liées à la mesure
7
Cadre normatif de base
des mesures de taille fonctionnelle
14143-1
Définition des
concepts
14143-2
Évaluation de la
conformité avec
14143-1
14143-3
Vérification des
méthodes
14143-4
Modèles de
référence
Processus de mesure
15939
Processus de mesure en
génie logiciel
Méthodes de mesure
de taille fonctionnelles
14143-5
Détermination des
domaines
fonctionnels
19761
COSMIC
14143-6
Guide de sélection
de méthode
Légende:
20926
IFPUG
4.1
24570
NESMA
20968
29881
Mark II
FiSMA
1ère génération
2ème génération
Séminaire du LATECE
© Sylvie Trudel
Définition de « taille fonctionnelle »
8
—  Selon ISO 14143-1, Taille fonctionnelle =
¡  Taille du logiciel dérivée en quantifiant les
Fonctionnalités Utilisateur Requises (FUR)*
÷  *Exigences
fonctionnelles des utilisateurs
—  Mesure de la quantité d’information traitée [ou à être
traitée] par le logiciel
¡ 
Ce que l’utilisateur veut que le logiciel fasse
÷  quoi
vs comment
—  Se mesure tôt dans le cycle logiciel
¡  Mais peut aussi se mesurer dans n’importe
laquelle des phases
© Sylvie Trudel
Séminaire du LATECE
4
12-10-25
Indicateurs usuels de performance
9
Date de livraison
Coût unitaire
La taille du
contenu se
mesure!
Contenu de
qualité
Coûts/effort
Séminaire du LATECE
© Sylvie Trudel
Pourquoi mesurer la taille d’un projet logiciel?
10
Combien
est-ce
gros?
Quatre besoins usuels:
1.  Productivité du processus
2.  Estimation de projets
3.  Étalonnage (benchmarking)
4.  Gouvernance
§ 
Besoin d’objectivité, de répétitivité
et de reproductibilité
§ 
Comment mesurer une taille
indépendante de la technologie?
à 
Solution:
mesurer la taille fonctionnelle
avec la norme ISO 19761
© Sylvie Trudel
5
12-10-25
La méthode COSMIC
11
—  2ème génération de mesure de taille fonctionnelle
¡ 
Permet de mesurer des logiciels MIS, services et composantes SOA,
embarqués, temps-réel, entrepôts de données, projets agiles
—  Cofondée par des québécois (UQÀM et ÉTS)
¡ 
Initiative internationale dont le noyau de l’équipe est composée de 12
experts originaires de 6 pays d’Europe, d’Amérique et d’AsiePacifique
—  Norme nationale du Japon depuis 2003
—  Traduit ou en voie de l’être dans 12 langues
—  Guide de mesure gratuit en français (v3.0)
http://www.cosmicon.com/
—  Unité de mesure: pfc (point de fonction COSMIC)
© Sylvie Trudel
Méthode COSMIC: un aperçu
12
Frontière
Utilisateurs
fonctionnels
‘Interfaces’
Matériel
d’entrée/
sortie
Logiciel à mesurer
Entrées (E)
Utilisateurs
ou
Sorties (X)
Autres
systèmes
Entrées (E)
ou
Sorties (X)
ou
© Sylvie Trudel
‘Infrastructure’
Processus
fonctionnel 1
Processus
fonctionnel 2
Matériel de
stockage
Lectures (R)
Données
…
Processus
fonctionnel n
Adapté de (Abran et al. 2003)
Écritures (W)
Soutenance de thèse
6
12-10-25
Mesurons ce processus fonctionnel, pas à pas
Déclencheur
(E)
13
Un utilisateur fait une requête dans une base de données des RH pour
extraire une liste de noms de tous les salariés âgés de plus de 35 ans.
Critères de
recherche (E)
Départements
(S)
Statut
d’emploi (S)
Messages
[d’erreur]
(S)
4
Lectures
(L)
Résultats de
recherche
(S)
Utilisation de la méthode de mesure de la taille
fonctionnelle COSMIC
comme mécanisme d’amélioration
de la qualité des exigences fonctionnelles des logiciels
14
SOUTENANCE DE THÈSE DE SYLVIE TRUDEL
VENDREDI 24 FÉVRIER 2012
7
12-10-25
Plan de la présentation
15
1.  Qualité et taille des exigences fonctionnelles
2.  Problématique et objectifs de recherche
3.  Phase 1: Méthodologie de recherche
4.  Phase 2: Comparer COSMIC et inspections
5.  Phases 3 et 4: Influence des défauts sur la taille
fonctionnelle
6.  Discussion
7.  Recommandations et impacts pour l’industrie
Soutenance de thèse
© Sylvie Trudel
Qualité et taille des exigences
fonctionnelles
16
REVUE DE LITTÉRATURE
© Sylvie Trudel
Soutenance de thèse
8
12-10-25
Usage des exigences de logiciels
17
Gestion de projet
Fonctionnelles
Concept
opérationnel
Exigences
Non-Fonctionnelles
Architecture
Documentation
de l’utilisateur
Conception
Programmation
Tests
Soutenance de thèse
© Sylvie Trudel
Mécanismes de rédaction des exigences
18
—  Langage naturel (Weigers, 2003)
—  Cas d’utilisation (Jacobson, Booch and Rumbaugh, 1999)
—  Scénarios utilisateurs (User stories) (Beck, 2000)
—  Interfaces graphiques personne-machine et
prototypes de rapports (Ducharme and Trudel, 2004)
—  Diagrammes d’états (aussi appelés ‘finite state
machines’) (Leffingwell and Widrig, 2003)
—  Diagrammes d’entités-relations (Chen, 1977)
© Sylvie Trudel
Soutenance de thèse
9
12-10-25
Normes de documentation et
attributs 19 de qualité
—  Normes de documentation
¡  IEEE Std 1362: Concepts opérationnels
¡  IEEE Std 830: Spécification des exigences de logiciels
—  Attributs de qualité (extraits de IEEE Std-830):
¡  “An SRS should be:
a) Correct;
b) Unambiguous;
c) Complete;
d) Consistent;
e) Ranked for importance and/or stability;
f) Verifiable;
g) Modifiable;
h) Traceable.”
Soutenance de thèse
© Sylvie Trudel
Synthèse de l’état de l’art
20
—  Intégration de FPA (IFPUG) et du processus de description
des exigences fonctionnelles (Nishiyama & Furuyama, 1994)
—  Contexte empirique où COSMIC est utilisé en sus des revues
par les pairs sur des cas d’utilisation (Baraby, 2006)
—  Aspect cognitif de l’expertise du mesureur traitant de la
cohérence des résultats de la mesure entre divers mesureurs
(Desharnais, 2003)
—  Utilisation de COSMIC pour améliorer le modèle d’analyse
issu des spécifications (Nagano & Ajisaka, 2005)
© Sylvie Trudel
Soutenance de thèse
10
12-10-25
Problématique et objectifs de
recherche
21
RÉSUMÉ DE LA PROBLÉMATIQUE
HYPOTHÈSES ET OBJECTIFS
Soutenance de thèse
© Sylvie Trudel
Résumé de la problématique
22
—  Qualité inconnue des exigences fonctionnelles au départ
¡  Jusqu’à ce que qu’une ou plusieurs revues soient appliquées
—  Efficience et efficacité inégales et instables des revues
appliquées aux exigences
¡ 
Résultats dépendants de la compétence des réviseurs
—  Effort et qualité de la mesure de taille fonctionnelle
dépendantes de la qualité des exigences
¡ 
On doit poser des questions pour clarifier quand les exigences
sont ambiguës ou incomplètes
—  Efficacité et efficience inconnues de la méthode COSMIC
pour améliorer la qualité des exigences
¡ 
La revue de littérature n’a pas trouvé de références soutenues par des
données
© Sylvie Trudel
Soutenance de thèse
11
12-10-25
But de la recherche
23
Contribuer à améliorer la qualité des exigences
fonctionnelles en investiguant l’efficacité et
l’efficience d’appliquer la méthode COSMIC comme
moyen pour identifier les défauts et de comparer les
résultats avec l’application d’une approche de revue
par les pairs.
Soutenance de thèse
© Sylvie Trudel
Objectifs de recherche
24
Déterminer expérimentalement l’efficience (coût
unitaire) d’appliquer la méthode COSMIC dans
l’amélioration de la qualité des exigences fonctionnelles
au regard d’une approche de revue par les pairs, dans
un délai limité
2.  Déterminer expérimentalement l’efficacité
d’appliquer la méthode COSMIC dans l’amélioration de
la qualité des exigences fonctionnelles au regard d’une
approche de revue par les pairs
3.  Déterminer s'il est avantageux d'inclure un rôle de
mesureur dans une méthode de revue par les pairs
4.  Déterminer l’influence des défauts sur la taille
fonctionnelle
1. 
© Sylvie Trudel
Soutenance de thèse
12
12-10-25
Mesures dérivées des revues par les pairs
25
—  Efficience (coût unitaire) =
(en minutes/défaut)
Effort
nb défauts trouvés
—  Efficacité = nb défauts trouvés
(exprimé en pourcentage)
nb total de défauts
—  Ne considérer que les défauts critiques et mineurs
¡  Laisser tomber les fautes d’orthographe et de syntaxe et les autres
points (améliorations et questions)
(Weigers 2002)
© Sylvie Trudel
26
Soutenance de thèse
Inputs
Process/Phases
Phase 1: Refine research methodology
Aperçu de la
méthodologie
de recherche
(3.1)
Pilot project experiment
·∙ List of inspection approaches
(3.2.4)
·∙ List of FSM methods
Select and prepare experimental
material
(3.3)
Phase 2: Compare efficiency and
effectiveness (unit cost) of COSMIC
and an inspection approach
·∙ COSMIC method
·∙ Inspection approach
·∙ uObserve SRS v1.0
Experiments with experts and
practitioners with limited
(4.2 & 4.3)
experience
Outputs
·∙
·∙
·∙
·∙
Pilot project data App.IX
Lessons learned from pilot project (3.1.5)
Refined research methodology
Selected inspection approach (App.III to VIII)
·∙ Experimental material:
uObserve SRS v1.0
Inspection approach
(1.4)- COSMIC method
(3.4)-
(App.I)
(3.5)-
·∙ Collected and verified data:
- List of defects and issues
- Effort (measurement and inspection)
(5.1)
(4.4)- SRS v1.0 functional size
·∙ Efficiency and effectiveness analysis of
measurers as part of inspection teams
·∙ Defect analysis (4.6)
(4.5)
List of defects and issues
·∙ uObserve SRS v1.0
·∙ List of defects from participants
Phase 3: Prepare next phase
experimental material
Update uObserve SRS from v1.0 to
v2.0
(5.2)
Phase 4: Determine influence of
defects on functional size
·∙ COSMIC method
·∙ uObserve SRS v2.0
Experiments with experts and
measurers with limited experience
(5.3 & 5.4)
© Sylvie Trudel
·∙ uObserve SRS v2.0 (App.II)
·∙ Defects list (status updated)
·∙ Collected and verified data: (5.3.5 & 5.4.5)
- List of defects and issues
- SRS v2.0 functional size
- Effort (measurement)
(5.5)
·∙ Influence of defects on functional size
·∙ COSMIC training improvement
opportunities
(6.4)
Soutenance de thèse
13
12-10-25
Phase 1:
Méthodologie de recherche
27
PHASE DE RAFFINEMENT DE LA
MÉTHODOLOGIE DE RECHERCHE
Soutenance de thèse
© Sylvie Trudel
28
Projet pilote :
leçons apprises
et besoins
Professeur
SONIA
SONIA
SONIA
SONIA
SRS
SRS
SRS
SRS
10 doc.
1. 
2. 
3. 
4. 
Chercheur
20 Étudiants
5. 
Indépendance du chercheur sur les données
Assurer la qualité des données saisies pour
analyse par un tiers indépendant
Limiter le nombre de documents comme
intrants aux expérimentations
Nombre de participants le plus grand
possible
Atelier sur les inspections pour tous les
participants
Mesure et
identification
des défauts
Inspection
Analyse des
données
Leçons
apprises
© Sylvie Trudel
Soutenance de thèse
14
12-10-25
Sélection du matériel expérimental
29
L’approche d’inspection
CRIM
uObserve SRS
1. Plan the inspection
[Document ready for inspection]
2. Open the inspection
[Commitment obtained from participants]
3. Inspect the product
[Defects found]
4. Explain issues (logging meeting)
[Defects understood by author]
5. Update the inspected product
[Defects corrected]
6. Re-­‐check with issues
[No new defect introduced]
7. Close the inspection
[Defects corrected and inspection data collected]
E
La méthode COSMIC
F.U.
X
FPs
R
W
Data Storage
Soutenance de thèse
© Sylvie Trudel
Sélection et préparation des exigences
30
1.  Revue par les pairs
2.  Défauts corrigés
3.  Logiciel développé avec
succès
4.  Révision par un expert de
l’industrie
5.  Défauts corrigés
uObserve SRS v0.1 Système
piloté par
événements
2900 mots
2 frontières
de logiciels
© Sylvie Trudel
10 cas
d’utilisation
décrits
uObserve SRS v1.0 App. I
Conforme
UML 2.0
Conforme
IEEE Std 830
Soutenance de thèse
15
12-10-25
Phase 2:
Comparer COSMIC et inspections
31
EXPÉRIMENTATIONS ET RÉSULTATS
Soutenance de thèse
© Sylvie Trudel
Aperçu des expérimentations de la phase 2
32
Research objectives
1) Determine experimentally the
effectiveness (unit cost) of applying
the COSMIC method in improving
the quality of functional
requirements compared to a peer
review approach, when allotted
limited effort as applied in the
industry
2) Determine experimentally the
efficiency of applying the COSMIC
method in improving the quality of
functional requirements compared
to a peer review approach
3) Determine whether it is
advantageous to include a
measurer role in a peer review
© Sylvie Trudel
Phase 2: Compare efficiency and
effectiveness (unit cost) of COSMIC and an
inspection approach
Expert
practitioners
experiment
Practitioners
with limited
experience
experiments
17 Inspectors
18 Measurers
Soutenance de thèse
16
12-10-25
Protocole expérimental
33
uObserve SRS v1.0 1. Préparer l’expérimentation
20 Étudiants
Participants
2. Former les participants sur l’approche d’inspection
3. Appliquer l’approche d’inspection
20 Étudiants
Inspecteurs
•  Défauts et
autres points
•  Effort
4. Mesurer la taille fonctionnelle
5. Compiler les données
•  Taille fonctionnelle
•  Défauts et autres
points
•  Effort
20 Étudiants
Mesureurs
6. Réviser les données compilées avec les participants ou un leader d’inspection
7. Analyser les données
Soutenance de thèse
© Sylvie Trudel
Défauts et autres points: données brutes
34
Mesureurs
Inspecteurs
450
400
350
300
514 commentaires
272
250
426
200
426
-153
-30
-58
-31
Défauts
Duplicata
Rejets
Défauts non fonctionnels
Défauts de syntaxe ou
orthographe
154 Défauts uniques fonctionnels,
critiques et mineurs
150
100
154
50
0
Défauts
© Sylvie Trudel
88
49
39
Autres points
= 100%
pour le calcul de l’efficacité
Soutenance de thèse
17
12-10-25
Analyse des défauts
35
—  Les inspecteurs et les mesureurs trouvent des
défauts de nature différente
—  Les mesureurs trouvent plus de défauts de plus haut
niveau que les inspecteurs
—  Défauts affectant la taille fonctionnelle:
Descriptions fonctionnelles ambiguës
¡  Processus fonctionnels manquants
¡  Traitement d’erreur manquant
¡  Groupes de données ambigus
¡  Ambiguïtés liées aux occurrences multiples
¡ 
Soutenance de thèse
© Sylvie Trudel
Simulation d’équipes de 2, 3 et 4 inspecteurs
36
Inspecteur
L
E
J
F
D
K
G
I
P
C
H
B
A
N
M
Q
O
© Sylvie Trudel
C
0
1
0
0
3
2
2
5
6
3
5
3
4
6
12
12
9
M
0
0
2
3
1
3
3
1
1
5
3
7
6
14
9
11
18
C+M
0
1
2
3
4
5
5
6
7
8
8
10
10
20
21
23
27
Worst-2
Median-2
Best-2
Worst-3
Worst-4
Median-3
Best-3
Median-4
Best-4
Soutenance de thèse
18
12-10-25
37
Efficacité
Objectif 2:
Déterminer
expérimentalement
l’efficacité
d’appliquer la
méthode COSMIC
dans l’amélioration
de la qualité des
exigences
fonctionnelles au
regard d’une
approche de revue
par les pairs
Efficacité = nb défauts trouvés
nb total de défauts
Équipe
d’inspecteurs
Efficacité
Worst-2
Worst-3
Worst-4
Median-2
Median-3
Median-4
Best-2
Best-3
Best-4
Moyenne
Écart-type
0.6%
1.9%
3.9%
9.7%
13.0%
16.9%
31.2%
42.9%
52.6%
19.2%
17.7%
è 100% = 154
Efficacité moyenne d’un
mesureur: 3,5%
23,6%
à +4,4%
Avec le
prochain
inspecteur
-1,2%
(perte)
22,4%
à +3,2%
En moyenne,
avec un
mesureur
Soutenance de thèse
© Sylvie Trudel
38
Efficience ou
coût unitaire
Objectif 1:
Déterminer
expérimentalement
l’efficience (coût
unitaire) d’appliquer
la méthode COSMIC
dans l’amélioration
de la qualité des
exigences
fonctionnelles au
regard d’une
approche de revue
par les pairs, dans un
délai limité
© Sylvie Trudel
Efficience (coût unitaire) =
Effort
(en minutes/défaut)
nb défauts trouvés
Équipe
d’inspecteurs
Coût
unitaire
Worst-2
Worst-3
Worst-4
Median-2
Median-3
Median-4
Best-2
Best-3
Best-4
Moyenne
Écart-type
213.0
97.3
67.2
16.5
16.6
15.8
6.4
6.8
7.0
49.6
65.1
Efficience moyenne d’un
mesureur: 29,4 min/défaut
32,4
à +8,7%
28,0
à +9,5%
Avec le
prochain
inspecteur
gain moyen
4,4 min/
défaut
ou +3,1%
En moyenne,
avec un
mesureur
Soutenance de thèse
19
12-10-25
39
—  Lorsqu’un mesureur remplace un
Mesureurs et
inspection
inspecteur supplémentaire
¡ 
¡ 
Objectif 3:
Déterminer s'il est
avantageux d'inclure
un rôle de mesureur
dans une méthode de
revue par les pairs
Perte moyenne d’efficacité de -1,2%
Amélioration moyenne du coût unitaire de
4,4 min/défaut
÷ 
÷ 
Équipes Worst: gain entre 6,2 et 25,6
Autres équipes: différences de ± 1,5 min/
défaut
—  Pour un effort comparable, les
mesureurs fournissent
¡ 
¡ 
Une mesure de la taille fonctionnelle
Une liste de défauts
÷ 
Plus grande proportion de défauts de haut
niveau que les inspecteurs
—  Transfert du coût de la mesure
¡  Coût de gestion à coût direct
Soutenance de thèse
© Sylvie Trudel
Phase 3 et 4:
Influence des défauts sur la taille
fonctionnelle
40
EXPÉRIMENTATIONS ET RÉSULTATS
© Sylvie Trudel
Soutenance de thèse
20
12-10-25
Aperçu des phases 3 et 4
41
Defects from the 1st and
2nd experimental sessions
uObserve SRS v1.0
Research objective
4) Determine the
influence of defects
on functional size
Phase 3: Prepare next phase experimental
material
Update uObserve
uObserve
SRS from v1.0 to
SRS v2.0
v2.0
Phase 4: Determine the influence of defects on
functional size
Expert
measurers
experimental
session
Measurers
with limited
experience
experimental
session
5 expert measurers
5 measurers with
limited experience
Soutenance de thèse
© Sylvie Trudel
Taille fonctionnelle: experts et inexpérimentés
42
Exigences
fonctionnelles
avec 154 défauts
trouvés (C+M)
Taille fonctionnelle (en PFC)
80
70
60
50
77
62
58
58,6
Max
Min
55
40
Moyenne
37
30
Experts
© Sylvie Trudel
Inexpérimentés
Soutenance de thèse
21
12-10-25
Défis des mesureurs inexpérimentés
43
1.  Identification incorrecte des PF et des mouvements
2. 
3. 
4. 
5. 
6. 
d’entrée déclencheurs
Identification incorrecte des groupes de données
Groupes de données manquants
Mouvements de données erronés
Mouvements de données manquants
Mouvements de données dupliqués ou superflus
Soutenance de thèse
© Sylvie Trudel
44
Sommaire des
données brutes
de la phase 2
5 experts
COSMIC
13 inspecteurs
(3 expérimentés)
uObserve
SRS
v1.0
Défauts trouvés
par
Fonct.
Nonfonct.
Total
Inspecteurs
74
34
108
Inspecteurs +
mesureurs
8
10
18
86
Mesureurs
46
22
68
Total
128
66
194
Autres points
trouvés par
Fonct.
Nonfonct.
Total
Inspecteurs
11
12
23
Mesureurs
8
3
11
Total
19
15
34
Taille: 58.0 ± 3.0 CFP
Nb PF: 11.8 ± 1.8 FP
Mesureurs: 57,8 ± 10,5 minutes
Inspecteurs: 62,3 ± 11,4 minutes
© Sylvie Trudel
Soutenance de thèse
22
12-10-25
Correction des défauts et autres points
45
194 Défauts
Ouverts
16%
84%
uObserve
SRS
v1.0
uObserve
SRS
v2.0
Fermés ou
Résolus
App. I
App.
II
34 Autres points
10 cas
d’utilisation
Ouverts
12%
15 cas
d’utilisation
88%
Fermés ou
Résolus
Soutenance de thèse
© Sylvie Trudel
Résultats comparatifs: Défauts et autres points
46
Diminution du
nombre de défauts et
autres points trouvés
120
100
0
11
80
Hypothèses
60
40
Autres points
86
20
20
5
11
0
v1.0
© Sylvie Trudel
Défauts
Hypothèses de
mesure documentées
v2.0
Soutenance de thèse
23
12-10-25
Résultats comparatifs: Taille fonctionnelle
47
Taille fonctionnelle (en PFC)
130
120
110
130
Augmentation
de 36.6%
100
114,3
97
90
80
79,3
70
62
60
58
50
55
Les écarts
s’expliquent tous par
des hypothèses de
81
mesure
Max
77
Min
68
58,6
40
Moyenne
37
30
v1.0
Experts
v2.0
v1.0
v2.0
Inexpérimentés
Soutenance de thèse
© Sylvie Trudel
48
Sommaire
des analyses
de données
—  Les défauts ont eu un impact important
sur la taille fonctionnelle: +39%
—  Le nombre de défauts identifiés a été
réduit de façon importante: -86%
¡ 
Objectif 4:
Déterminer
l’influence des
défauts sur la taille
fonctionnelle
—  Toutes les différences parmi les résultats
individuels s’expliquent par des
hypothèses de mesure (20 hypothèses
soulevées)
¡ 
¡ 
¡ 
¡ 
¡ 
© Sylvie Trudel
Certains mesureurs ont rapporté qu’ils
auraient pu trouver plus de défauts s’ils
avaient eu plus de temps
Niveau de décomposition
Frontières identifiées
Utilisateurs fonctionnels identifiés
Processus fonctionnels identifiés
Modèle de données (absent)
Soutenance de thèse
24
12-10-25
Discussion
49
ET TRAVAUX FUTURS
Soutenance de thèse
© Sylvie Trudel
Discussion
50
—  Exploration de la participation d’un mesureur au
sein d’une équipe d’inspection
—  Relation entre les défauts et la taille fonctionnelle
—  Formation pratique de l’application de la méthode
COSMIC
—  Le coût de la mesure de la taille fonctionnelle
© Sylvie Trudel
Soutenance de thèse
25
12-10-25
Travaux futurs
51
—  Traiter les défauts et autres points résiduels et
publier le document uObserve SRS v3.0
¡ 
Incluant une mesure fonctionnelle vérifiée en tant que cas
d’étude
—  Quantifier plus abondamment l’impact des défauts
dans les exigences fonctionnelles sur la mesure de la
taille
Soutenance de thèse
© Sylvie Trudel
Recommandations et
impacts pour l’industrie
52
CONTRIBUTIONS DE LA RECHERCHE
© Sylvie Trudel
Soutenance de thèse
26
12-10-25
Process/Phases
Phase 1: Refine research methodology
Ce qui ressort
de la
recherche
(outcomes)
(3.1)
Pilot project experiment
Select and prepare experimental
material
(3.3)
Phase 2: Compare efficiency and
effectiveness (unit cost) of COSMIC
and an inspection approach
Experiments with experts and
practitioners with limited
experience
(4.2 & 4.3)
Outcomes
App.XV
Usage of uObserve SRS v1.0 in Zayed University
Competition in IT where students had to find the
highest number of defects
Best paper award
App.X
IWSM 2008
Improving quality of functional requirements by
measuring their functional size
App.X
I
IWSM 2009
Functional size measurement quality
challenges for inexperienced measurers
Inputs to Guideline for
assuring the accuracy of
measurements
53
App.X
II
SERA 2010
Functional requirement improvements through size
measurement: a case study with inexperienced
measurers
App
Phase 3: Prepare next phase
experimental material
.XIII
Published in IJCIS
The contribution of functional size measurers in defects
identification: a case study with inexperienced
measurers
Update uObserve SRS from v1.0 to
v2.0
(5.2)
App.XIV
IWSM 2011
Bidirectional influence of defects and functional size
Phase 4: Determine influence of
defects on functional size
Experiments with experts and
measurers with limited experience
(5.3 & 5.4)
(7.1)
To COSMIC MPC
Improvement suggestion to the COSMIC method
(7.2 & 7.3)
To COSMIC MPC
Proposed improvement to COSMIC training material
To be published in IEICE (Japan)
Bidirectional Influence of Defects and Functional Size: A
Comparative Study Based on Measurers’ Experience
Soutenance de thèse
© Sylvie Trudel
Améliorations proposées à la norme COSMIC
54
Version 3.0
© Sylvie Trudel
1.  Processus de mesure
2.  Règle d’étiquetage du
résultat de la mesure
3.  Règle de reddition de la
mesure
•  Liste des défauts identifiés
•  Liste des hypothèses de
mesure
4.  Enregistrement des défauts
et hypothèses de mesure
Version 4.0
Soutenance de thèse
27
12-10-25
Nouvelle utilisation de la méthode COSMIC
55
Ajout d’un rôle de mesureur lors d’une inspection
Équipe d’inspection
Mesureur
Soutenance de thèse
© Sylvie Trudel
Améliorer la formation des nouveaux mesureurs
56
Plus d’exercices pratiques
© Sylvie Trudel
Soutenance de thèse
28
12-10-25
57
Liste de
vérification
COSMIC
1-Pager
Soutenance de thèse
© Sylvie Trudel
Contribution au
“COSMIC Guideline to ensure measurement verification”
58
Liste des erreurs fréquentes de
mesure
© Sylvie Trudel
Soutenance de thèse
29
12-10-25
Évaluer les compétences
59
uObserve
SRS
v1.0
Mesureur
expert
Inspecteur
uObserve
SRS
v2.0
Mesureur
intermédiaire
uObserve
SRS
v3.0
Mesureur
débutant
Soutenance de thèse
© Sylvie Trudel
60
© Sylvie Trudel
Soutenance de thèse
30
12-10-25
Applications industrielles de la
méthode COSMIC
61
SUCCÈS, DÉFIS ET ANECDOTES
62
© Sylvie Trudel
Soutenance de thèse
31
12-10-25
Succès
63
—  Amélioration de productivité
¡  Principe: on ne peut pas contrôler ce qu’on ne mesure pas
¡  Plusieurs cas où la productivité a doublé, voire triplé
—  Amélioration de la qualité des exigences
¡  En mesurant la taille, plusieurs organisations ont décidé de
revoir la façon dont les exigences fonctionnelles sont
documentées
—  Bons résultats d’étalonnage
Séminaire du LATECE
© Sylvie Trudel
Défis
64
—  Piètres résultats d’étalonnage
¡  L’industrie québécoise est de 2 à 4 fois moins productive que
ses concurrents internationaux dans le même domaine
d’affaires
÷  Modèle
d’affaires en sous-traitance du développement à revoir!
÷  Processus lourd et en cascades à remplacer!
© Sylvie Trudel
Séminaire du LATECE
32
12-10-25
Période de questions
65
?
Soutenance de thèse
© Sylvie Trudel
Modèles de bonnes pratiques
66
—  CMMI : Modèle d’évolution des capacités
« Requirements development »
¡  « Requirements management »
¡  « Verification »
¡ 
—  ISO/IEC 12207: Processus de développement
logiciel
—  SWEBOK: Corpus de connaissances en génie
logiciel
¡ 
Chapitre 2: Exigences logicielles
© Sylvie Trudel
Soutenance de thèse
33
12-10-25
Assurer la qualité des exigences
67
—  Revues
¡  Servent à identifier et corriger les défauts des exigences
¡  Revues d’exigences en groupe ou en comité
(MIL Std 2167A, ISO/IEC 12207)
—  Revues par les pairs (inspections)
¡  Introduites par Fagan en 1976
¡  Plusieurs méthodes disponibles, dont Fagan, Gilb &
Graham, CRIM (variante de Gilb & Graham)
¡  Quelques mesures dérivées
÷  Efficience
÷  Efficacité
(ou coût unitaire) = effort / défaut
= # défauts trouvés et corrigés en inspection
# défauts total
Soutenance de thèse
© Sylvie Trudel
Mesure de taille fonctionnelle
68
—  Historique des méthodes de mesure
—  Normes ISO/IEC
—  Méthode COSMIC-FFP
© Sylvie Trudel
Soutenance de thèse
34
12-10-25
Motivation de la recherche
69
—  Comprendre et quantifier jusqu’à quel point la
méthode COSMIC contribue à l’identification des
défauts des exigences fonctionnelles
¡ 
Origine: observations empiriques du chercheur dans sa
pratique professionnelle
Soutenance de thèse
© Sylvie Trudel
Originalité des travaux envisagés
70
—  Appliquer la méthode de mesure de taille
fonctionnelle COSMIC en tant qu’activité de
vérification d’exigences fonctionnelles
¡ 
Démontrer son efficacité et son efficience avec des données
© Sylvie Trudel
Soutenance de thèse
35
12-10-25
Cadre expérimental
71
I. 
Motivation
Object
Verify the contribution of the
COSMIC method to identify Functional
defects in functional
requirements
requirements
Purpose
Evaluate
quantitatively
Definition
Perspective
Requirements
Inspectors
COSMIC
Measurers
I. 
Scope
Requirements engineering
(functional requirements) and
measurement (sizing)
One requirements
specification
document
Planning
Design
Criteria
Pilot project
Statistical analysis methods
Defect types and categories
Participant types and experience levels
Preparation
Domain
Measurement
Number of defects per participant
Number of unique defects per team
Effort
Functional size
I. 
Operations
Data analysis
Preliminary analysis: experts and practitioners with limited experience separately
Formal analysis:
• 
combined data from Phase 2 experiments
• 
data from Phase 4 experiments
Execution
Select and print material
Collect data
Call for participation
Verify data
Train participants
Interpretation context
Within one inspection approach, one set of SRS
document, multiple inspectors and multiple
measurers and one functional sizing method
I. 
Interpretation
Extrapolation
Impact
Identification of defects while
measuring
Application of the COSMIC method as a
means to identify defects
Basé sur (Basili, Selby et Hutchens, 1986)
© Sylvie Trudel
Soutenance de thèse
Séquence temporelle des expérimentations
72
Phase 2
1st
2nd
experimental
session
experimental
session
3rd
experimental
session
Phase 3
Update
uObserve
SRS
Phase 4
Measurers with
limited experience
experimental session
Expert measurers
experimental session
Time
© Sylvie Trudel
Soutenance de thèse
36
12-10-25
Résultats comparatifs: Effort
73
Effort (minutes)
140
Augmentation de
l’effort de 49%
120
100
80
60
40
20
117
86,5
58
0
v1.0
v2.0
(tous)
v2.0
(sans le point
extrême)
Effort relatif moyen: 1,5 min/PFC à Était 1,0 min/PFC
Soutenance de thèse
© Sylvie Trudel
Menaces à la validité
74
—  Évolutions de la méthode COSMIC pendant la
recherche
—  Barrière linguistique du SRS
—  Document SRS provenant d’un seul système
© Sylvie Trudel
Soutenance de thèse
37
12-10-25
Amélioration du processus de mesure
75
Goals
Software Context
Model
•  Purpose of the
measurement
Chapter 2
Measurement
strategy
•  Scope of each piece of
software to be measured
•  FUR in the artefacts of the
software to be measured
•  FUR in the form of the
Generic Software Model
Chapter 3
Mapping
Phase
•  Generic Software Model
•  Defect list and related
assumptions
Chapter 4
Measurement
Phase
Functional size
interval of the software
in units of CFP:
•  Basic size +
•  Assumption size
The Measurement Process
Soutenance de thèse
© Sylvie Trudel
Amélioration à la phase de mesure
76
COSMIC Measurement Phase
•  FUR in the form of the
Generic Software Model
•  Defect list and related
assumptions
Section 4.1
Section 4.2
Apply
Measurement
Function
Identify Data
Movements
No
All
functional
processes
measured
?
Yes
© Sylvie Trudel
Section 4.3
Section 4.4
Aggregate
Measurement
Results
Verify
Measurement
Assumptions
and Results
recorded
information
Functional size interval of
the software in units of
CFP:
•  Basic size +
•  Assumption size (if any)
Soutenance de thèse
38
12-10-25
Amélioration à la règle d’étiquetage
77
Proposé
Avant, v3.0.1 de COSMIC
—  A COSMIC measurement result
—  A COSMIC measurement result
shall be noted as
“x CFP (v.y)”, where:
¡ 
¡ 
shall be noted as
“[x - z] CFP (v.y)”, where:
“x” represents the numerical value of
the functional size,
“v.y” represents the identification of
the standard version of the COSMIC
method used to obtain the numerical
functional size value “x”.
“x” represents the numerical value of
the base functional size,
¡  “z” represents the numerical value of
the assumptions size plus “x”,
¡  “v.y” represents the identification of
the standard version of the COSMIC
method used to obtain the numerical
functional size value “x”.
EXAMPLE: A result obtained using the
rules of this Measurement Manual
provides a base functional size of 200
CFP while the size of remaining
assumptions is 30. The result is
recorded as “[200‑230] CFP (v3.0)”.
¡ 
Soutenance de thèse
© Sylvie Trudel
Ce qui ressort de la recherche (outcomes)
78
—  Publication des résultats intermédiaires
1. 
Improving quality of functional requirements by measuring their functional size
X
p. International Workshop on Software Measurement (IWSM) 2008, Munich
Ap
(Allemagne) à Best Paper Award
Functional size measurement quality challenges for inexperienced measurers, IWSM
I
. X 2009, Amsterdam (Pays-Bas)
p
Ap
3. 
Functional Requirement Improvements through Size Measurement: A Case Study
II
. X with Inexperienced Measurers, Software Engineering Research, Management &
p
Ap
Applications (SERA) 2010, Montréal (Canada)
4. 
The Contribution of Functional Size Measurers in Defects Identification: A Case Study
III with Inexperienced Measurers, dans le International Journal of Computer and
X
p.
Ap
Information System (IJCIS)
. 5. 
p
Bidirectional Influence of Defects and Functional Size, IWSM 2011, Nara (Japon)
Ap V
XI 6. 
Bidirectional Influence of Defects and Functional Size: A Comparative Study Based on
À re Measurers’ Experience, à paraître dans un numéro spécial sur la fiabilité du journal
t Information & Systems de The Institute of Electronics, Information and
raî
pa
Communication Engineers (IEICE) (Japon)
2. 
© Sylvie Trudel
Soutenance de thèse
39