Études Empiriques

IFT3913
Qualité du logiciel et métriques
Chapitre 6
Études empiriques
Plan du cours
Introduction
Qualité du logiciel
Théorie de la mesure
Mesure du produit logiciel
Mesure de la qualité du logiciel
Études empiriques
Collecte et analyse des métriques
Test du logiciel
2
1
1. Introduction
Nécessité d’avoir des modèles de prédiction
de la qualité
Hétérogénéité des systèmes, des processus
et des organisations
Absence de modèles de prédiction généraux
Nécessité de mener des études empiriques
pour adapter, valider ou construire des
modèles de prédiction
3
2. Éléments d’une étude empirique
Objectif de l’étude
Conception
Techniques de collecte de données
Considérations pratiques
Techniques d’analyse de données
Application des résultats
4
2
3. Étapes d’une étude empirique
1.
2.
3.
4.
Choisir le type d’étude
Définir et énoncer les hypothèses
Définir et étudier les variables
Interpréter et généraliser les résultats
5
4. Choisir le type d’étude
Méthode scientifique
– Ensemble de principes qui guident le
processus de production des
connaissances scientifiques
•
•
•
•
Observations
Expériences
Raisonnements
Calculs
6
3
4. Choisir le type d’étude
Méthode hypothético-déductive
– Méthode scientifique qui consiste à formuler
une hypothèse afin d'en déduire des
conséquences observables futures (prédiction)
ou passées (rétrodiction), permettant d'en
déterminer la validité
– Basée sur l’induction
– Induction : chercher des lois générales à partir
de l'observation de faits particuliers, sur une
base probabiliste
7
4. Choisir le type d’étude
Expérience
– Étude rigoureuse et contrôlée qui consiste à
• identifier les facteurs principaux qui peuvent affecter les
résultats d'une activité
• Manipuler ces facteurs pour étudier leur impact sur les sorties
Étude de cas
– Technique qui consiste à
• identifier les facteurs principaux qui peuvent affecter les sorties
d'une activité
• documenter l'activité: entrées, contraintes, ressources et
sorties
Étude d’ensemble (sondage)
– Étude rétrospective d'une situation
– Comparaison avec des situations semblables
8
4
4. Choisir le type d’étude
Expériences
– Ensemble d’actions et d’observations
objectives réalisées pour résoudre un
problème, répondre à une question ou
confirmer/réfuter une hypothèse sur un
phénomène
– Sciences « dures » et « molles »
– Pourquoi les lapins ne portent-ils pas de
lunettes?
9
4. Choisir le type d’étude
Expériences contrôlées
– Comparaison des résultats d’une
expérience avec un groupe de contrôle
(quasi-)identique sauf pour l’aspect sur
lequel l’expérience porte
Ex. : « Ce calcul est plus lent avec le
nouvel algorithme »
Ex. : « placebo et médicament »
10
5
4. Choisir le type d’étude
Expériences « naturelles »
– Aucune variable n’est manipulée
– Observation (pas manipulation) de
variables quand toutes les autres variables
restent constantes
Ex. : « Les soleils sont des nuages
d’hydrogène qui se sont effondrés sur
eux-mêmes »
11
4. Choisir le type d’étude
Quasi-expériences
– Impossible de tester physiquement
(concrètement) les hypothèses
– Impossible de former un « vrai » groupe de
contrôle pour des raisons pratiques (et
éthiques)
– Pas d’équivalence entre groupe d’étude et
groupe de contrôle
Ex. : « Un vaccin contre le cancer »
12
6
4. Choisir le type d’étude
Étude de cas
– Étude en détail d’une seule occurrence
d’un phénomène
• Cas
– Compréhension de pourquoi l’occurrence
s’est produite comme elle s’est produite
– Génération d’hypothèses, faible
généralisation
13
4. Choisir le type d’étude
Étude de cas (situations)
– Illustration
– Exploration
– Occurrence « critique »
– Implantation d’un programme
– Effets d’un programme
14
7
4. Choisir le type d’étude
Étude d’ensemble/sondage/enquête
– Généraliser les données recensées sur
quelques centaines d’occurrences à toutes
les occurrences possibles
15
4. Choisir le type d’étude
Étude d’ensemble/sondage/enquête
Dates
CON
LIB
NDP
BQ
GRN
23/01
36,3
30,2
10,5
17,5
4,5
22/01
38,0
27,0
19,0
12,0
4,0
22/01
37,0
27,0
19,0
11,0
6,0
22/01
36,4
30,1
17,4
10,6
5,6
21/01
37,0
27,0
18,0
11,0
6,0
21/01
37,0
28,1
17,7
11,3
6,0
IND
0,5
Sources : www.nodice.ca et www.elections.ca
16
8
5. Définir et énoncer les hypothèses
Le but de l’étude doit être clairement
énoncé
– Hypothèses
Une hypothèse est
– Une prédiction consistant à mettre en
relation une variable et un comportement
(qui forment un phénomène)
– Une affirmation provisoire qui décrit ou
explique un phénomène
– Une explication anticipée…
17
5. Définir et énoncer les hypothèses
Une hypothèse vient de
– Théories
– Observations
– Données recueillies précédemment
Ex. : « Les programmes écrits en Java
sont de meilleure qualité que ceux
écrits en C »
18
9
5. Définir et énoncer les hypothèses
Les notions quantitatives doivent être
claires et non ambiguës
Exemple :
– au lieu de formuler l’hypothèse « les
programmes écrits en Java sont de
meilleure qualité que ceux écrits en C »
– utiliser par exemple l’hypothèse « les
programmes écrits en Java nécessitent
moins d’effort de maintenance que ceux
écrits en C »
19
6. Définir et étudier les variables
Une fois l’hypothèse définie, il faut décider
quelles variables peuvent affecter sa vérité
Il faut évaluer le degré de contrôle sur
chaque variable.
La variable d’état ou variable indépendante
est une variable qui peut être manipulée et
qui caractérisera l’objet de l’étude et
influencera les résultats de l’étude
Les résultats de l’étude sont représentés par
les valeurs des variables dépendantes
20
10
6. Définir et étudier les variables
Dans le cas d’une étude générale, on ne peut
pas définir de variables
Dans le cas d’une étude de cas, les variables
indépendantes prennent les valeurs typiques
du cas
Dans le cas d’une expérience, un
échantillonnage est effectué en fonction des
variables indépendantes
Une expérience permet une meilleure
généralisation des résultats qu’une étude de
cas
21
7. Interpréter et généraliser les résultats
Pour la confirmation de théories ou de
croyances
– L’étude générale et l’étude de cas
permettent de confirmer une théorie ou
une croyance pour une organisation ou un
cas
– L’expérience permet de confirmer une
affirmation dans un cadre plus général
22
11
7. Interpréter et généraliser les résultats
Exploration de relations
– Une relation peut être suggérée par une
étude de cas ou une étude générale
– Une expérience peut évaluer le degré
d’une relation
23
7. Interpréter et généraliser les résultats
Évaluation de l'exactitude de modèles
– Les expériences peuvent confirmer ou
réfuter l'exactitude de modèles
– Il faut cependant que le modèle n’influence
pas la conception de l’expérience et en
particulier l’échantillonnage
24
12
8. Éléments d’une expérience
Objectif : tester une hypothèse
Définitions
–
–
–
–
–
–
–
–
Les manipulations s'appellent traitement
Un essai unique est un cas
Une expérience est ensemble d‘essais
Les objets ou les unités expérimentaux sont les objets
auxquels le traitement est appliqué
Les personnes appliquant le traitement sont les sujets de
l'expérience
Le (ou les objets) de contrôle est un objet non concerné par
le traitement et utilisé pour la comparaison,
La réponse ou les variables dépendantes sont les facteurs
qui sont supposés changer en raison de l'application du
traitement.
Les variables indépendantes sont les facteurs qui peuvent
influencer l'application du traitement et donc indirectement
les résultats de l'expérience
25
8. Éléments d’une expérience
Préparation
– Préparer les sujets à l’application du
traitement
• Formation
• Instruction écrite
Déroulement
– Application du traitement aux objets selon
le plan de l’expérience
26
13
8. Éléments d’une expérience
Analyse
– Deux étapes
• Valider les mesures prises lors de l’expérience
• Analyser en utilisant des outils statistiques les données
récoltées pour confirmer ou réfuter l’hypothèse
Diffusion et prise de décision
– Les conclusions doivent être suffisamment
commentées pour permettre à des tiers de répéter
l’expérience
– Trois utilisations des résultats
• Mettre en œuvre les changements suggérés
• Application des changements à une échelle plus grande
• Conduire des expériences plus précises pour aboutir à
des résultats plus précis
27
8. Éléments d’une expérience
Erreurs types
–
–
–
–
–
erreurs d'expérimentation
erreurs d'observation
erreurs de la mesure
la variation des ressources expérimentales
les effets combinés de tous les facteurs non
explicitement pris en compte
Remèdes
– Répéter l’expérience plutôt que la mesure
– Utiliser une approche aléatoire pour éviter les
biais
28
14
9. Validité d’une étude empirique
Des facteurs peuvent limiter les possibilités
d’interpréter et de tirer des conclusions des résultats
Quatre types de validités peuvent être affectés
– Validité de conclusion qui signifie que les conclusions tirées
sont uniquement le résultat de l’impact des traitements sur
les sorties
– Validité de construction qui signifie que les variables
indépendantes et dépendantes modélisent adéquatement
les hypothèses
– Validité interne qui signifie que les changements dans la
variable dépendante peuvent être raisonnablement attribués
aux changements dans les variables indépendantes
– Validité externe qui signifie que les résultats de l’étude
peuvent être généralisables à des cas qui ne sont pas inclus
dans l’étude.
29
10. Étude de cas
30
15