Clio SA - Comparatif de solutions de tests

Rue Michel Chauvet, 11 - CH - 1208 Genève
Tél. +41 22 787 06 50 - www.clio.ch
Comparatif de solution de tests
Document :
Comparatif de solution de tests
Auteur (s) :
M. Rachid Oudia, CLIO SA
M. Renaud Saint-Laurent, CLIO SA
M. Bertrand Zufferey, Consultant, CLIO SA
Destinataire (s) :
Type document :
Etude comparative
Version / Statut :
1.0
Date :
04.09.2008
/ approuvé
SOMMAIRE
1
Executive Summary ............................................................................................... 3
2
Gestion de campagne de tests.............................................................................. 3
2.1
RTH ............................................................................................................................... 3
2.2
Testopia (Mozilla/Bugzilla Project) ............................................................................. 4
2.3
Quality Center .............................................................................................................. 5
2.4
Borland SilkCentral...................................................................................................... 6
3
Automatisation de tests fonctionnels................................................................... 7
3.1
Selenium....................................................................................................................... 7
3.2
HP QuickTest Pro......................................................................................................... 7
3.3
QFTestJUI..................................................................................................................... 8
4
Tests de performance ............................................................................................ 9
4.1
Opensta ........................................................................................................................ 9
4.2
HP Loadrunner ........................................................................................................... 10
4.3
HP Performance Center............................................................................................. 10
4.4
Borland Silkperformer ............................................................................................... 11
05/09/2008
Etude comparative de solution de tests
Clio SA - Rue Michel Chauvet, 11 - CH- 1208 Genève - Tél. +41 22 787 06 50 - www.clio.ch
page: 2/12
1 Executive Summary
Ce document est une synthèse du marché des logiciels de tests à l’heure actuelle. Il n’a pas la prétention d’être
exhaustif mais a pour but de mettre en avant les avantages et inconvénients des outils de tests les plus aboutis à
l’heure actuelle. Ce document doit vivre au gré du temps au fur et à mesure de l’évolution du marché.
Il couvre 3 aspects du monde du test :
La gestion de campagne de tests
L’automatisation des tests fonctionnels
Les tests de performances
Ces 3 domaines correspondent au découpage du document.
2 Gestion de campagne de tests
2.1 RTH
Il s’agit d’une solution de gestion de tests opensource. Elle convient aux petites structures de tests logiciels ayant peu
d'application à tester, et un nombre limité d'intervenant et de volume de tests, les méthodes de tests doivent être
simples, figées et proche de celles implémentées en natif dans l'outil sinon l'effort de maintenance du produit sera
élevé par rapport aux couts de tests non outillés.
En plus des couts de mise en œuvre d'un tel outil (et de la complexité du paramétrage pour mapper l'outil sur les
processus de tests), il faut ajouter les couts d'utilisation qui vont inclure le fait que cet outil ne respecte pas un certain
nombre de bonnes pratiques ISTQB
Dans le cadre de petites structures de tests, ces coûts mériteraient d'être comparés avec une démarche:
- Gestion des anomalies outillées
- Gestion des exigences de tests et tests non outillées (ou outillée ponctuellement via des macros ou templates Office)
Avantages:
Architecture Simple (Application WEB – PHP & MySQL)
Installation rapide et simple
Portail collaboratif full web
Facile à utiliser
Couvre toutes les activités de tests (Exigences, fiches de tests, testsets et anomalies)
Inconvénients :
Module de gestions des anomalies assez simpliste
Impossibilité de paramétrer le processus de test
05/09/2008
Etude comparative de solution de tests
Clio SA - Rue Michel Chauvet, 11 - CH- 1208 Genève - Tél. +41 22 787 06 50 - www.clio.ch
page: 3/12
Rigidité du processus (un testeur ouvre des anomalies, les développeurs les ferme)
Absence de qualification ou de gestion des erreurs intermédiaire
Rigidité des métas-data pour organiser les anomalies
Reporting de type snapshot : absence d’évolution, d’historique pour la gestion de projet de tests
Très peut de champs paramétrables
Gestion des groupes et permissions statiques
Paramétrage des rapports absents: KPI non paramétrables, Vue uniquement par release / build
Introduction tardive de la gestion des releases
Complexité de paramétrage (à effectuer dans le code pour les fonctions non gérées dans l’API)
Maintenance (faible documentation et support applicatif inexistant)
Efficience : un certains nombres de bugs applicatifs dans l’interfaces à corriger pour garantir l’usage du
produit
2.2
Testopia (Mozilla/Bugzilla Project)
Il s’agit d’une solution de gestion de tests opensource basée sur Bugzilla. Les outils et méthodes sont orientés pour le
développement et les tests de bas niveau. La solution ne semble pas bien adaptée à des phases de tests de haut
niveau (Utilisateur).
La solution est assez lourde à mettre en œuvre du fait de la richesse de la gestion de configuration.
La solution est livrée avec des méthodologies :
http://landfill.bugzilla.org/testopia2
http://landfill.bugzilla.org/testopia2/testopia/doc/Manual.pdf
Cette solution s’adresse essentiellement à des organisations dont les processus de tests sont figés, à des équipes de
développement (outils peu adapté pour des tests gérés par des analystes métier, testeurs métier ou utilisateur final)
ayant un fort besoin et volume de tests unitaires. Elle s’adresse également à des équipes familières de l’outil Bugzilla.
La solution nécessite une maturité et un investissement au niveau de la gestion des environnements, des composants
...
Elle nécessite également l'utilisation de méthodes ou d'outils tiers pour la gestion des tests de haut niveau (UAT et
fonctionnels) et pour la gestion des exigences.
Avantages :
La solution est couplée avec Bugzilla (un gestionnaire de ticket, leader dans le monde opensource)
Existence d'un support et d'une communauté (Contrairement à RTH)
La solution regroupe les outils suivants: gestion de configuration et version, gestion des environnements,
gestion des tests, gestion des anomalies
L’outil est adapté à des tests de bas niveau (unitaire ou intégration), méthode implémentée fortement adaptée
à ces phases de tests
05/09/2008
Etude comparative de solution de tests
Clio SA - Rue Michel Chauvet, 11 - CH- 1208 Genève - Tél. +41 22 787 06 50 - www.clio.ch
page: 4/12
Inconvénients :
Nécessite l’utilisation de Bugzilla comme gestionnaire de ticket
Rigidité de la configuration
Le processus est fortement lié aux tests de bas niveau (tests unitaires et tests d’intégration) et est donc peu
adapté à des tests métiers ou système.
Lourdeur et rigueur imposées par la gestion des environnements et gestion des configurations.
Pas de gestion exigences
KPI et reporting peu paramétrable
Pas d'ouverture vers outils ou systèmes tiers
L’utilisation et l’ergonomie de l’outil s’adressent plus à des développeurs que des analystes métiers, testeurs
métiers ou utilisateur finaux
Vu le grand nombre de processus gérés par l’outil, sa mise en œuvre nécessite un investissement
conséquent de temps et de ressources
2.3 Quality Center
Il s’agit de l’outil leader pour la gestion des tests. Il est édité par la société HP (suite au rachat de la société Mercury
Interactive). Il convient à tous types de structures de tests (large ou petite). Les coûts de maintenance et de
paramétrage initiaux sont très faibles.
Avantages :
La solution est basée sur un portail collaboratif avec usage d’activeX qui augmentent l'ergonomie
L’outil est intuitif
Il couvre toutes les activités de tests
Il s’agit de la seule solution à proposer:
- Génération de plan de test
- Gestion des risques
- Gestion efficace des releases
Grande facilité à implémenter tous types de demandes ou méthodes de tests dans l'outil
Grande facilité à implémenter tous types de reporting ou KPI
polyvalence de l’outil aussi bien pour les phases de tests de bas niveau (unit test) et haut niveau (UAT)
Forte ouverture de l'outil avec des référentiels tiers ou outils de tests automatiques
Inconvénients :
Cout d'acquisition jugé parfois élevé (à mitiger par le gain en termes de flexibilité apporté par l'outil)
Le client activeX pose certain problèmes de déploiement dans certains contextes
Le paramétrage natif de l'outil correspond pas toujours aux besoins des clients (et aux bonnes pratiques
ISTQB)
05/09/2008
Etude comparative de solution de tests
Clio SA - Rue Michel Chauvet, 11 - CH- 1208 Genève - Tél. +41 22 787 06 50 - www.clio.ch
page: 5/12
2.4 Borland SilkCentral
Il s’agit de la solution de gestion de campagne de tests éditée par Borland (Suite au rachat de la société Segue). Il
convient à de larges structures de tests. Le paramétrage reste moins flexible que HP Quality Center. Son intuitivité et
sa méthodologie native sont intéressantes.
La solution est destinée à de larges structures dont les méthodologies de tests sont stabilisées et sont proches de
celles implémentées en natif dans l'outil. En effet, il est plus difficile et coûteux d'adapter un tel outil aux méthodes et
pratiques d'une organisation. Cependant le paramétrage de base semble plus proches des standards ISTQB que HP
Quality Center.
Avantages :
Simplicité d'utilisation
Simplicité d'installation
Pur web (Ajax) => ergonomie et simplicité
Paramétrage natif plus pertinent que QC
Intégration avec valorisation des données de tests
Intégration support tests statiques
Gestion des tests "bas niveau" unit test plus intéressante que QC
Facilité à produire des rapports ou KPI via interface
Inconvénients :
Coûts proches de ceux de QC pour une flexibilité plus faibles
Flexibilité du paramétrage plus faible que QC
Administration plus complexe que QC
Gestion des tests métiers moins intéressante que QC
Gestion des problèmes / anomalie complexes
Pas de génération automatique des cas de tests
Faible ouverture de l'outil pour du reporting ou de l'intégration à la demande
05/09/2008
Etude comparative de solution de tests
Clio SA - Rue Michel Chauvet, 11 - CH- 1208 Genève - Tél. +41 22 787 06 50 - www.clio.ch
page: 6/12
3 Automatisation de tests fonctionnels
3.1 Selenium
Il s’agit d’un outil opensource qui convient uniquement aux petites tâches d'automatisation proche des tests unitaires.
N'est plus valide pour les tests fonctionnels multiplateformes. A mettre dans les mains des développeurs uniquement.
Avantages :
L’outil dispose d’une API accessible par plusieurs langages (principalement Java, Perl, PHP) donc possibilité
de réutilisation/modularité
Un plug-in est disponible pour l'enregistrement de scripts
Inconvénients :
La modularité, l'externalisation des données doit être programmée
Le plug-in d'enregistrement est disponible uniquement pour Firefox
L'enregistrement ne permet pas l'insertion de validations (checkpoints)
L'object repository n'est pas séparé du script
La reconnaissance des composant graphique se base uniquement sur le DOM de la page html générée (via
XPATH) d'où un problème de résistance aux changements lors de changement de display
Seul les front-ends web sont automatisables
Support insatisfaisant
3.2 HP QuickTest Pro
Il s’agit d’un outil d’automatisation des tests fonctionnels éditée par HP (Suite au rachat de Mercury Interactive). Il
convient aux applications hétérogènes pour autant que ces applications soient prises en charge par les différents plugins disponibles. Il s'exécute exclusivement sur Windows.
Avantages :
Facile de prise en main et d'utilisation
Fonctionne en mode Record/Replay, efficace
Object Repository séparé du script
Données dissociables du script
Réutilisation et modularité possible
Gestion des exceptions
Intégration parfaite avec le repository de test
05/09/2008
Etude comparative de solution de tests
Clio SA - Rue Michel Chauvet, 11 - CH- 1208 Genève - Tél. +41 22 787 06 50 - www.clio.ch
page: 7/12
Rapports pertinents
Simplicité du script (VBScript)
Application ouverte (Composants COM accessibles)
Paramètres d'exécution accessibles depuis QC
Très bon algorithme de reconnaissance des objets
Descriptive programming
Kit d'extension des objets de test
Inconvénients :
Utilisé intégré avec QC, l'exécution est très lente (download des scripts, upload des résultats)
Support insatisfaisant
Problèmes récurrents lors des exécutions (erreurs fatales, etc...)
Exécution lente si on inclut les captures d’écrans dans les rapports
Les actions réutilisables et les checkpoints sont référencés en dur dans un sous-script propriétaire, ceci rend
la gestion des chemins vers les actions réutilisables pas très souple et engendre des erreurs lors de la
manipulation des checkpoints
Problèmes lors de la copie de scripts et de test set dans QC (les tests peuvent perdre les relations vers les
scripts réutilisables qu'ils appellent – QTP n'arrive quelque fois plus à télécharger une action réutilisable
malgré la spécification d'un chemin valide)
3.3 QFTestJUI
Il s’agit d’un outil d’automatisation des tests fonctionnel bon marché qui convient parfaitement aux clients qui ont tout
misé sur les front-ends Java. Il s'exécute via Java sur de multiples plateformes.
Avantages :
Facile de prise en main et d'utilisation
Record/Replay efficace
Extrêmement rapide à l'exécution
Scripts légers
Object Repository séparé du script
Données dissociables du script
Réutilisation et modularité possible
Gestion des exceptions (meilleur que QTP)
Fiable (plus que QTP)
Facile exécuter en mode batch (meilleur que QTP dirigé par QC par défaut)
Pas cher
Références vers les scripts externalisés très efficaces (path relatifs ou absolus)
05/09/2008
Etude comparative de solution de tests
Clio SA - Rue Michel Chauvet, 11 - CH- 1208 Genève - Tél. +41 22 787 06 50 - www.clio.ch
page: 8/12
L'intégration dans un repository de test peut être fait facilement pour autant que l'environnement puisse
lancer le script en mode batch et récupérer en output le résultat (fonctionne très bien via Quality Center)
Support très réactif et compétent (en Allemagne – accès direct aux développeurs)
Inconvénients :
Le langage de script pour les fonctions user-defined est Jython (pas facile, peu connu)
Par défaut, les données externalisées sont des fichiers de propriétés (difficultés à gérer les données
dynamiques)
Essentiellement pour AWT & Swing (à confirmer pour SWT)
4 Tests de performance
4.1 Opensta
Il s’agit d’un outil opensource de tests de performance qui fonctionne en mode record/replay. Il convient aux structures
réalisant de façon ponctuelle des tests de performance exclusivement sur le protocole HTTP. Le monitoring doit être
assuré par les équipes systèmes (monitoring limité). Pour de fortes volumétries (>1000 utilisateurs concurrents il est
recommandé d’utiliser des solutions alternatives).
Avantages :
Gestion par contrôleur et injecteurs comme les outils payants
Solution fiable jusqu’à environ 1000 utilisateurs
Pas de support, mais communauté active sur Internet
Langage de programmation propre SCL (Script Control Langage),
Logique de scripts identique aux autres solutions de tests (timers, thinktimes, commentaires, analyse de
fichiers sources…)
Fonctionne en mode record-replay.
Scripts bien lisibles.
Inconvénients :
Limité au protocole HTTP
Monitoring limité aux infrastructures MS Windows et au protocole SNMP
Installation sous MS Windows seulement
Problème de stabilité pour les hautes volumétries (> 1000 Vus concurrents)
La maintenance des scripts restent plus complexes que les solutions Loadrunner ou Silkperformer
(pas d’aide au développement par la variabilisation)
05/09/2008
Etude comparative de solution de tests
Clio SA - Rue Michel Chauvet, 11 - CH- 1208 Genève - Tél. +41 22 787 06 50 - www.clio.ch
page: 9/12
4.2 HP Loadrunner
Il s’agit du leader sur le marché des outils de tests de performance. Il est édité par la société HP (Suite au rachat de la
société Mercury Interactive). Il s’agit d’une solution très performante mais chère qui convient aux structures qui
souhaite se doter du must en termes de solution de tests de charge. Le support est décevant.
Avantages :
Multitude de protocoles supportés
Possibilité de scripter à différents niveaux (GUI et protocole)
Relativement rapide à prendre en main
Nombre de sondes pour le monitoring très important
Résultats fiables
Solution robuste et reconnue sur le marché
possibilité de mixer des protocoles
Possibilités de suivre les résultats de tests en live
Fonction d'analyse et de corrélation avancée
Fonctionne dans les réseaux sécurisés (encapsulation des flux de communication entre les composants de
LR)
Fonctionne aussi sous Unix/Linux
Fonctionne pour la plupart des protocoles en mode record-replay
Inconvénients :
Solution très chère
Support pas toujours très efficace
Knowledge base plus très efficace depuis le passage chez HP
Solution moins stable qu'avant (version précédente) (fermetures intempestives de tps en tps)
4.3 HP Performance Center
Cette solution également éditée (tout comme Loadrunner cf. 4.2) est éditée par la société HP. Performance Center
consiste en une version portail de LoadRunner qui permet de gérer de multiples campagnes de tests de performances
simultanément.
Il s’agit d’une solution pratique pour des multinationales ou de grandes structures qui disposent de sites éparpillées.
L’outil convient également à des grosses équipes de tests qui ont des besoins concurrents en tests de performances.
05/09/2008
Etude comparative de solution de tests
Clio SA - Rue Michel Chauvet, 11 - CH- 1208 Genève - Tél. +41 22 787 06 50 - www.clio.ch
page: 10/12
Avantages :
Solution qui s'appuie sur LoadRunner mais avec une approche collaborative
Les scripts sont développées avec le module Vugen de LoadRunner,
Particulièrement pratique pour gérer plusieurs campagnes de tests simultanément ou depuis des sites
différents à chaque fois
Propose une historisation des tests
Gestion des groupes et utilisateurs
Toutes les fonctionnalités de LoadRunner sont disponibles
Solution stable
Solution full web
Plus de problème d'installation et de déploiement une fois en place
Inconvénients :
Architecture complexe (et hétérogène
Chargement des scripts très lent
Interface pas toujours pratique
Nécessite une infrastructure relativement importante (Serveur DB + 2 autres serveurs (repository +
admin)
Solution chère
4.4 Borland Silkperformer
Il s’agit de la solution de gestion des tests de performances éditée par la société Borland (suite au rachat de la société
Segue). Il s’agit du principal concurrent de LoadRunner au vue de sa fiabilité et du nombre de protocoles supportés.
La solution gère un peu moins de protocole que celle d’HP mais les plus courants sont disponibles, elle reste
cependant meilleure marché que celles proposé par HP.
Silkperformer ne gère pas l'approche portail de Performance Center mais permet une approche multi projets via un
serveur de licence flottante.
Avantages :
Solution robuste et éprouvée (anciennement édité par la société Segue il y a plusieurs années)
Prix beaucoup plus attractif que LoadRunner mais reste cependant un produit cher
Gère un grand nombre de protocoles (les plus courants sont très bien supportés)
Langage de programmation proche de Java
Nombre de sondes pour le monitoring très important
Résultats fiables
Fonction d'analyse et de corrélation avancée
Possibilité de générer des licences temporaires à partir d'une licence "normale" pour exécuter des tests sur
un autre site
05/09/2008
Etude comparative de solution de tests
Clio SA - Rue Michel Chauvet, 11 - CH- 1208 Genève - Tél. +41 22 787 06 50 - www.clio.ch
page: 11/12
Nous avons des compétences sur ces solutions
Inconvénients :
Moins connu en Europe
Pas de contacts locaux mais Borland France
Nombre de protocoles supportés moins importants
05/09/2008
Etude comparative de solution de tests
Clio SA - Rue Michel Chauvet, 11 - CH- 1208 Genève - Tél. +41 22 787 06 50 - www.clio.ch
page: 12/12