Les instruments de mesure de la performance

tendance ➶
Les instruments de mesure de la performance
RAYMOND RIVEST
([email protected]) EST SPÉCIALISTE DE TEST,
CRIM CENTRE DE TESTS DU LOGICIEL
AUTOMATISATION DES TESTS DE
PERFORMANCE Ce dernier article de
la série sur l’automatisation des tests
de performance vise à vous permettre
d’aller plus loin dans votre quête
d’informations sur le sujet.
■ Plusieurs types de logiciels d’automatisation sont utilisés dans les tests de performance. Chaque type d’outils comport e
une spécialité qui lui est propre et des mesures de performance adaptées à ses fonctionnalités.
L’émulateur
Un émulateur a pour fonction de modifier
le comportement d’un système en fonction. Cette modification peut être matérielle ou logicielle et s’appliquer à l’interface (ex. un émulateur de terminal sur un
PC), ou au comportement d’une application (ex. le temps de transmission des messages sur un réseau).
Parmi les émulateurs matériels, notons:
● STORM de Shunra Software: http://
www.shunra.com
Parmi les émulateurs logiciels, notons:
● The Cloud de Shunra Software: http://
www.shunra.com
● NIST Net développé par NIST: http://
snad.ncsl.nist.gov/itg/nistnet/
Le simulateur
Un simulateur a pour fonction de projeter
de façon hypothétique une série d’actions
données ou d’extrapoler des résultats préenregistrés, en modifiant certaines variables relatives à ces résultats. Le but d’une
simulation est de visualiser un comportement sans les risques de la réalité.
Parmi les simulateurs réseaux, notons:
● EcoPredictor de Compuware Corporation: http://www.compuware.com
● N e twork Simulator de l’Inform a t i o n
Science Institute: http://www. i s i . e d u /nsnam/ ns/
Le moniteur
Un moniteur a pour fonction de mesurer à
intervalles réguliers l’activité sur un ordinateur ou sur un réseau, de manière à pouvoir comprendre le comportement d’un
élément du système. Il faut cependant
faire la distinction entre les différents types de moniteurs:
Matériels
● EcoTools de Compuware Corporation:
http://www.compuware.com
Réseaux
● EcoScope de Compuware Corporation:
http://www.compuware.com
● MediaPro, un outil spécialisé pour la visio-conférence de RadCom, distribué par
Telnet Inc.: http://209.167.64.132/
ourproducts/radcom/mediapro.html.
● C i sc oWorks de Cisco: htt p://ww w.
cisco.com
Code ou logiciel
● EcoTools de Compuware Corporation:
w w w. d i re c t i o n i n f o r m a t i q u e . c o m
http://www.compuware.com
● S i l kP e rf o rmer de Segue Software :
http://www.segue.com
L’agent
Un agent est un petit logiciel spécialisé
dont l’unique fonction est de transmettre
les informations qu’il recueille ou les instructions qu’il reçoit.
Microsoft fournit des agents de performance sur Windows NT 4.0 et Windows
2000. Ils s’installent à partir des services
réseaux, sous SNMP (Simple Network
Management Protocol), et couvrent de la
mémoire aux accès à la carte réseau.
D’autres outils comme EcoTools de
Compuware Corporation (http://www.
compuware.com) installent des agents
SNMP spécialisés pour Oracle,
SQL, IIS et autres.
Le profileur
Un profileur a pour fonction de mesurer et
d’analyser des caractéristiques partic u l i è res telles la
s t ru c t u re d’une
transaction SQL. Il
est essentiellement
utilisé à des fins de
diagnostic précis.
● Application Expert & Application Vantage de Compuware: http://www.
compuware.com
● Ethereal, un outil du domaine public:
http://www.ethereal.com
● Analyzer, un autre outil du domaine publi : http://www.netgroup.polito.it/
analyzer/
● Observer de Network Instruments:
http://www.networkinstruments
Le générateur de charge
Un générateur de charge a pour fonction
de reproduire un ensemble d’interactions
systèmes de façon automatique et contrôlée, avec la possibilité d’augmenter le
nombre d’interactions simultanées sans
pour autant requérir une augmentation
des ressources matérielles.
● QALoad de Compuware:
http://www. compuware.com
● SilkPerformer de Segue Software:
www. segue.com
● Evalid de Soft.com:
http://www. evalid.com
● LoadRunner de Mercury Interactive:
http://www.mercuryintgeractive.com
● PerformanceStudio de Rational Software:
http://www.rational.com
● MediaPro de Radcom, qui offre un générateur de charge spécialisé pour la visio-conférence: http://www.radcom.com
L’outil de capture et rejeu
Un outil de capture et rejeu a pour fonction de reproduire les interactions entre
un utilisateur et une application, en manipulant les contrôles, tels ceux du clavier ou
de la souris, de façon strictement virtuelle.
● Q AC e nter de Compuware:http://www.
compuware.com
SilkTest de Segue Software: http://www.
segue.com
● E v alid de Soft.com:http://www. evalid.com
● Rational Visual Test de Rational Software: http://www.rational.com
● Rational Robot de Rational Software:
http://www.rational.com
● WinRunner de Mercury Interactive:
http://www.mercuryinteractive.com
● La firme P1 Systems offre un petit logiciel d’automatisation bon marché mais qui
dispose d’un énorme potentiel appelé
Phantom: http://www.p1.com.
●
Où trouver de l’information ?
Avant de vous lancer dans l’acquisition d’outils de tests, il serait toujours bon de vous documenter
sur la question. Parmi les
re s s o u rces disponibles
sur Internet, signalons
au départ le groupe de
discussion nntp:
news://comp. softw a re.t esting. La
foire aux questions
( FAQ) de ce
groupe est disponible en format html
sur: http://www.
crim.ca/ctl/cst.FAQ.html.
Parmi les autres sources d’intérêts sur
le test et en particulier sur les outils, Betasoft maintient un forum de discussion à:
http://www.qaforums.com.
Plusieurs sources peuvent vous aider à
choisir les outils d’automatisation. Voici
celles qui nous semblent les plus exhaustives:
La FAQ des outils de tests, maintenue
par Danny Faught, ancien maître-d’œuvre
de FAQ de comp.soft ware . t e s t i n g :
http://www.testingfaqs.org/tools.htm
La liste de logiciels de tests de maintenue par StickyMinds:
http://www.stickyminds.com/tools.asp?tt=Tools+Guide&tth=Y
La FAQ maintenue par Rick Hower sur
les outils de tests axés sur le WWW: http://
www.softwareqatest.com/qattls1.html
Quelques références générales
Il existe plusieurs livres et articles sur les
tests et les outils de tests dont une liste détaillée est disponible à : http://www.stickyminds.com/books.asp??tt=Books+Guide&tth=Y
Parmi ceux recommandés :
Testing Computer Software, de Jack Falk,
Cem Kaner et Hung Nguyen, John Wiley
& Sons, 1999, ISBN 0471458460.
Automated Software Testing, de Elfreide
Dustin, John Paul et Jeff Rashka, Addison
Wesley, 1999, ISBN 0201432870.
Quality Web Systems, de Elfreide Dustin,
Jeff Rashka, Douglas McDiarmid et Jakob
Nielson, Addison We s l e y, 2001, ISBN
0201719363. Voir, en annexe de ce livre,
une étude comparative des principaux outils de tests.
Testing Object-Oriented Systems, de Robert Binder, Addison Wesley, 1999, ISBN
0201809389.
The Art of Software Testing, de Glenford
Myers, John Wiley & Sons, 1979, ISBN
0471043281, un class ique hautement
conseillé.
Quelques articles intéressants
sur l’automatisation :
«Lessons in Test Automation», de
Elfriede Dustin:
http://www.stickyminds .com.
«Architectures of Test Automation», de
Cem Kaner: http://www.kaner.com/ testarch.html
«Common Mistakes in Test Automation»,
de Mark Fewster, disponible en format pdf
à : http://www.stickyminds.com/docs_index/XDD2901filelistfilename1.pdf
Principaux fournisseurs
de logiciels de tests
Voici une liste succincte des principaux
fournisseurs de logiciels de tests, dont certains n’apparaissent pas dans les foires aux
questions :
● Compuware:
http://www.compuware.com
●Rational Software:
http://www.rational.com
● Segue Software:
http://www.segue.com
● Mercury Interactive:
http://www.mercury.com
● Shunra:
http://www.shunra.com
● Evalid:
http://www.evalid.com
En conclusion
Pour éviter que l’automatisation des tests
de performance ne s’avère un exercice coûteux, il est essentiel de bien comprendre
les besoins auxquels on désire répondre, la
technologie qui sera mise en place, les caractéristiques de chaque composante et la
façon de les utiliser.
Tout comme les objectifs des tests de
performance, l’automatisation doit pouvoir tenir compte de toute l’infrastructure
d’un système. Elle doit permettre de résoudre les problèmes et non d’en causer!
Quelle utilité a un outil de mesure de trafic, s’il en génère lui-même tellement qu’il
congestionne les ressources du réseau? Il
faut aussi comprendre la technologie utilisée par les outils, leur fonctionnement et
leurs contraintes. Chaque outil a ses propres limitations : ainsi, certains seront spécialisés pour les pages Web, d’autres pour
le multimédia et d’autres pour les bases de
données.
Il vous faudra tenir compte que la majorité de ces outils sont onéreux. Il en
existe des gratuits, mais ceux-ci sont rares
et le soutien technique parfois inexistant.
Autant que possible, avant d’acquérir un
outil de test, demandez une preuve de
concept, afin de vous assurer de sa compatibilité avec votre technologie, ainsi que
ses aspects fonctionnels par rapport à vos
objectifs de tests.
Un dernier aspect non négligeable avec
l’automatisation est le temps d’apprentissage. En effet, un outil de test demeure un
logiciel et il faut prendre le temps d’apprendre à le connaître.
■
avril 2002 direction informatique
15