test comparatif - Institut national de la consommation

MySvj
s
u
o
v
s
e
Fait para
m
o
c
t
s
e
un t
CONCOURS JEUNES TESTEURS
SCRIRE,
POUR VOUS IN
R
SU
RENDEZ-VOUS
www.
IONAL DE LA
STITUT NAT
IN
L’
E
D
ION (INC)
TE
SI
CONSOMMAT
articiper
p
r
u
o
p
ir
o
date but
a
L
!
s
ie
p
o
ixée au
c
f
t
s
s
o
e
v
»
z
s
e
r
r
u
Prépa
es teste
n
u
e
J
«
s
r
u
si vous
n
io
s
is
au conco
m
. Votre
30 janvier er un produit ou
: test
l’acceptez
anière des
m
la
à
e
ic
un serv
tional de
a
n
t
u
it
t
s
de l’In
ici nos
o
ingénieurs
V
.
)
C
IN
(
mation
ièges.
p
s
la consom
le
r
e
it
v
our é
UR SVJ
conseils p
ONS BALAK PO
RATI
NTEZ. ILLUST
MATHILDE FO
ÉTAPE N° 1
Posez-vous
la bonne question
« Quelle est la meilleure bombe à eau ? » L’idée de test vous tombe
dessus de façon fulgurante, parfois. Mais ne vous emballez pas,
réfléchissez. Car le choix du sujet, c’est l’étape la plus importante. « Le
but d’un test comparatif est de répondre à une question que se posent
les lecteurs, c’est-à-dire les consommateurs », recadre Thierry
Martin, ingénieur de l’INC, qui faisait partie du jury pour l’édition
2009 du concours. Et il n’y a pas de mystère, les vainqueurs de
l’année dernière avaient tapé juste (voir encadré). Les trois équipes
avaient choisi de traiter des thématiques en rapport avec l’écologie,
une préoccupation qui touche tout le monde. Mais surtout, ils
se sont posé la bonne question. « Quand on s’interroge, par exemple,
sur les sacs à dos, prévient Thierry Martin, la question n’est pas “Quel
est le sac préféré des jeunes ?” Cela n’intéresse que les vendeurs de sacs.
Le consommateur, lui, se demande quel est le modèle le plus solide, le plus
imperméable, le meilleur rapport qualité-prix…»
82
[SVJ-JANVIER/2010]
e
m
ê
e
-m
atif
ÉTAPE N° 3
ÉTAPE N° 2
Choisissez
bien votre
échantillon
de produits
Une équipe est tombée dans le panneau, l’année dernière. Sa question,
« Les céréales les plus chères sontelles les meilleures ? », était, certes,
pertinente. Malheureusement, les collégiens ont mélangé des produits très différents : céréales fourrées à la noisette et
céréales fourrées au chocolat…
Impossible de les comparer ! Il ne faut
pas perdre de vue cette lapalissade
qu’on ne peut comparer que des
choses comparables ! « Pour que
l’évaluation ait un sens, avertit l’ingénieur de l’INC, il fallait se cantonner à l’un
des parfums… »
Ne multipliez
pas les critères
Plus on choisit de critères pour évaluer son produit,
plus on risque d’être noyé sous un déluge de résultats chiffrés. Apparence, goût, texture, prix, quantité
de protéines, de lipides… l’équipe de lycéens qui a
choisi de comparer des tablettes de chocolat l’année
dernière a testé 13 qualités ! Ils se sont retrouvés
avec trop de données. Du coup, ils ont dû abandonner une partie des résultats et n’ont gardé dans leur
tableau final que les plus importants, à savoir le goût
et le prix. « Cette équipe aurait dû se demander dès
le départ si tous les critères étaient utiles pour
comparer les produits, remarque Thierry Martin. La
quantité de protéines permet-elle de faire la différence entre deux tablettes de chocolat ? J’en
doute… »
Comment les ingénieurs de l’INC s’y prennent-ils ?
Ils se renseigent sur les usages des consommateurs
en épluchant les études statistiques. Et vous ? Si
vous n’arrivez pas à y voir clair, vous pouvez toujours
aller chercher l’info à la source : réalisez un sondage pour savoir quels sont les critères les
plus importants pour choisir un vélo, une paire de
rollers… bref, votre produit. Un petit questionnaire
diffusé dans votre école devrait suffire.
[SVJ-JANVIER/2010]
83
MySvj
CONCOURS JEUNES TESTEURS
Le podium de l’année
dernière
Nouveaux emballages
du chewing-gum :
quel intéret
ê ?
Astrid et ses dix acolytes d’une classe de
1
CAP fleuriste du lycée du Mené, à Merdrignac
(22), se sont penchés avec une rigueur digne
des meilleurs testeurs de l’INC sur les nouveaux emballages de chewing-gum en dragées.
Ils ont remarqué que sur les rayonnages des
supermarchés fleurissaient, à côté des traditionnels emballages en carton, de grosses boîtes
en plastique. Faut-il acheter les paquets classiques ou les boîtes en plastique ? Le jury a été
épaté tant ils ont été bons pour tout : ils ont identifié le produit
à tester (menthe sans sucre, le produit le plus courant) ; les
critères ont été définis précisément (ils ont même calculé
l’empreinte écologique !) et enfin, la réponse est claire : les
grosses boîtes en plastique sont plus chères et plus polluantes que les paquets classiques de chewing-gum. Bravo !
fruits et légumes bio
2 Les
sont-ils plus chers ?
Tout seul, Mario, 11 ans, a arpenté les magasins autour
de chez lui, près d’Aix-en-Provence. Son objectif :
savoir si les fruits et légumes bio sont plus chers que
les autres. Quatorze fruits et sept magasins plus tard,
il peut trancher : en moyenne, les fruits et légumes
bios sont 27 % plus chers. Mais il y a des exceptions :
saviez-vous que les citrons bio étaient deux fois
moins chers que ceux élevés aux pesticides ? Avec
cette étude locale, Mario a impressionné le jury.
3
84
Et si on chauffait un peu
moins ?
Diminuer la température de 1 degré réduit les émissions
de gaz à effet de serre d’environ 7 %. C’est à partir de
ce constat que Mélissa, 17 ans, et ses comparses de
l’Institut provincial d’enseignement agronomique de
Theux, en Belgique, ont voulu savoir si la diminution de
la température avait des conséquences sur le confort
de la maison. Quinze participants ont donc eu pour
mission de diminuer de 1 degré la température du
séjour de leur maison à l’insu des habitants et d’observer leur comportement. Résultat : dans 90 % des
[SVJ-JANVIER/2010]
ÉTAPE N° 4
Attention à faire
l’expérience dans
les règles de l’art
Attrapez un crayon, enfilez la blouse blanche ! Voici enfin l’heure
des expériences en laboratoire. Mieux vaut à ce stade prendre
conseil auprès d’un prof de sciences qui connaît sur le bout des
doigts les bonnes méthodes pour ne pas fausser les résultats… Un
exemple ? Les concurrents de l’année dernière s’étaient attaqués
aux comparateurs de prix sur Internet et avaient défini deux critères : l’efficacité (le site donne-t-il le prix le plus bas ?) et l’ergonomie (le site est-il facile à utiliser ?). Le protocole de test du
premier critère s’est imposé très rapidement. L’équipe a sélectionné cinq produits (une imprimante, un lecteur MP3, le dernier
album de Christophe Maé…) et a comparé le prix le plus bas trouvé
par les onze sites comparateurs de prix qu’ils
évaluaient. Mais comment tester l’ergonomie ? Les collégiens avaient deux choix. Soit ils recrutaient un
panel d’utilisateurs et leur demandaient de noter les
sites : c’est ce qu’on appelle un test subjectif. Soit ils
trouvaient un moyen de chiffrer l’ergonomie de façon
objective. À force de se creuser la tête, ils ont fini
par trouver : plus la réponse s’affiche rapidement, plus le site est facile à utiliser. Ainsi, à
l’aide d’un chronomètre, ils ont mesuré le
temps nécessaire pour obtenir un prix sur
chacun des comparateurs. « De cette manière,
ils ont obtenu une donnée chiffrée : la durée en
secondes, pour qualifier un critère qui pouvait
paraître subjectif, commente Thierry Martin. Ce
genre de test « objectif » est plus fiable et
donc préférable. Mais ce n’est pas
toujours possible… »
Effectivement, pour comparer le goût de jus d’orange,
de céréales ou encore de
tablettes de chocolat,
les jeunes testeurs ont
bien été obligés d’organiser une dégustation. Ils ont recruté
une douzaine de
personnes auxquelles ils ont demandé de
comparer le goût des
produits. Dans ce cas, attention ! Avant de convoquer votre panel dans un atelier de dégustation
improvisé, mieux vaut rappeler la règle numéro un du bon expérimentateur : on ne s’attelle qu’à un critère à la fois. Vous voulez
tester le goût d’un aliment ? Débarrassez-le de son emballage pour
ne pas influencer le testeur. Comparer le son de deux télévisions ?
Utilisez un voile pour masquer l’image. « À l’INC, nous allons même
plus loin, précise Thierry Martin. Pour les aliments, nous travaillons
sous une lumière colorée qui modifie l’aspect des produits. Sinon,
le saumon fumé bio, par exemple, serait systématiquement mal
noté car sa couleur est plus claire que celle du saumon d’élevage. »
Cette règle a bien été appliquée par les concurrents de l’année
dernière. Ceux qui ont comparé les plaquettes de chocolat ont
présenté des morceaux sans emballage sur un plateau doté de
petites étiquettes. De même, Mario, l’un des vainqueurs en 2009, a
été particulièrement finaud : il a
relevé les prix des légumes et des fruits en
une
seule
ÉTAPE N° 5
Chassez
les fausses
conclusions
Thierry Martin prévient : « Il ne faut pas
faire aveuglément confiance aux chiffres.
Ce sont de faux amis. » L’équipe qui a
comparé des jus d’orange en a fait
l’amère expérience. Elle a mesuré consciencieusement l’acidité des différentes marques, ce qui donne une liste de PH très précise (4,93 ; 4,97 ; 4,95 ; 4,91 ; 4,92), et a classé
les jus en considérant que le moins acide était le meilleur. Or, la langue est bien incapable de détecter une si faible différence d’acidité ! Les collégiens ont fait la même erreur
pour le sucre. On relève dans leur dossier des quantités de 2,1 ou 2,2 morceaux de sucre
selon les jus d’orange. Non seulement la différence est indétectable au goût, mais
son impact nutritionnel aussi. « Et surtout, comme les appareils de mesure que l’on
utilise ne sont pas toujours très précis, on peut tout à fait dire que 2,1 ou 2,2, c’est
pareil ! », tranche Thierry Martin.
ÉTAPE N° 6
N’oubliez pas de
répondre à la question
posée au départ
Les tableaux des ingénieurs de l’INC sont impressionnants. Des centaines de lignes et
de colonnes, dont la plupart ne sont pas publiées ! Elles seraient décourageantes pour
le lecteur. Lui ne cherche qu’une chose, la réponse à la question. Il faut donc être synthétique et donner une note finale à chaque produit testé. Enfantin, se dit-on : il suffit
d’additionner les notes du produit pour chacun des critères, puis l’on divise le tout par
le nombre de critères pour obtenir la moyenne ! Hum… Est-ce vraiment la bonne
solution ? « Le plus souvent, on ne peut pas donner la même importance à tous les
critères, prévient Thierry Martin. De la même façon que pour évaluer un
bachelier scientifique, on ne donnera pas le même coefficient à la
philo et aux maths. » Eh bien, ici, c’est la même limonade ! Dans
les dossiers de 2009, aucun des jeunes testeurs n’avait
pensé aux coefficients. Les collégiens qui se sont occupés
des sites comparateurs de prix sur Internet ont ainsi
donné le même poids à l’ergonomie (est-ce que le comparateur est facile à utiliser ?) qu’à l’efficacité (est-ce qu’il
donne le prix le plus bas ?) dans leur note finale. L’équipe
des jus d’orange, quant à elle, a accordé autant d’importance à l’apparence du produit, à la clarté de l’étiquette…
qu’à son goût ! Alors, attention à bien hiérarchiser vos critè-
POUR EN SAVOIR
• Sur Internet • Tous les détails sur le concours :
www.ctaconso.fr. Ce lien sur www.labosvj.fr
[SVJ-JANVIER/2010]
85