Guide de l`évaluateur sur PIVASSE Table des matières

Guide de l'évaluateur
sur PIVASSE
Table des matières
1. But du travail....................................................................................................................................2
2. L'outil d'évaluation...........................................................................................................................2
2.1. Connexion.................................................................................................................................2
2.2. Choix d'une requête..................................................................................................................3
2.2.1. Fenêtre d’évaluation..........................................................................................................4
2.2.2. Évaluation.........................................................................................................................4
2.2.3. Arrêt en cours d'évaluation................................................................................................5
2.2.4. Fin de l’évaluation............................................................................................................5
2.2.5. Récapitulatif de la fenêtre d’évaluation principale...........................................................5
3. Pertinence des documents.................................................................................................................6
15/02/10
D. Palacio
Page 1/6
1 But du travail
25 requêtes correspondant à des besoins d’information issus d’un moteur de recherche
géographique ont été sélectionnées pour ce travail. Chaque évaluateur (vous) se voit affecter un
certain nombre de requêtes à juger. Un exemple de requête pourrait être : « balades a Cauterets
entre 1800 et 1950 ».
Pour chacune de ces requêtes, on dispose d’une liste de documents renvoyés par différents moteurs
de recherche. Le but ici est d’évaluer la pertinence de ces documents pour ces requêtes, afin de
déduire plus tard la qualité des moteurs de recherche.
Votre travail consiste donc à :
− prendre connaissance d’une requête,
− visualiser un par un les documents relatifs à cette requête,
− pour chaque document, dire s’il répond à chaque élément de la requête ou non, c'est-à-dire
s’il est pertinent ou non pertinent.
− passer à la requête suivante.
2 L'outil d'évaluation
2.1 Connexion
L’outil d’évaluation se trouve à l’adresse : http://desitools.univ-pau.fr/pivasse/
Figure 1: Fenêtre de Connexion
Entrez le login et le mot de passe qui vous ont été fournis.
15/02/10
D. Palacio
Page 2/6
2.2 Choix d'une requête
Une fois connecté vous arrivez sur cette page :
Figure 2: Choix des requêtes à juger
Le tableau contient la liste des requêtes que vous devez évaluer.
Par exemple, sur la copie d’écran ci-dessus, pour la requête 1, les 300 documents ont été évalués.
Pour commencer à évaluer une requête, cliquez sur « Evaluer ». Une fois la requête terminée, ce
lien n'apparaît plus.
15/02/10
D. Palacio
Page 3/6
2.2.1 Fenêtre d’évaluation
Voici un document à évaluer pour la requête 1 « au sud-est de Campan au XXe siècle ».
Figure 3: Fenêtre d'évaluation
Certains mots de la requête sont surlignés : jaune pour le spatial, bleu pour le temporel. Idem pour
le document. Si cette mise en valeur vous gêne pour juger les documents, vous pouvez l'enlever
grâce au bouton « Masquer » situé à droite de la requête. Si vous souhaitez ensuite remettre en place
les mots surlignés, il faut utiliser le bouton « Colorer ».
2.2.2 Évaluation
Pour chaque document, vous devez évaluer plusieurs choses, la requête est elle pertinente pour :
• le critère spatial
• le critère temporel
• le critère thématique
• sur l'ensemble de ces critères.
Pour chacun des critères, vous devez cocher la case dans le tableau situé à droite de la page si le
critère est pertinent. La case « global » n'est cochable que lorsque vous avez coché les 3 critères.
Si vous souhaitez repousser le jugement d’un document parce que vous voulez en voir d’autres
avant (cas d’un document où la pertinence est difficile à juger), cliquez sur le bouton rouge
15/02/10
D. Palacio
Page 4/6
« Evaluer plus tard » en bas à droite de la fenêtre d’évaluation principale. L’outil passera alors au
document suivant, et votre document sera mis dans une « liste d’attente » qui sera gérée une fois
tous les documents de la liste principale parcourus. Vous pouvez utiliser ce bouton autant de fois
que vous le souhaitez.
2.2.3 Arrêt en cours d'évaluation
Si vous souhaitez interrompre temporairement le jugement d’une requête, cliquez sur le bouton bleu
« Accueil » à droite de la fenêtre d’évaluation. Vous retomberez sur la page d’accueil de la figure 2.
Pensez alors à vous déconnecter de l’outil d’évaluation, en fermant la fenêtre.
2.2.4 Fin de l’évaluation
Votre travail est terminé pour une requête lorsqu’il ne reste plus de documents à juger pour cette
requête. Une fois le dernier document jugé, l’outil revient à la page d’accueil présentée sur la figure
2.
2.2.5 Récapitulatif de la fenêtre d’évaluation principale
Boutons pour afficher ou
masquer les colorations
Tableau à remplir
pour l'évaluation
Quitter et
repartir à
l'accueil
Requête
Description
Document
à juger
Valider
l'évaluation
Chercher
un lieu sur
la carte
Reporter
l'évaluation
de ce
document
Carte
Lancer une
recherche
sur Google
Représentation d'un
élément du document
15/02/10
Représentation
de la requête
D. Palacio
Page 5/6
3 Pertinence des documents
La pertinence d’un document pour une requête est une notion très subjective, qui peut varier d’une
personne à l’autre. Cependant, certaines « règles d’or » doivent être respectées :
• un document est pertinent s’il contient au moins une partie pertinente. Il peut dans le même
temps contenir des informations non pertinentes ;
• un document peut être pertinent même s’il ne contient aucun terme de la requête (penser aux
synonymes, etc.) ;
• une information que vous avez jugée pertinente durant votre travail doit rester pertinente
tout au long de la phase d’évaluation. Par exemple, pour la requête « acteurs titanic », le fait
que Leonardo Di Caprio soit un de ces acteurs est pertinent, même sur le 20 e document
contenant cette information.
Pour le critère spatiale, en survolant une information spatiale identifiée par le système, la
représentation apparaît sur la carte (en bleu) ainsi que celle de la requête (en rouge). Néanmoins il
peut arriver que le système ait fait une erreur sur la représentation.
Vous devez évaluer dans un premier temps chaque critère indépendamment (spatial, temporel et
thématique) puis pour finir sur l'ensemble de la requête. La narration est fournit pour l'évaluation
globale de la requête. Si cette narration n'est pas assez complète, vous pouvez toujours y rajouter
des éléments et nous fournir la nouvelle version.
Dans tous les cas, avant de juger un document, il faut essayer de se mettre dans la situation de la
personne qui a posé la requête.
Au moindre problème, noter le numéro de la requête et le numéro du document, et ne pas hésiter à
passer au document suivant pour revenir plus tard
15/02/10
D. Palacio
Page 6/6