A qualitative study of thesaurus integration for end

A qualitative study of thesaurus
integration for end-user searching
Dorothee Blocks
A submission presented in partial fulfilment of the
requirements of the
University of Glamorgan/Prifysgol Morgannwg
for the degree of Doctor of Philosophy
July 2004
Acknowledgements
I would like to thank my supervisors, Dr. Doug Tudhope and Dr. Daniel Cunliffe, for the
opportunity to conduct this research, for the contacts they provided with participants and
of course for their supervision and encouragement.
I am grateful to Ceri Binding, who developed the FACET system. His work enabled me
to conduct the two in-depth studies and the logging he was willing to include made it so
much easier for me to conduct some of the analysis.
Many thanks are also due to the participants of all studies – without their time and
cooperation, this work would not have been possible.
I would also like to thank my family and friends, in particular Arnaud, Carol and Mark,
for supporting me in so many ways. I am so glad to know you!
II
A qualitative study of thesaurus integration
for end-user searching
The research conducted for this thesis investigates the impact of thesauri on users’
information searching behaviour, and the integration of thesauri into information
searching interfaces in order to support the searching process. The work reported here
consists of two preliminary studies, which served to refine research questions and explore
the methodology, followed by two in-depth studies. The two in-depth studies were
conducted with FACET, an experimental system developed at the University of
Glamorgan in the context of an EPSRC (Engineering and Physical Sciences Research
Council)-funded project focussing on faceted information retrieval in indexed multimedia
collections. These studies were conducted with the participation of museum and library
professionals. The author used a combination of qualitative and quantitative methods,
such as “think aloud” protocols, questionnaires, application log files and content analysis.
The in-depth studies resulted in important findings regarding the FACET interface which
were considered in its further development. Findings also relate to thesaurus use in
general - it was for example observed that behaviours such as browsing the thesaurus are
not suitable at all search stages, so that users need to be guided in their choice of tools.
One of the main findings was that conceptual problems encountered by searchers with
little formal search training caused more difficulties than those related to interface design.
This resulted in the conclusion that the information searching process needs to be
supported by the interface and that more extensive use of thesauri in the form of support
tools is possible at different stages of the search process.
Based on literature on the information searching process and data from the first FACET
study, the basis for a model of information searching in controlled vocabulary enhanced
systems was developed and subsequently refined with data from the second in-depth
study. This model aims in particular at facilitating the design and development of such
systems. It consists of a textual and graphical representation of the search stages and an
account of potential problems, their causes, possible detrimental effects on the further
progress of the search and suggestions on how these can be avoided, under particular
consideration of tools based on controlled vocabularies.
III
Etudes qualitatives d’intégration des thesaurus
dans la recherche d’informations
Cette thèse analyse l’impact d’un thesaurus sur le comportement en recherche
d’informations, ainsi que l’intégration d’un thesaurus dans des interfaces de recherche
d’informations avec le but de faciliter ce processus. Ce travail a été complété en deux
études préliminaires, qui ont servi à développer les méthodes utilisées et à clarifier les
questions de recherche, suivi par deux études approfondies. Ces dernières ont été exécutées
avec FACET, un système expérimental conçu à l’University of Glamorgan et financé par
une bourse EPSRC (Engineering and Physical Sciences Research Council) pour un projet
sur la recherche d’information dans des collections multimédia utilisant une approche
facettée. Des professionnels du secteur des musées et des bibliothèques ont été impliquées
dans ces études. Nous avons combiné des méthodes qualitatives et quantitatives, comme le
« think aloud », c’est à dire que le participant exprime ses impressions pendant la
recherche d’informations à haute voix; questionnaires, un registre automatique des
activités dans l’interface et l’analyse du contenu des expressions des participants.
Les études approfondies ont révélé des résultats important pour l’interface de FACET et
ont influencés son développement. Certains résultats étaient liés à l’usage du thesaurus en
particulier. Par exemple, nous avons trouvé que la navigation du thesaurus n’est pas
convenable à toutes les étapes d’une recherche d’informations. Ainsi, les utilisateurs
doivent être guidés dans leur choix d’outils. Une importante découverte a été que les
problèmes conceptuels des participants, qui avaient peu de formation formelle en
recherche d’informations, étaient plus sérieux que les difficultés liées au design de
l’interface. Nous avons donc conclu que le procès même de la recherche d’information doit
être supportée par l’interface. Par ailleurs, nous avons trouvé d’autres options potentielles
afin de supporter la recherche d’informations en utilisant davantage le thesaurus, par
exemple par la création des outils qui serviraient aux différentes étapes de la recherche.
D’après la littérature scientifique et les donnes recueilli pendant la première étude avec
FACET, une première version d’un modèle de la recherche d’informations dans systèmes
augmentés avec terminologie contrôlé a été conçu. Ce-lui a été amélioré grâce aux donnes
de la deuxième étude approfondie. Ce modèle a pour but principal de faciliter la
conception et le design d’un système pour la recherche d’informations. Il contient une
description et une représentation graphique des étapes du modèle et une énumération des
problèmes potentielles, leurs causes, leurs possibles effets négatifs pour la suite de la
recherche d’informations et des suggestions pour les éviter. Les solutions proposées sont
spécifiquement adaptées aux systèmes de recherche d’informations intégrant les thésaurus.
IV
Qualitative Studien zur Einbindung von Thesauren in
Benutzeroberflächen zur Informationssuche
Diese Arbeit behandelt die Auswirkung eines Thesaurus auf das Benutzerverhalten bei
der Informationssuche und die Unterstützung dieses Vorgangs durch die Einbindung von
Thesauren in Oberflächen zur Informationssuche. Es wurden zwei vorbereitende Studien,
die zur Präzisierung der Fragestellung und zum Ausprobieren der Methodik dienten,
gefolgt von zwei weiteren, ausführlicheren Studien durchgeführt. FACET, ein
experimentelles System, finanziert durch das EPSRC (Engineering and Physical Sciences
Research Council) und entwickelt an der University of Glamorgan, wurde für die
ausführlichen Studien verwendet. Das FACET Projekt beschäftigt sich mit der Benutzung
facettierter Klassifikationen zur Datenabfrage in indizierten multimedialen Datenbanken.
Es beteiligten sich Museumsmitarbeiter und Bibliothekare an diesen Studien. Die Autorin
kombinierte qualitative und quantitative Verfahren, zum Beispiel „lautes Denken“,
Fragebögen, Anwendungsprotokolle und Inhaltsanalyse, zur Erfassung und Auswertung
der Daten.
Die ausführlichen Studien führten zu aussagekräftigen Ergebnissen in Bezug auf die
Benutzeroberfläche von FACET, die in deren Weiterentwicklung berücksichtigt wurden.
Weitere Ergebnisse hatten mit der Benutzung des Thesaurus im Allgemeinen zu tun. Es
wurde zum Beispiel festgestellt, dass manches Verhalten, wie das Durchstöbern
(„Browsen“) des Thesaurus, nicht für alle Suchphasen gleich geeignet ist und dass
Benutzer daher in der Wahl der Arbeits-/Hilfsfunktionen unterstützt werden müssen. Eine
der wichtigsten Erkenntnisse war, dass diejenigen Benutzer, die nicht gezielt in der
Informationssuche unterwiesen worden waren, größere Schwierigkeiten wegen eigener
Verständnisproblemen
hatten
als
mit
Schwächen
in
der
Gestaltung
der
Benutzeroberfläche. Diese Beobachtung führte zu der Schlussfolgerung, dass der Ablauf
der Informationssuche durch die Benutzeroberfläche unterstützt werden sollte. Es wurde
auch festgestellt, dass die Informationssuche außerdem durch ausgiebigere Nutzung des
Thesaurus, zum Beispiel durch weitere Hilfsfunktionen für verschiedene Suchphasen,
gefördert werden könnte.
Unter Zuhilfenahme der Fachliteratur über den Ablauf der Informationssuche und Daten
von der ersten FACET Studie wurde ein vorläufiges Modell der Informationssuche in
Systemen mit Terminologiemanagement entwickelt und mit Daten von der zweiten
ausführlichen Studie weiter entwickelt. Dieses Modell soll im Besonderen den Entwurf
und die Entwicklung Systeme der genannten Art vereinfachen. Es besteht aus einer
inhaltlichen und einer graphischen Beschreibung der Suchphasen und einer Auflistung
möglicher Schwierigkeiten, deren Ursachen und deren eventuelle negative Auswirkungen
auf die weitere Suche, sowie Vorschlägen dazu, wie diese vermieden werden könnten,
wobei hier besonders Hilfsfunktionendie auf Thesauren basieren, berücksichtigt wurden.
V