Vergleichendes Usability Testing der beiden TV
Transcription
Vergleichendes Usability Testing der beiden TV
Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de Usability Studie im Rahmen des HCI Seminars im Studiengang Digitale Medien an der BA-Mosbach Betreuender Dozent: Prof. Dr. Thomas Wirth Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach Februar 2009 Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de Inhalt 1. Kurzfassung ..............................................................................................................................3 2. Methoden ................................................................................................................................4 2.1 Fragestellung .....................................................................................................................4 2.2 Variablen ............................................................................................................................4 2.3 Auswahl der Websites ......................................................................................................5 2.4 Durchführung .....................................................................................................................7 2.5 Stichprobe ..........................................................................................................................7 2.6 Versuchsaufbau ................................................................................................................9 2.7 Kontrolle von Störvariablen .............................................................................................9 3. Ergebnisse ..............................................................................................................................11 3.1 Leistungsmaße .................................................................................................................11 3.1.1 Vergleich der Mittelwertsprofile „Klicks pro Aufgabe“ ......................................11 3.1.2 Vergleich der Mittelwertsprofile „Aufgabenlösungszeiten“ .............................12 3.1.3 Korrelation zwischen Aufgabenlösungszeit und Anzahl Klicks .........................13 3.2 Subjektive Zufriedenheit.................................................................................................14 3.2.1 Schwierigkeitsgrad der Aufgabenstellung ..........................................................14 3.2.2 Joy of Use ..................................................................................................................14 3.2.3 Aufgabenangemessenheit ....................................................................................15 3.2.4 Befragung nach dem Lösen der Aufgaben .......................................................15 3.3 Qualitative Daten ...........................................................................................................17 3.3.1 Startseiten ..................................................................................................................17 3.3.2 Komfortsuche auf klack.de ....................................................................................19 3.3.3 Wiederholungen auf tvmovie.de ..........................................................................20 4. Feststellungen ........................................................................................................................21 5. Diskussion und Empfehlungen ............................................................................................22 Anhang .........................................................................................................................................1 Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach 2 Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de 1. Kurzfassung Die beiden TV-Programm Websites tvmovie.de und klack.de sollten hinsichtlich ihrer Benutzerfreundlichkeit getestet und verglichen werden. Getestet wurde anhand von vier Szenarien, die von acht Probanden durchgeführt wurden. Dabei führte jeder Proband je zwei Aufgaben mit der einen Website und je zwei Aufgaben mit der anderen Website durch. Welche Aufgabe mit welcher Website zu lösen war variierte ebenso wie die Position der Aufgabe. Zusätzlich wurden die Probanden im Vorfeld über ihr Fernseh- und Internetnutzungsverhalten befragt. Nach Ausführung der Testaufgaben auf den beiden Websites beantworteten die Probanden einen weiteren Fragebogen zur Benutzerfreundlichkeit der beiden Websites, dieser enthielt u.a. vergleichende Fragen. Ziel war es, herauszufinden, ob die Benutzer mit zwei unterschiedlichen Websites unterschiedlich gut zu Recht kommen. Die Websites sollten sich hinsichtlich der Optik und des Aufbaus möglich weit unterscheiden. Weiteres Ziel war es, zu sehen ob die Ergebnisse der verschiedenen genutzten Methoden übereinstimmen. Es stellte sich heraus, dass die Aufgaben im Gesamtergebnis mit beiden Websites sowohl im Bezug auf die Anzahl der benötigten Klicks als auch von der benötigten Zeit her etwa gleich gut zu lösen waren. Für einzelne Aufgabenstellungen und in der Gesamtbewertung zeigten sich jedoch Unterschiede in der Benutzerfreundlichkeit der beiden Websites. Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach 3 Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de 2. Methoden 2.1 Fragestellung Das vergleichende Usability-Testing der beiden Websites sollte in erster Linie aufdecken, welche Art Website besser zur Information über das TV-Programm geeignet ist: eine einfach strukturierte, die sich hauptsächlich auf ihren Inhalt konzentriert, nur wenige Werbebanner einblendet und diese auch außerhalb vom eigentlichen Inhalt, dem TV-Programm, anzeigt; oder eine farbenfrohe, erlebnisorientierte, die Werbebanner und TV-Programm gemischt auf der Seite platziert. Es wird angenommen, dass es einfacher ist, die Aufgaben auf der schlichten Seite zu lösen. 2.2 Variablen Die unabhängigen Variablen stellen zwei TV-Programm-Websites dar, die miteinander verglichen werden, sowie die Aufgaben und deren Schwierigkeitsgrad. Ebenso wird die Reihenfolge der Szenarien variiert. Die abhängigen Variablen lassen sich in drei Kategorien aufteilen: Leistungsmaße, subjektive Zufriedenheit und qualitative Daten. Als Leistungsmerkmale werden die Klicks und die Zeit gemessen, die zum Lösen einer Aufgabe benötigt werden. Um die subjektive Zufriedenheit zu messen werden zu jeder Aufgabe vier Fragen gestellt, ebenso sollen die Probanden einen bewertenden Fragebogen am Ende aller Aufgaben ausfüllen. Als qualitative Daten werden die Aufmerksamkeitsverteilungen der Probanden mit Hilfe eines Eyetrackers erfasst. Zusätzliche Variablen stellen das Fernsehverhalten und die Internetaffinität der Probanden dar, die durch einen Fragebogen erfasst wurden. Zudem wurde das Benutzerverhalten während der Durchführung beobachtet. Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach 4 Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de 2.3 Auswahl der Websites Zur Auswahl standen verschiedene TV-Programm Webseiten. Es wurde getestet, ob die Szenarien auf den Webseiten durchführbar waren. Aus den Webseiten wo dies möglich war, wurden die zwei Webseiten ausgewählt, die sich aus Sicht der Autoren am meisten unterschieden haben, sowohl in der Bedienung, als auch in der Optik. Dies führte dazu, dass klack.de als schlichte, und tvmovie.de als bunte Webseite gewählt wurden. Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach 5 Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de Abb. 01: Screenshot klack.de Abb. 02: Screenshot tvmovie.de Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach 6 Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de 2.4 Durchführung Die Benutzerfreundlichkeit der Seiten wurde anhand von vier Szenarien (s. Anhang) getestet. Vor den eigentlichen Szenarien führten alle Probanden auf einer dritten Website (tvtv.de) eine „Aufwärm“-Aufgabe durch, um sich mit der Testumgebung vertraut zu machen. Vor und nach dem Durchführen der Szenarien bekamen die Probanden verschiedene Fragebögen vorgelegt: Vor dem Lösen der Aufgaben, wurden die Probanden zu ihrem Internet- und TVNutzungs-Verhalten befragt (Fragebogen s. Anhang). Dieser Fragebogen sollte Zusammenhänge zwischen der Internetaffinität der Probanden und ihrem Aufgabenlösungsverhalten bzw. zwischen ihrem Fernsehverhalten und der Lösung der Aufgaben aufdecken. Nach dem Lösen der Aufgaben wurden die Probanden zu beiden Websites befragt. (s. Anhang) Hier wurden Fragen zur subjektiven Zufriedenheit mit den beiden Websites gestellt. Außerdem wurden vergleichende Fragen gestellt, sodass eine Antwort zugunsten einer der beiden Websites per „forced choice“ erzwungen wird. Nach jeder Frage wurde der Proband zum Verständnis der Aufgabe selbst und zur empfundenen Schwierigkeit ihrer Lösung befragt. Als festgelegtes Abbruchkriterium diente die Zeit, die ein Proband zum Lösen einer Aufgabe benötigte. Festgelegt wurde eine maximale Dauer von fünf Minuten. Danach wurde die Aufgabe abgebrochen und als nicht gelöst markiert. Die Messwerte der Probanden die freiwillig eine Aufgabe beendeten wurden in die Auswertung mit einbezogen, da keiner von ihnen das Abbruchkriterium erreichte. 2.5 Stichprobe Gewünscht war eine homogene Benutzergruppe, da nicht die Fähigkeiten der Probanden, sondern die Benutzerfreundlichkeit der Websites im Mittelpunkt der Studie stand. Als Probanden wurden 8 Studenten der BA Mosbach (7 Digitale Medien Studenten und ein Student der Wirtschaftsinformatik) eingesetzt. Darunter waren 5 männliche und 3 weibliche Probanden im Alter zwischen 20 und 25 Jahren (Durchschnittsalter 23). Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach 7 8 Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de Die Rekrutierung der Stichprobe erfolgte indem die Probanden persönlich angesprochen und gefragt wurden ob sie bereit wären, an der Studie teilzunehmen. Bei der Befragung vor dem Lösen der Aufgaben stellte sich heraus, dass keiner der Probanden klack.de kannte, während tvmovie.de bei 6 von 8 Probanden bekannt war bzw. die Printausgabe TvMovie bei 5 von 8 bekannt war. 6 von 8 Probanden informieren sich u.a. online über das Fernsehprogramm und sind daher bereits mit TV-Programm Websites im Allgemeinen vertraut. Nur einer der Probanden gab an, dass er eine Fernsehzeitschrift zu Hause hat. Proband Geschlecht Alter Welches TV‐ Wie Wie Kennen Sie Kennen Sie Kennen Sie Verhalten trifft informieren informieren klack.de? tvmovie.de das auf Sie zu Sie sich über Sie sich über Printprodukt das TV‐ das TV‐ Programm: Programm: Fernseh‐ online TvMovie? zeischrift 1 weiblich 23 zapping nein ja nein ja ja 2 männlich 25 zapping nein ja nein ja ja 3 männlich 23 bestimmtes nein ja nein ja ja 4 männlich 23 bestimmtes nein ja nein ja nein 5 männlich 25 zapping nein nein nein ja nein 6 weiblich 23 zapping ja ja nein nein ja 7 weiblich 20 nebenbei nein nein nein ja ja 8 männlich 22 nebenbei nein ja nein nein nein Tabelle 01: Probanden Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de 2.6 Versuchsaufbau Abb. 03 Labor Durchgeführt wurden die Szenarien an einem PC mit Eyetracker (Modell: tobii 1750), um das Blickverhalten der Probanden erfassen zu können. Während der Durchführung wurden die Probanden von zwei Kameras gefilmt. Eine Frontalkamera die Gesichtsausdrücke und Emotionen festhalten sollte, sowie eine Übersichtskamera die den Probanden von hinten inklusive Mausbewegung und Monitor aufzeichnete. Die Mausbewegungen der Probanden auf dem Bildschirm sowie die Bilder der Kameras wurden an zwei separaten Monitoren überwacht, sodass die relevanten Parameter wie Zeit und Anzahl Klicks direkt protokolliert werden konnten. Zusätzlich wurden kritische Ereignisse im Benutzerverhalten beobachtet. 2.7 Kontrolle von Störvariablen Der Versuchsleiter war für alle Probanden dieselbe Person um Reaktionen auf verschiedene Verhaltensweisen auszuschließen. Der Versuchsleiter durfte den Probanden Verständnisfragen beantworten, ihnen beim Lösungsweg aber nicht helfen. Damit beide Websites aussagekräftig miteinander verglichen werden können, musste jede Aufgabe gleich oft mit tvmovie.de und klack.de durchgeführt werden. Zusätzlich mussten Lerneffekte minimiert werden, weshalb die Reihenfolge der Aufgaben nach dem Schema eines „lateinischen Quadrates“ variiert wurde. Somit Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach 9 Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de wurde erreicht dass jede Aufgabe an jeder Stelle mit der gleichen Häufigkeit vorkam („counter balancing“). Bei Probedurchläufen stellte sich heraus, dass zwei der Aufgaben tendenziell eher als leichter als die anderen beiden bewertet wurden. Das Empfinden der Benutzerfreundlichkeit einer Website sollte jedoch nicht davon abhängen, ob ein Benutzer mit einer Website zwei leichte und mit der anderen zwei schwere Aufgaben lösen musste. Aus diesem Grund sollten die Probanden mit jeder Websites je eine schwere und eine leichte Aufgabe lösen. Szenario 2 und 4 wurden im Vorfeld als leichter eingeschätzt als Szenario 3 und 5. Es wurden nun die folgenden Sets erstellt: Set #1: M5, M2, K3, K4 Set #2: K5, K2, M3, M4 Set #3: M4, M5, K2, K3 Set #4: K4, K5, M2, M3 Set #5: M3, M4, K5, K2 Set #6: K3, K4, M5, M2 Set #7: M2, M3, K4, K5 Set #8: K2, K3, M4, M5 (Wobei „K“ für die Website klack.de und „M“ für tvmovie.de steht. Die Ziffern bezeichnen die Szenarien) Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach 10 Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de 3. Ergebnisse 3.1 Leistungsmaße Unabhängige Variablen sind die beiden Websites klack.de und tvmovie.de, gemessene abhängige Werte die Anzahl Klicks pro Aufgabe, sowie die zur Aufgabenlösung benötigte Zeit. Zur Lösung aller Aufgaben wurden mit klack.de durchschnittlich 7,69 Klicks und 02:20 Minuten benötigt, mit tvmovie.de wurden durchschnittlich 8,75 Klicks und 1:56 Minuten benötigt. 3.1.1 Vergleich der Mittelwertsprofile „Klicks pro Aufgabe“ Mittelwerte Klicks pro Aufgabe 14,00 12,00 10,00 8,00 Klack 6,00 Movie 4,00 2,00 0,00 Aufg2 Aufg3 Aufg4 Aufg5 Abb. 04: Mittelwerte Klicks pro Aufgabe Zur Lösung aller Aufgaben lag die Anzahl benötigter Klicks auf den beiden Websites mit 7,69 (klack.de) und 8,75 (tvmovie.de) nah beieinander. Lediglich für Szenario 3 (finden einer Geschichts-Doku innerhalb der nächsten 14 Tage) lag die Anzahl Klicks bei tvmovie.de (mit durchschnittlich 11,75 Klicks) deutlich über den benötigten Klicks auf klack.de (durchschnittlich 7,5 Klicks). Die benötigten Klicks pro Aufgabe variierten stark von Proband zu Proband und je nach beschrittenem Lösungsweg. Dies schlägt sich in einer hohen Spannweite und Standardabweichung für fast alle Aufgaben nieder. Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach 11 12 Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de Descriptive Statistics Webseite Aufgabe N Range Minimum Maximum Mean Std. Deviation Klack 5 Spielfilme 4 11 2 13 6,25 4,717 TVM 5 Spielfilme 4 18 1 19 6,75 8,342 Klack Geschichts-Doku 4 18 2 20 7,50 8,544 TVM Geschichts-Doku 4 19 2 21 11,75 8,770 Klack Julia Roberts 4 6 4 10 7,00 2,944 TVM Julia Roberts 4 13 3 16 6,75 6,238 Klack Desperate Housewives Wiederholung 4 10 5 15 10,00 4,761 TVM Desperate Housewives Wiederholung 4 16 5 21 7,544 9,75 Tabelle 02: Anzahl Klicks pro Aufgabe 3.1.2 Vergleich der Mittelwertsprofile „Aufgabenlösungszeiten“ Mittelwerte Aufgabenlösungszeit 02:53 02:36 02:18 02:01 01:44 01:26 01:09 00:52 00:35 00:17 00:00 Klack Movie Aufg2 Aufg3 Aufg4 Aufg5 Abb.05: Mittelwerte Aufgabenlösungszeiten Auch die Durchschnittliche Aufgabenlösungszeit lag für beide Websites (klack.de: 2:20 und tvmovie.de 1:56 Minuten) nahe beieinander. Aufgabe 3 (finden einer Geschichts-Doku innerhalb der nächsten 14 Tage) wurde mit klack.de (01:27)durchschnittlich schneller gelöst (tvmovie.de 02:29), Aufgabe 4 (finden des nächsten Spielfilms mit Julia Roberts) lösten die Probanden mit tvmovie.de(01:00) wesentlich schneller als mit klack.de(02:25). Auch hier lag die minimal und maximal benötigte Zeit bei einigen Aufgaben weit auseinander: Eine besonders hohe Spannweite wurde bei Aufgabe 5 auf klack.de festgestellt. Diese Aufgabe wurde entweder schnell gelöst oder die Probanden gaben nach mehreren erfolglosen Versuchen auf. Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach 13 Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de Descriptive Statistics Webseite Aufgabe N Range Minimum Maximum Mean Std. Deviation Klack 5 Spielfilme 4 02:00 01:59 03:59 02:43 00:54 TVM 5 Spielfilme 4 02:46 01:43 04:29 02:38 01:15 Klack Geschichts-Doku 4 02:00 00:43 02:43 01:27 00:53 TVM Geschichts-Doku 4 02:48 00:56 03:44 02:29 01:15 Klack Julia Roberts 4 02:33 01:00 03:33 02:25 01:15 TVM Julia Roberts 4 01:22 00:17 01:39 01:00 00:34 Klack Desperate Housewives Wiederholung 4 03:18 01:00 04:18 02:07 01:29 TVM Desperate Housewives Wiederholung 4 02:19 00:47 03:06 01:39 01:03 Tabelle 03: Aufgabenlösungszeiten 3.1.3 Korrelation zwischen Aufgabenlösungszeit und Anzahl Klicks Auf beiden Websites korreliert die zur Aufgabenlösung benötigte Zeit mit der Anzahl benötigter Klicks. Auf tvmovie.de fällt die Korrelation höher aus. Dies rührt daher, dass speziell bei Aufgabe 4 auf klack.de sehr viel Zeit bei nur wenigen Klicks verwendet wurde. Es wurden je 4, 5, 9 und 10 Klicks verwendet, wobei die Zeiten jedoch bei 01:43, 03:24, 01:00, 03:33 Minuten lagen. Hierdurch wurde das Klicks zu Zeit Verhältnis stark verzerrt. klack.de: N Korrelation Signifikanz 8 .340 .411 8 .689 .059 DurchschZeit & DurchschnKlicks tvmovie.de DurchschZeit & DurchschnKlicks Tabelle 04: Korrelation Aufgabenlösungszeit / Anzahl Klicks Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de 3.2 Subjektive Zufriedenheit 3.2.1 Schwierigkeitsgrad der Aufgabenstellung Wertung Aufgabe war leicht zu lösen 4,50 4,00 3,50 3,00 2,50 2,00 1,50 1,00 0,50 0,00 Klack TVMovie A2 A3 A4 A5 Aufgabe Abb.06: Befragung der Probanden „Aufgabe war leicht zu lösen“ (1= trifft voll zu, 5 trifft überhaupt nicht zu) Aufgabe 2 und 5 wurden auf beiden Websites als ähnlich schwer eingeschätzt. Aufgabe 3 (Geschichts-Doku) wurde von den Probanden, die mit klack.de arbeiteten als leichter eingestuft als von den Probanden, die mit tvmovie.de arbeiteten. Aufgabe 4 (Spielfilm mit Julia Roberts) hingegen war mit tvmovie.de leichter zu lösen als mit klack.de. 3.2.2 Joy of Use Wertung Lösen der Aufgabe hat Spaß gemacht 4,50 4,00 3,50 3,00 2,50 2,00 1,50 1,00 0,50 0,00 Klack TVMovie A2 A3 A4 A5 Aufgaben Abb.07: Befragung der Probanden „Lösen der Aufgabe hat Spaß gemacht“ (1= trifft voll zu, 5 trifft überhaupt nicht zu) Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach 14 Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de Auch beim Joy of Use zeigten sich in Aufgabe 3 und vor allem Aufgabe 4 die größten Unterschiede zwischen den beiden Websites: auch hier hat die Aufgabenlösung den Probanden, die mit klack.de arbeiteten deutlich weniger Spaß gemacht als denen, die mit tvmovie.de arbeiteten. 3.2.3 Aufgabenangemessenheit Wertung Website ist zur Aufgabenlösung gut geeignet 4,50 4,00 3,50 3,00 2,50 2,00 1,50 1,00 0,50 0,00 Klack TVMovie A2 A3 A4 A5 Aufgabe Abb.08: Befragung der Probanden „Website ist zur Aufgabenlösung gut geeignet“ (1= trifft voll zu, 5 trifft überhaupt nicht zu) Auch in der Frage des Bedienkomforts liegen die größten Unterschiede der beiden Websites bei Aufgabe 3 und 4. Auch hier schnitt klack.de bei Aufgabe 3 besser ab als tvmovie.de während tvmovie.de bei Aufgabe 4 wesentlich besser abschnitt als klack.de. 3.2.4 Befragung nach dem Lösen der Aufgaben In der Befragung nach dem Lösen der Aufgaben wurden die Probanden zu den beiden Websites befragt (Fragebogen siehe Anhang). Im ersten Teil wurden Fragen gestellt, mit denen beide Websites unabhängig von einander beurteilt werden mussten. Hier schnitten beide Seiten ähnlich ab. Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach 15 16 Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de Ich würde die Website in Zukunft auch … Ich finde was ich erwarte, wenn ich auf … Die Benutzung der Website ist … Es ist schwer, zu wissen, wo ich mich auf … Die Website hat nervige Bestandteile. Es ist leicht, die Website zum ersten Mal zu … Alles auf der Website ist leicht zu verstehen. Ich mag die Benutzung der Website. Es ist kein Problem für mich, sich auf der … Die Website hilft mir, das zu finden was ich … Die Website ist schnell genug Ich fühle mich sicher in der Bedienung der … Die Website ist sehr ansprechend Die Website erscheint mir logisch aufgebaut Ich finde schnell wonach ich suche Es ist einfach auf der Website zu navigieren Klack TVM 1 2 3 4 5 Abb.09: Befragung nach Lösen der Aufgaben (1= trifft vollkommen zu, 5 = trifft nicht zu) Im zweiten Teil wurden Fragen gestellt, bei denen die Probanden jeweils eine Entscheidung zu Gunsten einer der beiden Websites treffen mussten („forced choice“). Hier schnitt klack.de durchschnittlich erheblich besser ab als tvmovie.de. Lediglich in der Frage, welche Website als optisch ansprechender empfunden wurde, konnte tvmovie.de mit klack.de konkurrieren. Welche der beiden Websites würden Sie in Zukunft eher verwenden? Auf welcher Website hat Ihnen die Benutzung mehr Spaß gemacht? Welche Website erschien Ihnen nützlicher? Klack Welche Website ist übersichtlicher? Movie Welche Website fanden Sie optisch ansprechender? Welche Website lässt sich einfacher navigieren? 0 1 2 3 4 Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach 5 6 7 Vergleichendes Usab bility Testing der d beiden TV V-Programm--Websites tvm movie.de und d klack.de Abb.010: force choic ce 3.3 Qua alitative Da aten 3.3.1 Startseiten Abb. 11: Heatmap de er Startseite von v klack.de e Anne An ngersbach, Daniela D Petrosino, Patrizia Singh, Philipp p Wambach 17 Vergleichendes Usab bility Testing der d beiden TV V-Programm--Websites tvm movie.de und d klack.de Abb. 12: Heatmap de er Startseite von v tvmovie.de Die beiden Startsseiten derr getestete en Website es untersch heiden sic ch grundsä ätzlich durch ihren i Aufb bau. Dies wird w vor allem durch h die Betra achtung der Heatma aps ersichtlich. Im Fa alle von kla ack.de lieg gt die Aufm merksamkeit der Pro obanden vor v allem am a linken Rand (Abb.11). Zusä ätzlich wird d der Inha alt im oberren Bereich h der Seite horizontal von v den Be enutzern gescannt. g Inhalt derr rechts un nten auf de er Seite liegt wird somit nahezu n ga ar nicht beachtet. Diieses auf Webseiten W n weit verb breitete Leseschema nen nnt Nielsen n1 das "F-sh haped Pattern", in Anlehnung A g an die Fo orm des Buchstaben F. Laut Nie elsen ist be ei einem derartigen d Lese-Stil v vor allem darauf d zu ach hten den wichtigsten w n Inhalt de er Seite link ks-oben zu u positionie eren. Bei klack.d de entspric cht dies de er Hauptnavigation.. Im obere en Bereich der Seite,, also in dem durch die horizontale h en Striche der F-Form m ebenfalls gut erfasssten Bereich, stehen auf klack k.de die Ta agestipps. 1 http:///www.useit.com/alertb box/reading g_pattern.httml, 2006 Anne An ngersbach, Daniela D Petrosino, Patrizia Singh, Philipp p Wambach 18 Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de Im Gegensatz zu klack.de wird die Aufmerksamkeit der Probanden bei tvmovie.de (Abb. 12) auf zwei Bereiche geteilt. Im linken Teil der Seite befindet sich die Hauptnavigation und im rechten Teil die Suche sowie eine zusätzliche Navigationsmöglichkeit "TV nach Sparten". Getrennt werden die beiden Bereiche durch ein großes Flashelement mit Tagestipps und wechselnden Werbebannern. Diese werden jedoch beide kaum beachtet, und verschenken den in der Regel stärker betrachteten, zentralen Bereich der Seite. Im unteren Teil der Seite finden sich TV-News, die jedoch, genau wie das große Flashelement durch die leistungsorientierte, fokussierte Aufmerksamkeit der Testsituation wenig Beachtung finden. Auch Werbebanner werden von den Probanden auf beiden Seiten kaum bis gar nicht wahrgenommen, was ebenfalls auf eine fokussierte Aufmerksamkeit schließen lässt. 3.3.2 Komfortsuche auf klack.de Ein weiterer interessanter Punkt der qualitativen Auswertung zeigt die Komfortsuche auf klack.de. Im Gegensatz zu tvmovie.de bei deren Standardsuche eine Volltextsuche durchgeführt wird, sucht die „normale“ Suche bei klack.de nur in Filmtiteln. Um jedoch, wie in Aufgabe 4, nach Schauspielern zu suchen, muss auf klack.de die „Komfortsuche“ benutzt werden, was jedoch von den meisten Probanden nicht versucht wurde. Die erste Vermutung, der Begriff „Komfortsuche“ ist nicht so einschlägig wie etwa „Profi-Suche“ ließ sich jedoch durch die Auswertung der Heatmaps nicht bestätigen (Abb. 13). Es wird eher ersichtlich, dass der Link zur erweiterten Suche komplett übersehen wird. Hier könnte die Sichtbarkeit durch die Verwendung von Farben oder eines extra Buttons erhöht werden, um auf die besseren Suchmöglichkeiten hinzuweisen. Auch auf der Ergebnis-Seite der Suche könnte etwa bei keinem gefunden Treffer ein Link zur erweiterten Suche angeboten werden. Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach 19 Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de Abb. 13 Schnellsuche klack.de 3.3.3 Wiederholungen auf tvmovie.de Bei der Analyse der Szenarien stellte sich heraus, dass die „Wiederholungen“Funktion (Abb. 14) auf tvmovie.de leicht zu übersehen ist. Trotz einer optischen Hervorhebung durch rote Äufzählungspfeile wurde die Funktion nicht immer gesehen. Die Heatmaps des Szenarios „Wiederholung suchen“ zeigt, dass die größte Aufmerksamkeit eher bei den zusätzlichen Filminformationen als auf den Tools, unter denen auch die Wiederholungsfunktion aufgelistet ist, liegt. Das Verhalten der Probanden entspricht hier eher dem Leseverhalten des Printmediums in dem die Wiederholungen bei den zusätzlichen Filminformationen stehen und es keine extra Funktion gibt. Hier könnte eine stärkere Hervorhebung der Funktion durch einen ausgeprägten Button, oder einen Link innerhalb der stärker fixierten Filminformationen Abhilfe schaffen. Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach 20 Vergleichendes Usab bility Testing der d beiden TV V-Programm--Websites tvm movie.de und d klack.de Abb. 14 Wiederholun ngsfunktion bei tvmovie.de (Heatmap von 2 Proba anden) 4. Fesststellung gen In der Studie S erzielten beid de Website es ähnliche e Ergebnissse: Sowoh hl in der Pe erformance e als auch h in der Be enutzerbeu urteilung sc chnitten sie in der Ge esamtwerttung ähnlic ch ab. Zustand de kam das Ergebn nis durch eine Wechsselwirkung g der unab bhängigen n Variab blen Website und de em Aufgab bentyp: Die beiden Aufg gaben 2 (5 5 Spielfilme e) und 5 (Serienwied derholung)) konnten mit beiden n Websitess ähnlich gut g gelöst werden, w wodurch w h ähnlich hier he Ergebn nisse in der sub bjektiven Zufriedenh Z heit erzielt wurden. w In n der Benu utzerfreund dlichkeit fü ür Szenarrio 3 (Gesc chichts-Doku) und 4 (Spielfilm mit Julia Roberts) R un nterschied den sich die beiden Websites, soda ass hier sow wohl Unterrschiede in n der Perfo ormance (Anzahl Klicks und u Lösung gszeiten) als a auch dementspr d rechend in n der Nutze erzufriedenheit auftratten. Allerdin ngs konnte e Szenario o 3 besser mit m klack.d de gelöst werden w während Szzenario Anne An ngersbach, Daniela D Petrosino, Patrizia Singh, Philipp p Wambach 21 Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de 4 besser mit tvmovie.de zu lösen war, so dass die Gesamtwertung wieder nahezu ausgeglichen war. Der Unterschied bei Aufgabe 3 und 4 lässt sich auf die zur Lösung nötigen Bedienelemente der beiden Websites zurückführen: In Aufgabe 3 soll eine Geschichts-Doku gefunden werden, die innerhalb der nächsten 14 Tage läuft. Klack.de hat einen entsprechenden Link „Dokumentationen“ direkt in der Navigation auf der Startseite. Bei tvmovie.de hingegen kann erst in der Profisuche nach Reportagen gefiltert werden. Der Begriff Dokumentation taucht gar nicht erst auf. In Aufgabe 4 soll der nächste Spielfilm gefunden werden, in dem Julia Roberts mitspielt. Keine der beiden Websites bietet explizit eine Suche nach Stars an, so dass die Probanden auf die normale Textsuche der Homepages zurückgegriffen haben. Der Unterschied liegt darin, dass tvmovie.de eine Volltext-Suche anbietet, die alle Treffer zum gesuchten Begriff (hier „Julia Roberts“) ausgibt. Auf diese Weise bekamen die Probanden sowohl Portraits der Schauspielerin als auch Spielfilme, bei denen Julia Roberts als Schauspielerin genannt wird, in der Trefferliste angezeigt und waren schnell am Ziel. Da die einfache Suche auf klack.de nur Titel durchsucht war die Aufgabe hier wesentlich schwerer zu lösen. Die Erwartung, dass die Aufgaben auf der schlichten Seite besser gelöst werden könnten, wurde somit nicht bestätigt. Allerdings gaben die Probanden als eine Entscheidung zu Gunsten einer der beiden Websites erzwungen wurde, klack.de den Vorzug. Der höhere Bekanntheitsgrad von tvmovie.de hatte somit vermutlich keinen Einfluss auf die Ergebnisse. 5. Diskussion und Empfehlungen Die Studie wurde in diesem Fall mit einer sehr Internet-affinen Benutzergruppe durchgeführt, 6 von 8 Probanden gaben an, Online-TV-Guides zu nutzen. Die Vermutung liegt nahe, dass diese Probanden sich von Bannern weniger ablenken lassen als Probanden, die weniger mit dem Medium Internet vertraut sind. Diese Vermutung zeigt sich auch in den Heatmaps der beiden Startseiten. Eine Wiederholung der Studie mit anderer Benutzergruppe könnte demnach Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach 22 Vergleichendes Usability Testing der beiden TV-Programm-Websites tvmovie.de und klack.de interessante Ergebnisse liefern. Aufgrund der Wechselwirkung von Website und Aufgabentyp wäre auch eine Wiederholung des Versuchs mit mehr Probanden und mehr Szenarien interessant. Dennoch können aus dieser Studie die folgenden Empfehlungen abgeleitet werden: Die einfache Suche auf klack.de sollte von einer Titelsuche auf eine Volltextsuche erweitert werden. Das Suchfeld selbst müsste weiter oben auf der Seite positioniert werden, um besser wahrgenommen zu werden. Der Link zur Komfortsuche müsste besser hervorgehoben werden. Auf tvmovie.de müsste eine Spartensuche leichter zugänglich sein. Um die Komfortsuche zu finden und entsprechend zu konfigurieren sind zu viele Arbeitsschritte notwendig. In Bezug auf die Versuchsdurchführung ist es empfehlenswert, die vorhandene Technik vor den ersten Tests ausgiebig zu testen, da Kleinigkeiten (z.B. Reihenfolge in der Kameras eingeschaltet werden) schon Probleme hervorrufen können. Ebenso muss darauf geachtet werden, die Benennung der Aufgaben und Probanden in der Eyetracker-Software sinnvoll durchzuführen. Außerdem ist es unbedingt notwendig mehrere Testläufe im Vorfeld des eigentlichen Versuchs durchzuführen, da hierbei oft unerwartete Fehler oder Benutzerreaktionen entdeckt werden. Anne Angersbach, Daniela Petrosino, Patrizia Singh, Philipp Wambach 23 Anhang Szenarien • Szenario 1 Finden Sie heraus was im Moment auf 3Sat läuft. • Szenario 2 Sie sind heute Abend zum Fernseh-Abend verabredet. Finden Sie 5 Spielfilme, die heute ab 20 Uhr laufen. (Erlaubt sind sowohl mehrere Filme auf demselben Sender als auch 5 Filme auf 5 verschiedenen Sendern.) • Szenario 3 Sie möchten Ihre Freunde mit Geschichts-Wissen beeindrucken. Finden Sie eine Geschichts-Doku, die innerhalb der nächsten 14 Tage läuft. • Szenario 4 Sie sind Julia Roberts Fan. Finden Sie heraus, wann und auf welchem Sender der nächste Spielfilm mit Julia Roberts läuft. • Szenario 5 Sie haben am Mittwoch einen Termin und können daher Ihre Lieblingsserie „Desperate Housewives“ nicht schauen. Finden Sie heraus, ob die Folge, die Sie verpassen, wiederholt wird Fragebogen 1.) männl weibl Alter: _____ 2.) An wievielen Tagen in der Woche schauen Sie durchschnittlich fern? 0-1 Tage 2-4 Tage 5-7 Tage 3.) An Tagen, an denen Sie fernsehen: wieviele Stunden schauen Sie durchschnittlich fern? 0-1 Stunden 2-4 Stunden 5-8 Stunden 9 und mehr 4.) Welches Fernseh-Verhalten trifft auf Sie am ehesten zu? der Fernseher läuft bei mir meist nebenbei ich schalte mich durch die Programme bis ich etwas finde, das mir gefällt (Zapping) ich schalte den Fernseher an wenn ich etwas bestimmtes sehen möchte und danach wieder ab 5.) Was sehen Sie sich am häufigsten im Fernsehen an (mehrere Antworten möglich, max. 3) Unterhaltung-sonstiges (Serien, Talkshows, Doku-Soaps, etc.) 6.) 7.) Unterhaltung-Spielfilme Reportagen, Dokumentation Nachrichten Sport Musik 8.) Wie informieren Sie sich über das Fernsehprogramm (mehrere Antworten möglich) Fernsehzeitschrift Tageszeitung Videotext Electronic Programme Guide (Bsp. Receiver, Set-Top-Box) online gar nicht sonstiges _________________________________ 9.) Kreuzen Sie Zutreffendes an (mehrere Antworten möglich) die Website Klack.de kenne ich ja nein die Website Klack.de habe ich schon genutzt ja Ich kenne das Printprodukt Klack ja nein die Website TvMovie.de kenne ich ja nein die Website TvMovie.de habe ich schon genutzt ja Ich kenne das Printprodukt TvMovie ja nein nein nein 10.) An wievielen Tagen in der Woche nutzen Sie durchschnittlich das Internet? 0-1 Tage 2-4 Tage 5-7 Tage 11.) An Tagen, an denen Sie das Internet nutzen: wieviele Stunden nutzen Sie das Internet durchschnittlich? 0-1 Stunden 2-4 Stunden 5-8 Stunden 9 und mehr 12.) Wie gehen Sie vorzugsweise bei einer Suche auf einer Website vor? ich benutze die Suchfunktion ich nutze die Navigation der Seite Allgemeine Fragen zur Website Proband: _________________________________ Klack.de TVMovie.de 1= trifft vollkommen zu, 2 = trifft eher zu, 3 = neutral, 4 = trifft eher nicht zu, 5 = trifft nicht zu (1) (2) (3) (4) (5) ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ (1) (2) (3) (4) (5) Es ist einfach, auf der Website zu navigieren. Ich finde schnell, wonach ich suche. Die Website erscheint mir logisch aufgebaut. Die Website ist sehr ansprechend. Ich fühle mich sicher in der Bedienung der Website. Die Website ist schnell genug. Die Website hilft mir, das zu finden, wonach ich suche. Es ist kein Problem für mich, sich auf der Website zurechtzufinden. Ich mag die Benutzung der Website. Alles auf der Website ist leicht zu verstehen. Es ist leicht, die Website zum ersten Mal zu bedienen. Die Website hat nervige Bestandteile. Es ist schwer, zu wissen, wo ich mich auf der Website befinde. Die Benutzung der Website ist Zeitverschwendung. Ich finde was ich erwarte, wenn ich auf Links der Website klicke. Ich würde die Website in Zukunft auch verwenden. ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ Allgemeine Fragen zur Website Proband: _________________________________ Welche Website lässt sich einfacher navigieren? Welche Website fanden Sie optisch ansprechender? Welche Website ist übersichtlicher? Welche Website erschien Ihnen nützlicher? Auf welcher Website hat Ihnen die Benutzung mehr Spaß gemacht? Welche der beiden Websites würden Sie in Zukunft eher verwenden? Klack.de ○ ○ ○ ○ ○ ○ TVMovie.de ○ ○ ○ ○ ○ ○