„Factors relating to the decision to click on a sponsored link”

Transcription

Master of Science Unternehmensentwicklung (MBP)
Research Management (W-M-03)
Stellungnahme zu dem Fachbeitrag
„Factors relating to the decision to click on
a sponsored link”
Von B.J. Jansen, A. Brown und M. Resnick
Prüfer:
Hochschule:
Abgabedatum:
Prof. Dr. Georg Disterer
Fachhochschule Hannover
24.06.2009
Namen:
Matr.-Nr.:
Email:
Dominik Wallenreiter
1102121
[email protected]
Fabian Bruns
1102150
[email protected]
Inhaltsverzeichnis
Abkürzungsverzeichnis ...................................................................................III
Abbildungsverzeichnis ................................................................................... IV
Tabellenverzeichnis ....................................................................................... IV
Kurzfassung / Abstract.................................................................................... V
1. Einleitung .....................................................................................................1
2. Fachinhalt ....................................................................................................2
2.1 Kontext ...................................................................................................2
2.2 Inhaltsübersicht ......................................................................................5
2.3 Untersuchungsgegenstand ....................................................................5
2.4 Kritische Würdigung des Fachinhalts .....................................................7
3. Methodik ......................................................................................................8
3.1 Methodische Vorgehensweise................................................................8
3.2 Konzeptionen der Messinstrumente .......................................................9
3.2.1 Laborversuch ...................................................................................9
3.2.2 Befragung ......................................................................................11
3.3 Datenerhebung und Datenanalyseverfahren........................................12
3.3.1 Binomialtest ...................................................................................13
3.3.2 Chi-Quadrat-Anpassungstest.........................................................14
3.4 Datenanalyse und Ergebnisinterpretation ............................................15
3.5 Kritische Würdigung der Methodik........................................................20
4. Kommunikation ..........................................................................................22
4.1 Aufbau der Argumentationslinie ...........................................................22
4.2 Angewandte Rhetorik und grafische Darstellung..................................26
4.3 Kritische Würdigung der Kommunikation .............................................28
5. Fazit ...........................................................................................................29
Literaturverzeichnis........................................................................................31
Eidesstattliche Erklärung / Statutory Declaration ...........................................33
II
Abkürzungsverzeichnis
F…………………
Forschungsfrage
H…………………
Hypothese
N…………………
Anzahl der Durchgänge
P…………………
Trefferwahrscheinlichkeit in einem Durchgang
SEO……………..
Search Engine Optimization
SERP……………
Search Engine Results Page
S-I-R…………….. Stimulus-Intervenierende Variable-Reaktion
t………………….. Teststatistik
III
Abbildungsverzeichnis
Abbildung 1: Vereinfachtes S-I-R-Modell .........................................................6
Abbildung 2: Kausalmodell zu Forschungsfrage 2 .........................................19
Abbildung 3: Fußnotenverteilung ...................................................................26
Tabellenverzeichnis
Tabelle 1: Fachbegriffe ....................................................................................3
Tabelle 2: Forschungsfragen und Hypothesen ................................................7
Tabelle 3: Datenerhebungs- und -analyseverfahren ......................................13
IV
Kurzfassung / Abstract
Autoren:
Dominik Wallenreiter, Fabian Bruns
Titel:
„Factors relating to the decision to click on a sponsored link“
von B. J. Jansen, A. Brown und M. Resnick
Erstellungsjahr:
2009
Studienfach:
Research Management
Prüfer:
Prof. Dr. Georg Disterer
Der Fachbeitrag „Factors relating to the decision to click on a sponsored link“
stellt die bisherige Literatur zu dem Thema Sponsored Search dar. Hierbei
werden bestimmte Studienergebnisse zu den Ursachen der Benutzung von
Sponsored Links in Suchmaschinen infrage gestellt. Auf dieser Grundlage erheben die Autoren in einem Laborversuch in Kombination mit einer empirischen Umfrage unter 56 Teilnehmern Faktoren, welche die Entscheidung, auf
einen gesponserten Link zu klicken, beeinflussen. Der wissenschaftliche
Fachbeitrag, der in dem Journal "Decision Support Systems" veröffentlicht
wurde, basiert auf einer aktuellen betriebswirtschaftlichen Thematik. Dennoch
weist der Beitrag auch Schwachstellen auf.
The article, “Factors relating to the decision to click on a sponsored link” presents prior literature pertaining to sponsored searches. A selection of published studies concentrating on why somebody clicks on sponsored links
within search engines is critically analysed. The authors´ chosen methodology
uses an experimental study in combination with a survey with a sample size of
56 participants, to investigate the factors relating to the decision to click on a
sponsored link. Despite its up-to-date and business orientated subject matter
as well as its well-implemented methodology the article, which was published
in the Journal "Decision Support Systems", was found to contain some flaws.
V
1. Einleitung
In dieser Stellungnahme wird der Fachbeitrag „Factors relating to the decission
to click on a sponsored link“1 erörtert. Dieser wurde im Februar 2007 von den
Autoren B. J. Jansen, A. Brown und M. Resnick im Journal "Decision Support
Systems“ veröffentlicht und behandelt die Frage, aufgrund welcher Faktoren
Suchmaschinenbenutzer auf Sponsored Links klicken. In der Stellungnahme
wird der Beitrag bezüglich Fachinhalt, Methodik und Kommunikation untersucht.
Der wissenschaftliche Artikel handelt von dem Geschäftsmodell der Sponsored
Search, bei dem Suchmaschinenbenutzern individuell zugeschnittene Werbeanzeigen präsentiert werden. Diese Anzeigen enthalten sogenannte Sponsored
Links, welche auf die beworbenen Websites verweisen. Für Suchmaschinenbetreiber, Online-Marketer und Betreiber von kommerziellen Websites ist es
wichtig zu wissen, welche Einstellung Benutzer gegenüber gesponserten Links
haben und was die Suchmaschinennutzer veranlasst, die Links anzuklicken.
Die Untersuchungen sind vorwiegend auf dem Themengebiet des Konsumentenverhaltens verortet, welches ein Bestandteil der Marketingwissenschaft ist.
Bezüglich der Methodik werden die Erhebungsmethoden Laborversuch und Befragung genutzt. Damit beabsichtigten die Forscher, das Verhalten, das Wissen
und die Einstellung der Probanden bezüglich Sponsored Links realitätsnah zu
untersuchen. Die erhobenen Daten werden mithilfe des Binomialtests und des
Chi-Quadrat-Anpassungstests analysiert.
In dem Kapitel Kommunikation wird der wissenschaftliche Artikel unter dem Gesichtspunkt untersucht, wie dem Leser der Inhalt vermittelt wird. Weiterhin wird
die Struktur und Nachvollziehbarkeit der Argumentationslinie im Fachbeitrag
untersucht. Ferner wird die graphische Darstellung der Tabellen und Diagramme sowie der Stil des Textes geprüft.
1
Vgl. Jansen/Brown/Resnick (2007) S. 46–59.
1
2. Fachinhalt
2.1 Kontext
Der Fachartikel "Factors relating to the decision to click on a sponsored link" ist
am 23.02.2007 im Journal "Decision Support Systems"2 des Elsevier-Verlages
erschienen. Diese wissenschaftliche Fachzeitschrift richtet sich an Entwickler
von entscheidungsunterstützenden Systemen und dessen Nutzer, wie beispielsweise Controller und Manager. Die Verfasser sind Bernard J. Jansen,
Marc Resnick und Anna Brown. Herr Jansen ist derzeitig "assistant professor"
(Assistent oder akademischer Rat auf Zeit) an der Pennsylvania State University und hat bereits einige Veröffentlichungen auf dem Gebiet des E-Commerce
publiziert.3 Herr Resnick ist "associate professor" (Assistenzprofessor) an der
International University in Florida und ist unter anderem auf Industrieergonomie
spezialisiert.4 Frau Brown hat an den Forschungsarbeiten, die zu diesem Artikel
geführt haben, als Studentin der Pennsylvania State University mitgewirkt.5 Der
vorliegende Artikel bewegt sich auf dem Gebiet des Konsumentenverhaltens,
das Bestandteil der Marketingwissenschaft ist. Die Erforschung des Konsumentenverhaltens kann allerdings nicht ausschließlich mit Beiträgen des Marketings
erfolgen. Zusätzlich werden Fachwissen und Methoden weiterer wissenschaftlicher Disziplinen benötigt.6 Zu diesen zuliefernden Wissenschaften gehören u.
a. die Ökonomie, die Psychologie und die Mathematik. Folglich befindet sich
der zu untersuchende Fachbeitrag thematisch in einem interdisziplinären Umfeld. Es wirken einerseits technische Aspekte wie E-Commerce, Algorithmen
und Webtechnologien in diese Forschungsarbeit,7 andererseits spielen psychologische und verhaltenstheoretische Konstrukte, wie beispielsweise Einstellung,
Wissen und Verhalten, eine entscheidende Rolle.8 Die zahlreich referenzierte
Literatur befasst sich mit einem Spezialgebiet des E-Commerce: der Sponsored
Search, die eine wichtige und boomende Finanzierungsmöglichkeit für Web2
3
4
5
6
7
8
Vgl. Elsevier (2009a).
Vgl. Jansen (2009).
Vgl. Resnick (2009).
Vgl. Jansen/Brown/Resnick (2007) S. 59.
Vgl. Diller/Köhler (2009) S. 18.
2
Suchmaschinen darstellt.9 2005 generierte beispielsweise Google 99% seines
Jahresumsatzes mit Sponsored Search. Tabelle 1 erläutert alle wichtigen Fachbegriffe, die in diesem Zusammenhang von Bedeutung sind.
Fachbegriff
Erläuterung
Web-
Eine Web-Suchmaschine10 hilft dem Benutzer bei der Recherche von Webseiten. Diese Webseiten sind in der Datenquelle
einer solchen Suchmaschine enthalten. Um die Datenquelle
durchsuchbar zu machen, werden die enthaltenen Webseiten
von einer Web-Suchmaschine erfasst und bewertet. Wenn ein
Benutzer eine solche Suchmaschine benutzt, gibt er Suchwörter
ein und erhält als Resultat der Suche eine Reihe von Listings.
Eine Web-Suche ist genau eine Nutzung einer WebSuchmaschine, deren Datenquelle das WWW ist.
Sponsored Search11 hat zwei ähnliche Bedeutungen. Einerseits
bezeichnet dieser Begriff das Geschäftsmodell einer WebSuchmaschine, deren Datenquelle ausschließlich Webseiten
enthält, deren Betreiber für die Berücksichtigung in der gesponserten Suche bezahlen. Andererseits ist eine Sponsored Search
ebenfalls genau eine Nutzung der Web-Suchmaschine mit gesponserten Inhalten. Im Zweifelsfall ist erstere Definition gemeint, wenn von Sponsored Search die Rede ist.
Ein Listing enthält u. a. einen Link zu der zugehörigen Webseite
(auch Result).
Ein Result ist die Website, die durch einen Klick auf einen Link
einer SERP aufgerufen wird.
Eine Web-Suche gibt Organic Listings aus.
Ein Organic Link ist der Link eines Organic Listings.
Ein Organic Result ist die Website, die durch einen Klick auf einen Organic Link aufgerufen wird.
Eine Sponsored Search gibt Sponsored Listings aus. Somit sind
gesponserte Links eine Form von Online-Werbung, die individuell auf die Interessen des Benutzers zugeschnitten sein soll.
Ein Sponsored Link12 ist der Link eines Sponsored Listings.
Ein Sponsored Result ist die Website, die durch einen Klick auf
einen Sponsored Link aufgerufen wird.
Die SERP (Search Engine Results Page) enthält Listings in
mindestens einer Rangliste. Häufig wird neben der Rangliste mit
Organic Listings auch eine Rangliste mit Sponsored Listings angezeigt. Der Suchmaschinenbenutzer hat die Wahl, ob er auf
einen organischen oder einen gesponserten Link klickt.
Suchmaschine
Web-Suche
Sponsored Search
Listing
Result
Organic Listing
Organic Link
Organic Result
Sponsored Listing
Sponsered Link
Sponsored Result
SERP
Tabelle 1: Fachbegriffe (Quelle: Eigene Darstellung)
9
Vgl. Bischopinck/Ceyp (2007) S. 22 ff, Greifeneder (2006), S. 28.
11
Vgl. Bischopinck/Ceyp (2007) S. 6.
12
Vgl. Greifeneder (2006) S. 113 und 26.
10
3
Mittels Sponsored Search versuchen Suchmaschinenbetreiber dem Suchmaschinenbenutzer Sponsored Listings zu präsentieren, die zu der Suchanfrage
des Benutzers passen. Hierbei sind Suchmaschinen in der Lage, Suchmaschinenbenutzern relevante gesponserte Links zu präsentieren.13 Umfragen, deren
Ergebnisse die Relevanz von Sponsored Links bezweifeln lassen, werden von
den Verfassern als möglicherweise nicht realitätsnah genug und u. U. verfälscht
angesehen.14 Die Suchmaschine stellt die Ergebnisse einer Suchanfrage in einer Rangliste auf einer SERP (Search Engine Results Page) dar. Hierbei beeinflussen sowohl die horizontale Position eines Links auf dem Bildschirm15, als
auch der Rang des Verweises16 dessen Klickrate. Suchmaschinenbenutzer sind
häufig nicht in der Lage, Organic Links von Sponsored Links zu unterscheiden.17 Aus drei wissenschaftlichen Publikationen geht hervor, dass der Suchmaschinenbenutzer organische Links für relevanter und damit wertvoller als gesponserte Links ansieht.18 In diesem Zusammenhang wird vermutet, dass Internetnutzer negative Vorurteile gegenüber gesponserten Links und Results haben.19 Diesbezüglich intendieren die Verfasser des betrachteten Fachbeitrages,
Klarheit zu schaffen. Unter anderem soll untersucht werden, ob Suchmaschinenbenutzer tatsächlich negative Vorurteile gegenüber gesponserten Links und
Results pflegen. Die Ergebnisse dieses wissenschaftlichen Artikels sind für alle
Website-Betreiber relevant, die mithilfe von SEO (Search Engine Optimization)
oder gesponserten Links Internetnutzer für ihre Website gewinnen wollen. Da
beide Alternativen in der Regel mit Arbeit und finanziellem Aufwand verbunden
sind, ist die Zielgruppe dieses Aufsatzes in verstärktem Maße im E-CommerceUmfeld beheimatet. Hierbei handelt es sich insbesondere um professionelle Online-Marketer, Manager und Content Provider.20
13
15
16
17
18
Vgl. Jansen/Brown/Resnick (2007) S. 47-48.
19
20
Vgl. Jansen/Brown/Resnick (2007) S. 51 und 54 .
14
4
2.2 Inhaltsübersicht
In dem Fachbeitrag untersuchen die Verfasser das Wissen, die Einstellung und
das Verhalten von Suchmaschinenbenutzern in Bezug auf gesponserte Links.
Ziel ist es, zu erforschen, ob und warum Nutzer von Suchmaschinen negative
Vorurteile gegen Sponsored Links und Sponsored Results haben. Dazu nahmen 56 Probanden im Alter von 26-29 Jahren an einem Laborversuch und einer
Befragung teil. Die Ergebnisse zeigen, dass Suchmaschinenbenutzer negative
Vorurteile gegen gesponserte Links haben. Allerdings besteht diese ablehnende Einstellung nicht gegenüber Sponsored Results. Weiterhin ist erwiesen,
dass mangelnde Informationen über gesponserte Links zu diesem negativen
Vorurteil beitragen. Diese Erkenntnisse bedeuten für Online-Marketer und
Suchmaschinenbetreiber, dass zwar eine allgemeine Skepsis betreffend Sponsored Links vorherrscht, diese Skepsis allerdings mithilfe von Informationskampagnen reduziert werden kann. Zukünftig könnten Faktoren, die zu dem negativen Vorurteil gegenüber Sponsored Links beitragen, eingehender untersucht
werden. Alternativ könnten Zusammenhänge zwischen Suchanfragencharakteristika und der Nutzung von gesponserten Links auf SERPs erforscht werden.
2.3 Untersuchungsgegenstand
Die Untersuchungsgegenstände sind das Wissen, die Einstellung und das Verhalten der Suchmaschinenbenutzer bezüglich gesponserter Links und Sponsored Results. Hierbei handelt es sich um Begriffe, die innerhalb der Theorie der
Konsumentenforschung in dem S-I-R-Modell21 (Stimulus-Intervenierende Variable-Reaktion; Englisch: s-o-r model) enthalten sind. Da das S-I-R-Modell wesentlich mehr Aspekte abdeckt als der zu untersuchende Artikel, wird es auf ein
vereinfachtes Modell reduziert. Das vereinfachte S-I-R-Modell ist in Abbildung 1
dargestellt.
21
5
Abbildung 1: Vereinfachtes S-I-R-Modell (Quelle: Eigene Darstellung, in Anlehnung an
Diller/Köhler (2009) S. 151.)
Ein Stimulus (Reiz), der in einer Situation von einem Menschen aufgenommen
wird, kann den Menschen aktivieren und ihn zu einer Reaktion bewegen. Diese
Reaktion ist Teil seines Verhaltens. Stimulus und Reaktion sind beobachtbare
Elemente, zwischen denen kein monokausaler Zusammenhang existiert. Zusätzlich sind die Aspekte Wissen und Einstellung relevant, weil sie das Verhalten ebenfalls beeinflussen. Gemäß dem vereinfachten S-I-R-Modell ruft der
Mensch nach der Wahrnehmung des Stimulus sein Wissen bezüglich des Objektes ab, mit dem der Reiz verbunden ist. Wissen bezeichnet „den Zustand
subjektiver Informiertheit über Eigenschaften und Relationen von Objekten“.22
Wissen kann durch Informationsaufnahme und -verarbeitung entstehen. Bewertetes Wissen führt zu einer Einstellung bezüglich dieses Objektes. Eine Einstellung ist eine relativ dauerhafte Bereitschaft, in einer Situation gegenüber einem
Objekt positiv oder negativ zu reagieren.23 Eine Einstellung bewertet ein Objekt
auf Grundlage des Wissens. Ein Vorurteil ist eine besondere Form der Einstellung und bedeutet eine vorschnell gebildete Einstellung auf Basis nicht ausreichenden Wissens. Während ein Vorurteil zugunsten oder zulasten eines Objektes sein kann, ist ein negatives Vorurteil zulasten eines Objektes.24 Nach der
bewertenden Einstellung richtet sich schließlich das Verhalten des Menschen.
Alle Forschungsfragen und Hypothesen der betrachteten Forschungsarbeit beziehen sich auf die Situation, in der ein Benutzer ein bestimmtes Produkt im
Web kaufen soll. Um dieses zu finden, wurde eine Suchanfrage bei einer Suchmaschine gestartet. Daraufhin wird eine SERP mit den Suchergebnissen angezeigt. Auf der SERP befinden sich sowohl Organic Links als auch Sponsored
Links. Nun soll der Suchmaschinenbenutzer mit der Produktsuche fortfahren.
22
Diller/Köhler (2009) S. 36.
24
23
6
Die Forschungsfragen sind in Tabelle 2 dargestellt. Forschungsfrage 1 wird in
die Hypothesen 1a bis 1d unterteilt.
F1
H1a
H1b
H1c
H1d
F2
F3
F4
F5
Haben Suchmaschinenbenutzer negative Vorurteile gegen Websites, die
sie über Sponsored Links erreichen?
Suchmaschinenbenutzer werden Organic Links vor Sponsored Links
durchsehen.
Suchmaschinenbenutzer werden ausschließlich Organic Links untersuchen und keine Sponsored Links durchsehen.
Suchmaschinenbenutzer werden Organic Links als relevanter beurteilen
als Sponsored Links.
Suchmaschinenbenutzer werden Organic Results als relevanter beurteilen als Sponsored Results.
Was sind die Grundlagen für die vom Suchmaschinenbenutzer selbstgeäußerten negativen Vorurteile gegenüber Sponsored Links?
Tragen fehlende Informationen bezüglich Sponsored Links zu den negativen Vorurteilen bei?
Welchen Einfluss hat die Unkenntlichmachung von Sponsored Links auf
die Einstellung des Suchmaschinenbenutzers bezüglich Sponsored
Links.
Was ist die nächste Aktion des Suchmaschinenbenutzers, nachdem er
die SERP gesehen hat?
Tabelle 2: Forschungsfragen und Hypothesen (Quelle: Eigene Darstellung, in Anlehnung an
Bernard/Brown/Resnick (2007) S. 48-49.)
Resümierend dargestellt, erforschen die Verfasser Faktoren, die sich direkt
oder indirekt auf das Verhalten von Suchmaschinenbenutzern auswirken. Zu
diesem Zweck werden eine Reihe von Forschungsfragen und Hypothesen formuliert, deren Untersuchung dazu führen soll, das Verhalten der Suchmaschinenbenutzer bei E-Commerce-Suchen zu verstehen. Dadurch sollen Ansatzpunkte gefunden werden, die Einstellung des Suchmaschinenbenutzers beeinflussen zu können. Die Resultate führen zu Handlungsempfehlungen und werden zielgruppengerecht kommuniziert.
2.4 Kritische Würdigung des Fachinhalts
Die Konsumentenforschung im E-Commerce-Umfeld und das Thema des Beitrages ist zu dem Zeitpunkt der Veröffentlichung aktuell gewesen und hat bis
heute nichts von seiner Aktualität eingebüßt. Auf 14 Seiten stellen die Verfasser
die Erforschung der Untersuchungsobjekte in umfangreicher Weise dar. Für je7
des Ergebnis werden explizit Zielgruppen und Handlungsempfehlungen genannt. Damit wird ein hoher Praxisbezug aufgezeigt. Der Artikel ist in zweierlei
Hinsicht relevant. Einerseits ist die Zielgruppe sehr groß: die Ergebnisse können sowohl von Suchmaschinenbetreibern, Web-Marketern und ContentProvidern, als auch von allen Website-Betreibern, die Besucher über Suchmaschinen gewinnen wollen, genutzt werden. Sie können anhand der Ergebnisse
des Artikels besser abschätzen, ob sich für sie eher SEO oder Sponsored-LinkWerbung rechnet. Andererseits adressieren die Ergebnisse die hauptsächliche
Finanzierungsmöglichkeit von Suchmaschinen, nämlich Sponsored Search.25
3. Methodik
3.1 Methodische Vorgehensweise
Der wissenschaftliche Beitrag „Factors relating to the decission to click on a
sponsored link“, der von den Autoren Jansen, Brown und Resnick veröffentlicht
wurde, folgt einem deduktiven Erklärungsmodell. Die Autoren stellen in Kapitel
3, auf Grundlage der Literaturrecherche in Kapitel 2 und der kritischen Betrachtung früherer Untersuchungen, mehrere Hypothesen auf. Nachfolgend überprüfen die Autoren die Hypothesen durch den Einsatz eines Laborversuchs und
einer anschließenden Befragung. Mithilfe der Ergebnisse des Laborversuchs
werden dann die Forschungsfragen 1 und 5, mit den Ergebnissen der Befragung die Forschungsfragen 2, 3 und 4 adressiert. Insgesamt dauern der Laborversuch und die Befragung zusammen 1,5 Stunden pro Proband.
25
8
3.2 Konzeptionen der Messinstrumente
3.2.1 Laborversuch
Die Autoren stellen einige Untersuchungsergebnisse in dem Themengebiet der
Sponsored Search infrage, da sie nicht auf Grundlage von tatsächlichen Beobachtungen sondern Umfragen generiert wurden.26 Um die Ergebnisse vorheriger Untersuchungen zu überprüfen, eignet sich als Erhebungsmethode die Beobachtung im Rahmen eines Laborversuchs. Beobachtungen werden als zielgerichtete und planmäßige Erfassung von wahrnehmbaren Sachverhalten und
Reaktionen von Personen und Maschinen definiert, wobei sich der Beobachter
rezeptiv verhält.27 Der Laborversuch war so aufgebaut, dass den Probanden
nur eingangs der Verlauf des Tests beschrieben wurde. Danach interagierte der
Beobachter nicht mit den Probanden.28
Als Datengrundlage für den Versuchsaufbau diente ein Protokoll, das ca. eine
Million E-Commerce-Suchanfragen der Suchmaschine Excite enthielt. Hieraus
extrahierten die Autoren mithilfe einer modifizierten Schneeball-Methode drei
Kategorien von Suchanfragen. Diese wurden in zwei Szenarien mit je einer
reellen Suchaufgabe unterteilt, die von den Probanden innerhalb des Laborversuchs ausgeführt werden sollte.29
Die einzelnen Szenarien wurden von den Autoren in Google eingegeben und
gesucht. Die so generierten SERPs wurden gespeichert und alle Googlespezifischen Merkmale unkenntlich gemacht. Beispielsweise ersetzten die Autoren das Google-Logo durch den Namen „Really Cool Search Engine“. Die Anonymisierung der SERPs bewirkte, dass die Probanden keine negativen oder
positiven Vorurteile gegenüber der fiktiven Suchmaschine hatten. Zusätzlich
wurden die Results gespeichert, auf die die SERP verwies. Die SERP war so
gestaltet, dass zehn organische und fünf gesponserte Links angezeigt wurden.
Die so modifizierten sechs SERPs wurden als Original-SERPs bezeichnet. Im
26
Vgl. Koch: (2004) S. 88.
28
29
27
9
nächsten Schritt wurden die anonymisierten SERPs erneut modifiziert, wobei
jeweils die ersten fünf Organic Links mit fünf Sponsored Links getauscht wurden. Die Autoren begründen dies damit, dass Suchmaschinenbenutzer lediglich
die ersten fünf Suchergebnisse einer SERP in Betracht ziehen.30 Diese SERPs
werden als Switched SERPs bezeichnet. Da Sponsored Listings bei Google auf
der linken Seite anders dargestellt werden als auf der rechten Seite, wurden die
gesponserten Listings so verändert, dass der Unterschied für die Probanden
nicht ersichtlich war.31
Nachdem den Probanden die jeweiligen Szenarien mit den dazugehörigen
Suchaufgaben vorgelesen wurden, zeigte der Moderator jedem Probanden drei
Original- und drei Switched SERPs in einem Browser. Die SERPs aus dem
Pool mit sechs Original- und sechs Switched SERPs waren so kombiniert, dass
nicht jedem Probanden die gleichen SERPs gezeigt wurden.
In der Einleitung vor dem Versuch wurden die Probanden dazu aufgefordert,
ihre Gedanken während der Beobachtung laut zu äußern. Die Probanden sollten zusätzlich die Wichtigkeit der einzelnen Links für die Suchaufgabe evaluieren und erklären, warum sie auf der SERP von einem Link zum nächsten wechseln. Anschließend öffnete der Moderator die SERP mit den Organic- und
Sponsored Links, und die Probanden sollten ihren Teil der Suchaufgabe beginnen. Die Aktionen und Äußerungen der Benutzer (z. B. Klick auf einen Sponsored- oder Organic Link) wurden mithilfe einer selbstentwickelten Applikation dokumentiert.
Nachdem die Probanden auf einen der Links geklickt hatten, sollten sie die Inhalte der Seite beschreiben und evaluieren. Nach der Evaluation des Results
wurde den Probanden das nächste Szenario und die dazugehörige Suchaufgabe vorgelesen und die SERP gezeigt. Insgesamt wiederholte sich die Prozedur
sechsmal. Nachdem alle Aufgaben ausgeführt wurden, öffnete der Moderator
erneut die erste SERP. Nun sollten sich die Probanden alle Suchergebnisse
ansehen, die sie im ersten Durchlauf nicht betrachtet und nicht ausgewählt hat-
30
31
10
ten. Die dazugehörigen Results sollten die Probanden ebenfalls verbal evaluieren.
3.2.2 Befragung
Das zweite Messinstrument war eine Befragung der Probanden. Hiermit versuchten die Autoren u. a., die selbstgeäußerten negativen Vorurteile gegen
Sponsored Links zu ermitteln und diese mit den während des Laborversuchs
ermittelten Daten zu vergleichen.
Die vier Fragen des Fragebogens sollten Erkenntnisse für die Forschungsfragen 2, 3 und 4 generieren. Für die Antworten der ersten geschlossenen Frage
wählten die Autoren eine dreifache Likert-Skala32. Alle weiten Fragen waren offene Fragen, die die Probanden in Form eines freien Texts beantworten konnten. Bei Befragungen ist es wichtig, dass die Mischung aus offenen und geschlossenen Fragen ausgewogen ist.33 Zu viele und zu kompliziert gestellte offene Fragen können bei den Probanden zur Ermüdung führen, was dann wiederum Auswirkungen auf die Qualität der erhobenen Daten hat.34 Die Forschungsfrage 2: Was sind die Grundlagen für die vom Suchmaschinenbenutzer
selbst-geäußerten negativen Vorurteile gegenüber Sponsored Links?, wurde
innerhalb des Fragebogens durch die Frage “Do you ever look at sponsored
links?” (Schauen sie sich gesponserte Links an?) adressiert. Nur aus der Ergebnistabelle lässt sich schließen, dass die Antwortmöglichkeiten „Yes“, „Sometimes“ und „No“ möglich waren.
Die Frage „Why or why not ?“ (…do you look on sponsored links) war eine offene Frage, bei der die Probanden die Antwort zur vorherigen Frage begründen
konnten. Hierdurch fragten die Autoren erneut nach der Bewertung von gesponserten Links. Das ermöglichte eine Gegenüberstellung der jeweils aus dem
Laborversuch und aus der Befragung ermittelten Meinungen über gesponserte
32
Vgl. Broda (2006) S. 68.
Vgl. Wellenreuther (2000) S. 340.
34
Vgl. Wellenreuther (2000) S. 340.
33
11
Links. Auf diese Weise soll die Abweichung zwischen der Realität und der
Selbstauskunft ermittelt werden.
Innerhalb der Literaturrecherche erläutern die Autoren, dass viele Suchmaschinenbenutzer nicht verstehen, was gesponserte Links sind (Prior research has
reported that many searchers do not understand sponsored links).35 Um herauszufinden, ob sich die Meinungen über Sponsored Links durch eine bessere
Informationsbereitstellung ändern, wurde den Probanden innerhalb des Fragebogens eine kurze Erläuterung über gesponserte Links gegeben. Nachdem der
Moderator die Probanden über die gesponserten Links aufgeklärt hatte, wurden
sie erneut nach ihren Meinungen über diese Art von Links befragt. Hiermit adressierten die Autoren die Forschungsfrage 3, “Does a lack of information concerning sponsored links contribute to the bias?”.
Die letzte Frage innerhalb des Fragebogens wurde zur Prüfung der Forschungsfrage 4, „What is the impact of disclosure on searchers´ viewpoints of
sponsored links?“ genutzt. Mit dieser offenen Frage sollte geprüft werden, inwiefern sich die Unkenntlichmachung von Sponsored Links auf die Meinung der
Probanden über diese Links auswirkt.
3.3 Datenerhebung und Datenanalyseverfahren
Im Rahmen der Datenerhebung wurden 56 Probanden einem Laborversuch
und einer anschließenden Befragung unterzogen.36 Wie vielen Personen die
Teilnahme an dieser Studie angeboten wurde, ist nicht bekannt. Somit kann
auch keine Rücklaufquote, analog zu der Rücklaufquote einer E-Mail-Umfrage,
ermittelt werden. Von dieser stichprobenartigen Erhebung soll auf Merkmale
und Verhalten der Grundgesamtheit aller Suchmaschinenbenutzer geschlossen
werden. Die Probanden waren Studierende der Pennsylvania State University
und der Florida International University.37 Alle Probanden waren im Alter zwischen 18 und 29 Jahren. Die Zusammensetzung der Stichprobe wird damit begründet, dass die Probanden der Hauptzielgruppe von Web-Marketern entspre-
35
37
36
12
chen. Die genaue Verteilung der Probanden in Bezug auf Geschlecht und sozioökonomischer Situation wird nicht näher erläutert.
In der vorliegenden wissenschaftlichen Arbeit werden die Datenanalyseverfahren Binomialtest und Chi-Quadrat-Anpassungstest angewendet.38 Tabelle 3
zeigt, welche Datenerhebungs- und -analysemethode bei welcher Forschungsfrage bzw. Hypothese angewandt wurde. Mangels detaillierter Beschreibungen
der angewandten Tests kann die Datenanalyse nicht bis ins Kleinste nachvollzogen werden.
Forschungsfrage/
Hypothese
F1
H1a
H1b
H1c
H1d
F2
F3
F4
F5
Datengewinnungsverfahren
Laborversuch
Laborversuch
Laborversuch
Laborversuch
Befragung
Befragung
Befragung
Laborversuch
Datenanalyseverfahren
Binomialtest
Binomialtest
Chi-Quadrat-Anpassungstest
Chi-Quadrat-Anpassungstest
-
Tabelle 3: Datenerhebungs- und Datenanalyseverfahren (Quelle: Eigene Darstellung)
3.3.1 Binomialtest
Mit dem Binomialtest39 können statistisch signifikante Abweichungen von einer
theoretischen Verteilung ermittelt werden.
Die Voraussetzungen des Binomialtests sind ähnlich wie die des BernoulliExperiments. Bei jedem Durchgang kann es zwei Ergebnismöglichkeiten geben. Bei einem Durchgang handelt es sich beispielsweise um einen Münzwurf
oder eine geschlossene Frage. Dabei definiert man ein Ergebnis als Erfolg und
das andere Ergebnis als Fehlschlag. Die Wahrscheinlichkeit für einen Treffer in
einer Runde wird mit P bezeichnet. Wenn es mehrere Durchgänge gibt, wird
38
39
Vgl. Henze (2008) S. 240 ff, Duller (2008) S. 129 ff, Sauerbier (2003) S. 101 f.
13
deren Anzahl mit N angegeben. Das Ergebnis eines Durchgangs ist unabhängig von den Ergebnissen anderer Runden.
Eine statistische Datenanalyse kann nicht mit vollständiger Sicherheit belegen,
dass eine Hypothese zutrifft. Deshalb wird die Irrtumswahrscheinlichkeit Alpha
definiert. Je niedriger die Irrtumswahrscheinlichkeit, desto unwahrscheinlicher
ist die Beeinflussung des Ergebnisses durch einen ungünstigen Zufall. Eine
niedrige Irrtumswahrscheinlichkeit wird auch Signifikanzniveau genannt.40 Ein
Signifikanzniveau unter 5% (Alpha = 0.05) ist beispielsweise in der Grundlagenforschung üblich.41
Bei dem Binomialtest werden zwei Hypothesen aufgestellt: die Nullhypothese
und die Alternativhypothese. Die Nullhypothese besagt, dass sich der zu messende Wert nicht signifikant von dem Wert unterscheidet, der sich bei der theoretischen Eintrittswahrscheinlichkeit der Binomialverteilung ergeben hätte. In
der Regel wird die Nullhypothese so lange beibehalten, bis der statistische Test
etwas anderes ergeben hat. Die Alternativhypothese besagt das Gegenteil,
nämlich dass sich der zu messende Wert signifikant unterscheidet.
Anhand der angenommenen theoretischen Verteilung und des Signifikanzniveaus wird der Ablehnungsbereich errechnet. Wenn das Experiment mit allen
Durchgängen beendet ist, wird die Gesamtanzahl der Treffer notiert. Anhand
dieser Stichprobenwerte wird der Wert t (Teststatistik) errechnet. Befindet sich
dieser Wert in dem Ablehnungsbereich, wird die Nullhypothese abgelehnt. Andernfalls wird die Nullhypothese angenommen.
3.3.2 Chi-Quadrat-Anpassungstest
Der Chi-Quadrat-Anpassungstest prüft, ob die Verteilung einer Datenerhebung
aus einer Grundgesamtheit der hypothetisch angenommenen Verteilung
gleicht.42 Da eine Verteilung selten vollkommen idealtypisch ist, soll vor allem
40
Vgl. Bortz/Döring (2002) S. 30.
Vgl. Bortz/Döring (2002) S. 30.
42
Vgl. Härdle/Rönz (2008).
41
14
ermittelt werden, ob eine Abweichung zufällig oder signifikant ist. Die Voraussetzungen für diesen Test sind Zufallsstichproben, die nach den Regeln des
Bernoulli-Experiments43 erfolgen.44 Zusätzlich muss das Signifikanzniveau Alpha45 festgelegt sein. Die Nullhypothese lautet bei dem Chi-QuadratAnpassungstest immer, dass die Zufallsvariable X in der Grundgesamtheit die
hypothetische Verteilung aufweist. Die Alternativhypothese besagt das Gegenteil.
Nach der Bestimmung des Ablehnungsbereichs wird die Teststatistik t auf Basis
der theoretischen und der gemessenen Verteilung errechnet. Hierbei muss die
Verteilung von t unter der Nullhypothese bekannt sein. Wenn t in den Ablehnungsbereich fällt, wird die Nullhypothese abgelehnt. Andernfalls wird die Nullhypothese angenommen.
3.4 Datenanalyse und Ergebnisinterpretation
Dieses Kapitel enthält für jede Forschungsfrage bzw. Hypothese die Ergebnisse
der Datenanalyse. Zudem werden diese Ergebnisse interpretiert und daraus
Handlungsempfehlungen abgeleitet.
F1: Haben Suchmaschinenbenutzer negative Vorurteile gegen Websites,
die sie über Sponsored Links erreichen?46 Die Untersuchung der Forschungsfrage 1 erfolgt in vier Schritten, wobei jeder Schritt seine eigene Hypothese hat.
H1a: Suchmaschinenbenutzer werden Organic Links vor Sponsored Links
durchsehen.47 Die Mehrheit der Probanden (82%) betrachtete zuerst die Organic Links. Lediglich 6% der Suchmaschinenbenutzer betrachteten die Sponsored Links und 12% betrachteten die SERPs komplett, ohne eine Linkart zu bevorzugen. Die meisten Probanden prüften die Links entsprechend ihres Ranges. Dabei wurden 55 Durchgänge aufgrund eines technischen Fehlers nicht
43
Vgl. Kapitel 3.3.1 Binomialtest.
Vgl. Härdle/Rönz (2008).
45
Vgl. Kapitel 3.3.1 Binomialtest.
46
47
44
15
protokolliert. Da der Binomialtest belegt, dass die Organic Links mit deutlicher
Mehrheit zuerst betrachtet wurden, wird H1a akzeptiert. Als praktische Konsequenz nennt der Autor, dass sich ein Website-Betreiber bemühen sollte, seine
Website in erster Linie über Organic Links auf hochfrequentierten SERPs zu
platzieren. Falls dies nicht möglich oder wirtschaftlich nicht begründbar sein
sollte, stellt Sponsored Search eine Alternative dar.
H1b: Suchmaschinenbenutzer werden ausschließlich Organic Links untersuchen und keine Sponsored Links durchsehen.48 Der Laborversuch
zeigt, dass 27% der Probanden ausschließlich Organic Links betrachteten. Keiner der Probanden schaute ausschließlich Sponsored Links an. Insgesamt 73%
der Probanden betrachteten beide Link-Arten. Umgerechnet auf die Anzahl der
Suchaufgaben betrachteten die Probanden bei 51,5% der Aufgaben ausschließlich Organic Links und bei 48,5% der Aufgaben beide Link-Typen. Nach
der Durchführung des Binomialtests wird H1b abgelehnt. Die Probanden betrachteten in der Regel beide Link-Arten und nicht nur Organic Links. Für Online-Marketer unterstreicht dieses Resultat den Wert der Sponsored Links als Alternative zu Organic Links.
H1c: Suchmaschinenbenutzer werden Organic Links als relevanter beurteilen als Sponsored Links.49 Die Untersuchungen ergaben, dass die Probanden 52,4% der organischen und lediglich 47,6% der gesponserten Links für relevant hielten. Da gemäß des Chi-Quadrat-Anpassungstests organische Links
signifikant höher bewertet wurden als gesponserte Links, wird H1c akzeptiert.
Hierbei muss beachtet werden, dass die Listings teilweise durch Rotation bewusst nicht der Link-Art entsprachen, als die sie deklariert wurden. Beispielsweise wurden bestimmte Organic Links als Sponsored Links bezeichnet. Deshalb gab in diesem Test die Bewertung der Linkbezeichnung den Ausschlag.
Diese Bewertung deutet auf ein negatives Vorurteil gegen Links hin, die als gesponsert deklariert werden. Für Online-Marketer und Suchmaschinenbetreiber
bedeutet dies, dass der Erfolg des Geschäftsmodells Sponsored Search durch
dieses negative Vorurteil belastet wird.
48
49
16
H1d: Suchmaschinenbenutzer werden Organic Results als relevanter beurteilen als Sponsored Results.50 Die angesprochene Relevanz ist im Bezug
zu der Suchaufgabe zu sehen, die die Probanden absolvieren sollen. Je nützlicher das Result für die Suchaufgabe ist, desto relevanter ist es für den User.
Die Autoren haben die genauen Ergebniswerte nicht angegeben. Lediglich ein
Diagramm, aus dem die Werte abgeschätzt werden können, stellt diese dar. Im
Vergleich zu Organic Results wurden mehr Sponsored Results als relevant beurteilt. In der Einstufung "etwas relevant" liegen die organischen Results knapp
vor den gesponserten. Die Beurteilung "nicht relevant" wurde an mehr Organic
Results als Sponsored Results vergeben. Gemäß dem Ergebnis des ChiQuadrat-Anpassungstests51 existieren keine signifikanten Unterschiede in der
Beurteilung. Daher wird die Hypothese H1d abgelehnt.
Wenn ein Proband ein gesponsertes Result sah, wusste er, dass es über einen
Sponsored Link aufgerufen wurde. Das negative Vorurteil gegenüber dem gesponserten Link wurde durch den Eindruck überwunden, den das Result auf
den Proband gemacht hatte. Für Website-Betreiber, die gesponserte Links
schalten lassen, bedeutet dieses Ergebnis, dass das negative Vorurteil nach
dem Klick auf den gesponserten Link durch das Erscheinungsbild des Results
kompensiert werden kann.
Die Untersuchung der Hypothesen hat ergeben, dass Forschungsfrage 1 verneint werden muss. Web-Suchmaschinenbenutzer betrachten zuerst organische Links (H1a) und bewerten diese als relevanter, vorausgesetzt sie sind als
solche gekennzeichnet (H1c). Sponsored Links werden allein wegen ihrer
Kennzeichnung als unrelevanter bewertet. Die Relevanz eines Links hängt mit
der Relevanz des durch ihn erreichbaren Result zusammen. Generell ist ein
Link nur wertvoll, wenn das ihm hinterlegte Result auch wertvoll ist. Wenn die
User die Relevanz der Links richtig bewertet haben sollten, müssten sie die hinterlegten Results ebenso beurteilen. Das ist aber nicht der Fall. In der Relevanzbewertung der Results (H1d) gibt es keinen signifikanten Unterschied zwischen Results, die über Sponsored Links erreicht werden, und Results, die über
Organic Links erreicht werden. Somit haben die User ein vorschnelles Urteil zu50
51
Vgl. Kapitel 3.3.2 Chi-Quadrat-Anpassungstest.
17
lasten von Sponsored Links getroffen. In anderen Worten: Hiermit liegt ein negatives Vorurteil gegen Sponsored Links vor. Allerdings existiert kein negatives
Vorurteil gegen Sponsored Results.
F2: Was sind die Grundlagen für die vom Suchmaschinenbenutzer selbstgeäußerten negativen Vorurteile gegenüber Sponsored Links?52 Die 2.
Forschungsfrage ist in zwei Teilfragen unterteilt. Auf die 1. Teilfrage: "Schauen
sie sich gesponserte Links an?", antworten 35% der Probanden mit ja und 65%
mit nein. 7% der Ja-Antworten sind im Sinne von "manchmal" relativiert. Verglichen mit Ergebnissen von H1b ist das selbstgeäußerte Vorurteil in F2 ca. 10%
größer. Das bedeutet für das Geschäftsmodell der Sponsored Search, dass
sich relativ viele Suchmaschinenbenutzer gesponserte Links anschauen. Aber
sie klicken nur darauf, wenn es ihre letzte Option ist oder der gesponserte Link
sehr relevant erscheint.
Die 2. Teilfrage sucht nach den Faktoren, warum Probanden gesponserte Links
betrachten oder nicht. Das überwiegende Bewertungskriterium für gesponserte
Links ist mit 40% der Antworten die Relevanz. Darauf folgen optischer Reiz
(12%), Bedürfnis (12%) und Optionen (im Sinne von verfügbare Links, 12%). An
dieser Stelle werden ausschließlich die vier wichtigsten Faktoren genannt. Die
Faktoren und das von ihnen beeinflusste Verhalten sind in Abbildung 2:
Kausalmodell zu Forschungsfrage 2, dargestellt. Die Antworten bezüglich der
Relevanz unterteilen sich zu 65% in Antworten, nach denen die Probanden auf
einen Sponsored Link klicken würden, wenn sie ihn für relevant halten würden.
Die restlichen 35% der Antworten besagen, dass die Probanden nie auf einen
Sponsored Link klicken, weil sie ihn immer für nicht-relevant halten.
52
18
Unabhängige Variablen
Abhängige Variable
Relevanz
Optischer Reiz
Sponsored Links betrachten
Optionen
(verfügbare Links)
Bedürfnis
Abbildung 2: Kausalmodell zu Forschungsfrage 2 (Quelle: Eigene Darstellung)
Für Suchmaschinenbetreiber bedeuten diese Ergebnisse, dass sie dem Suchmaschinenbenutzer nur relevante Sponsored Links präsentieren können, wenn
sie ergründen können, was der Suchmaschinenbenutzer sucht. Darüber hinaus
fördern der Charakter und der optische Reiz eines Sponsored Results den Klick
auf dessen Link. Zuträglich für einen Klick ist weiterhin eine bekannte Marke
oder eine bekannte URL (uniform resource locator) des Results.
F3: Tragen fehlende Informationen bezüglich Sponsored Links zu den negativen Vorurteilen bei?53 In der Untersuchung zu F3 wurden den Probanden
aktuelle Informationen über Sponsored Search mitgeteilt. Anschließend wurden
sie erneut über Sponsored Links befragt. Für 48% der Befragten ist Akzeptanz
der Hauptfaktor, für 36% Relevanz, für 8% Vertrauen und für weitere 8% Motivation. Der Faktor Akzeptanz hat sich im Vergleich zur Situation vor der Informationsbereitstellung über Sponsored Links erhöht. Insgesamt war aber nach
wie vor die Mehrheit der Probanden der Meinung, dass Sponsored Links nicht
relevant sind. Betreiber von Suchmaschinen erhalten durch diese Untersuchung
die Information, dass eine Informationskampagne über gesponserte Links deren
Akzeptanz erhöhen könnte.
53
19
F4: Welchen Einfluss hat die Unkenntlichmachung von Sponsored Links
auf die Einstellung des Suchmaschinenbenutzers bezüglich Sponsored
Links.54 In 49% der Antworten war der Faktor Effektivität wichtig. Solange die
Probanden die relevanten Informationen auf einer SERP erkennen können,
scheinen sie die Unkenntlichmachung von gesponserten Links nicht allzu negativ zu bewerten. Weitere Faktoren sind: Qualität (27%), Spaß (18%) und Motivationen (6%). Wie die letzteren drei Faktoren zu interpretieren sind, ist leider unbekannt.
F5: Was ist die nächste Aktion des Suchmaschinenbenutzers, nachdem er
die SERP gesehen hat?55 Die Mehrheit der Probanden (91,7%), welche auf
einer SERP relevante Informationen zu einem Produkt entdeckten, würde es
anschließend auch kaufen. Die restlichen 8.3% bekundeten, die Produktsuche
offline fortsetzen zu wollen. 41,6% der Probanden, die auf einer SERP keine
relevanten Informationen zu einem Produkt fanden, würden auf eine andere
SERP wechseln. Weitere 21.8% würden die Suche auf einer anderen Website
fortsetzen. Ein Anteil von 19,3% würde die Onlinesuche komplett abbrechen,
17,3% der Probanden würden die Suchanfrage neu formulieren. Das bedeutet
für Suchmaschinenbetreiber, dass viele Suchmaschinenbenutzer den Suchmaschinen eine zweite Chance geben, wenn sie die gewünschten Informationen
nicht sofort finden.
3.5 Kritische Würdigung der Methodik
Der Aufbau der Studie ist insgesamt schlüssig und zielführend. Leider sind die
angewandten Methoden nicht ausführlich beschrieben, was es dem Leser erschwert, den angemessenen Einsatz der Methoden zu bewerten. Methodisch
ungenau ist die Frage “Do you ever look at sponsored links?”. Aus der Ergebnistabelle geht hervor, dass die Antwortmöglichkeiten „Yes“, „No“ und „Sometimes“ waren. Die Antwortmöglichkeit „Sometimes“ ist hierbei unpassend gewählt, da die Frage nur mit Ja oder Nein beantwortet werden kann. Somit hätten die Autoren für diese Frage besser eine Guttmann-Skalierung einsetzen sol-
54
55
20
len. Hierbei handelt es sich um ein reaktionsorientiertes und deterministisches
Skalierungsverfahren, wobei die dichotomen Items der Frage 1 sich jeweils nur
gegenseitig ausschließendem Reaktionsverhalten, also Ja oder Nein annehmen
können.56 Während der Auswertung im Text haben die Autoren dies berücksichtigt und die Ergebnisse für die Antwortmöglichkeiten „Yes“ und „Sometimes“ zusammengefasst. Betreffend der Datenerhebung ist zu bemerken, dass die
Stichprobengröße in Bezug auf die Grundgesamtheit, die vermutlich viele Millionen von Suchmaschinenbenutzern umfasst, relativ klein erscheint. Da der Laborversuch mit einem Zeitaufwand von 1,5 Stunden pro Proband sehr aufwendig ist, ist die relativ kleine Stichprobengröße aus forschungsökonomischen
Gründen vertretbar. Die Stichprobe ist bis auf die genannten Merkmale nicht
genauer beschrieben. Die genaue Beschreibung der Probanden ist bei Laborversuchen, genauso wie bei Beobachtungen, von großer Bedeutung.57 Besonders die Verteilung der sozioökonomischen Situation wäre in Bezug auf den
kommerziellen Charakter des Untersuchungsgegenstandes (Sponsored Links)
interessant gewesen. Beispielsweise könnten wohlhabende Studenten ein anderes Einkaufsverhalten an den Tag legen als arme Studenten.
Betreffend der Validität der Datenerhebung ist, nicht zuletzt weil der Fachbeitrag in einem renommierten Journal erschienen ist, davon auszugehen, dass
sie ordnungsgemäß durchgeführt wurde. Einzig bei Hypothese H1a wird angemerkt, dass 55 Durchgänge aufgrund eines technischen Fehlers nicht protokolliert werden konnten. Die angewandten Datenanalyseverfahren können als
sinnvoll erachtet werden. Somit ist die Annahme oder Ablehnung der Forschungsfragen und Hypothesen als empirisch belegt anzusehen.
56
57
Vgl. Stier (1999) S. 91.
Vgl. Sanders/Beywl (2006) S. 176.
21
4. Kommunikation
4.1 Aufbau der Argumentationslinie
Der vorliegende Fachbeitrag ist in 7 Kapitel gegliedert. Der Titel spiegelt den
Inhalt des Fachbeitrages weitestgehend wieder. Die Forschungsfragen 1-4
werden direkt durch den Titel abgedeckt, wobei sich die Forschungsfrage 5 etwas von der Kernfragestellung entfernt. Die Neugier der Leser wird in der Einleitung in das Thema geweckt. Wie in Einleitungen üblich, gehen die Autoren
bei der Beschreibung des Forschungsbereiches deduktiv (vom Allgemeinen ins
Spezielle) vor, und erleichtern es dem Leser so, sich mit der Thematik vertraut
zu machen. Begrifflichkeiten wie beispielsweise der Unterschied zwischen den
organischen und gesponserten Links werden beschrieben und die Relevanz für
das E-Commerce erläutert. Die wirtschaftliche Relevanz wird nicht nur für die
Unternehmen, die Ausgaben für gesponserte Links haben, sondern auch für die
Betreiber der Suchmaschinen dargestellt. Somit werden die Adressaten direkt
angesprochen. Die Problematik, ob die Investition in Sponsored Search ein
langfristiges Geschäftsmodell für Unternehmen ist, hängt auch davon ab, ob der
Anwender die gesponserten Links als relevant betrachtet oder nicht.58 Damit
liegt die vorhersehbare Zukunft von Umsatzentwicklungen der Suchmaschinen
stark von den zu ermittelnden Faktoren ab. Im letzten Teil der Einleitung wird
die Vorgehensweise im Text näher erläutert, wodurch der Leser motiviert wird,
den Rest des Artikels zu lesen und eine Überleitung zu dem nachfolgenden Kapitel geschaffen wird.
Das darauf folgende zweite Kapitel, „Literature review“ (Literaturüberblick),
bringt den Leser auf den aktuellen Kenntnisstand des Forschungsbereiches.
Dadurch ist der Text auch für Personenkreise gut verständlich, für die das Forschungsgebiet der Suchmaschinen Neuland darstellt.. Der Aufbau des wissenschaftlichen Fundaments wird durch die Analyse der verwendeten Fachliteratur
geleistet. Auf Grundlage der Literaturanalyse vermuten die Autoren negative
Vorurteile der Suchmaschinenbenutzer gegenüber den gesponserten Links.59
58
59
22
Diese und andere fundierte Vermutungen motivierten die Autoren dazu, fünf
Forschungsfragen in dem darauf folgenden dritten Kapitel, "Research questions" (Forschungsfragen) zu stellen. Hierbei ist nur die erste Forschungsfrage in
vier Hypothesen untergliedert, alle weiteren nicht. Die Forschungsfragen wie
auch die Hypothesen sind prägnant und präzise formuliert. Darüber hinaus sind
sie zielführend in dem Sinne, das bestehende Wissen des Fachgebietes zu erweitern. Hierzu wurde ein Laborversuch und eine Umfrage durchgeführt.
Das Kapitel "Research study" (Forschungsstudie) ist unterteilt in zwei Unterkapitel, "Data preparation" (Datenvorbereitung) und "Study procedure" (Studiendurchführung).60 Die Unterteilung erlaubt es dem Leser, die Vorbereitung und
die Umsetzung der Studie nachzuvollziehen und das Vorgehen zu bewerten. Im
Unterkapitel „Data preparation“ erläutern die Autoren, wie sie mithilfe einer modifizierten Schneeball-Methode61 aus einer Million Suchanfragen, die bei der
Suchmaschine Excite mit geloggt wurden, drei Kategorien von E-Commerce
Anfragen heraus analysiert haben. Allerdings beschreiben die Autoren weder
die Schneeball-Methode noch die vorgenommenen Modifikationen. Dies erschwert dem Leser, die exakte Datenvorbereitung nachzuvollziehen. Somit ist
die Studie, insbesondere der Laborversuch, nur bedingt reproduzierbar.
Die Erläuterung der Datenvorbereitung wird durch die Darstellung eines
Screenshots der eingesetzten fiktiven Suchmaschine unterstützt. Die Darstellung ist gut verständlich und komplettiert die verbale Beschreibung der Forschungsstudie. Die zweite Darstellung zeigt die Suchmaschine, nachdem die
organischen Links mit den gesponserten Links getauscht wurden. Diese Darstellung ist überflüssig, da sie, vom Gesichtspunkt des Informationsgewinns betrachtet, mit der ersten Darstellung kongruent ist. Im Unterkapitel „Study procedure“ wird der Ablauf der Studie erläutert. Dies ist bis auf wenige Ausnahmen
für den Leser verständlich beschrieben. Sowohl für den Laborversuch als auch
für die Befragung ist allerdings eine detaillierte Beschreibung der Teilnehmer
von hoher Bedeutung.62 Diese Beschreibung wird von den Autoren nur ansatzweise geliefert, wodurch der Leser in diesem Punkt weitestgehend im Unklaren
60
Vgl. Przyborski/Wohlrab-Sahr (2008) S. 180 f.
62
Vgl. Sanders (2006) S. 176.
61
23
gelassen wird. Gleiches trifft auf die Darstellung der technischen Ausrüstung für
den Versuchsaufbau zu. So werden beispielsweise alle Äußerungen und Aktionen der Probanden mithilfe einer eigens entwickelten Applikation dokumentiert.
Eine genaue Beschreibung wird dem Leser allerdings vorenthalten.
Im darauf folgenden fünften Kapitel mit der Überschrift "Results" (Ergebnisse)
werden die Forschungsfragen 1-5 erneut aufgelistet und die jeweiligen Ergebnisse erläutert. Neben der verbalen Erläuterung werden die Ergebnisse mit Hilfe
von Balkendiagrammen und Tabellen veranschaulicht.63 Tabelle 2 des Artikels
zeigt die Ergebnisse zur ersten Forschungsfrage. Dabei werden 57 Antworten
der Probanden dargestellt64, obwohl insgesamt nur 56 Probanden an der Studie
teilgenommen haben. Ähnliche Ungenauigkeiten finden sich bei den Ergebnissen zur Forschungsfrage 3. Hier beschreiben die Autoren die von den Probanden - nach Aufklärung über gesponserte Links - abgefragten notwendigen Faktoren, dass ein Nutzer auf gesponserte Links klickt. Dabei wird die Summe aus
den Antworten Akzeptanz und Relevanz innerhalb der Tabelle mit 36-48%, innerhalb des Textes jedoch mit 36-47% beschrieben.65 Solche Ungenauigkeiten
werten zwar nicht die Studie als Ganzes ab, könnten aber evtl. bei manchem
Leser bewirken, dass er die Qualität infrage stellt. Dies ist insofern besonders
ungünstig, da die Autoren der Studie durch die kritische Würdigung und die
mangelnde Qualitätssicherung anderer Studien zur Erstellung dieser Studie motiviert wurden.
Im vorletzten Teil des Fachbeitrages, Kapitel 6 "Discussion" (Diskussion), wiederholen die Autoren erneut sowohl das Ziel Ihre Studie als auch die Hypothesen und die Auswirkungen für die Wirtschaft.66 Zusätzlich gehen sie darauf ein,
dass die von ihnen ausgeführte Methode sowohl genau als auch generalisierbar
ist.67 Abschließend wird auf die Grenzen dieser Studie hingewiesen, insofern
die Probanden, Studenten von zwei Universitäten, nicht als repräsentative Untersuchungsgruppe für die Gesamtheit aller Internetbenutzer gelten können.
63
Vgl. Jansen/Brown/Resnick (2007) S. 52 f.
65
66
67
64
24
In Kapitel 7 "Conclusion and future research" (Fazit und zukünftige Untersuchungen) werden die Ergebnisse der Studie kurz wiederholt. Weiterhin geben
die Autoren Handlungsempfehlungen für Suchmaschinenbetreiber, beispielsweise dass diese Ihre Kunden über die Effektivität von gesponserten Links informieren sollten. Dies könne dazu führen, dass mehr als die aktuell ca. 30%
aller Anwender gesponserte Links nutzten, was wiederum ein hohes Marktpotenzial und Möglichkeiten zur Steigerung der Umsätze für Suchmaschinenbetreiber berge. Abschließend geben die Autoren eine Übersicht ihrer zukünftigen, auf dieser Studie aufbauenden Forschungsvorhaben. Der Inhalt des Kapitels erfüllt die aufgrund der Überschrift geweckten Erwartungen des Lesers.
Darüber hinaus werden diese sogar übertroffen, indem die Autoren konkrete
Handlungsempfehlungen aussprechen. Dies ist in amerikanischen Veröffentlichungen nicht selbstverständlich.
Um die Wiederholbarkeit des Laborversuchs zu gewährleisten, publizieren die
Autoren im Anhang die Texte und Aufgabenstellungen die sie genutzt haben.
Der Fragebogen hingegen wurde nicht abgebildet.
Die Verteilung der Fußnoten entspricht der wissenschaftlichen Vorgehensweise. Im ersten Kapitel "Introduction“ wurden kaum Fußnoten verwendet, da der
Leser ausschließlich in das Thema eingewiesen werden soll. Im darauf folgenden zweiten Kapitel "Literature Review" werden der derzeitige Stand dieses
wissenschaftlichen Fachgebietes dargestellt und die genutzten Quellen zitiert.
Nach der Darstellung der Forschungsfragen und Hypothesen im dritten Kapitel
ist die Anzahl der Fußnoten stark rückläufig.
25
Abbildung 3: Fußnotenverteilung (Quelle: Eigene Darstellung)
4.2 Angewandte Rhetorik und grafische Darstellung
Der Fachbeitrag ist in englischer Sprache verfasst und gut verständlich. Die
Wortwahl ist fachspezifisch und erfüllt alle sprachlichen Charakteristika unter
Absatz 2 nach dem „Guide for Authors“ (Richtlinien für Autoren) des Journals
"Decision Support Systems and Electronic Commerce".68
Nach der Überschrift werden sowohl die Autoren als auch die Universitäten, an
denen sie tätig sind, genannt. Die Querverweise auf die Namen der Autoren mit
den Zeilen, in denen die entsprechenden Universitäten genannt werden, sind
für den Leser unübersichtlich und hätten grafisch anderweitig aufbereitet werden können. Beispielsweise hätten die Namen der Hochschulen zusammen mit
den E-Mail-Adressen der Autoren unmittelbar nach deren Namen genannt werden können. Dies ist allerdings nicht den Autoren, sondern vielmehr dem Verlag
anzulasten. Zusätzlich werden am Ende des Fachbeitrags kurze Lebensläufe
der Autoren veröffentlicht.69 Dies ermöglicht es dem Leser, die Autoren näher
kennen zu lernen. Die Abbildung der Lebensläufe ist nach den Richtlinien für
Autoren, Absatz 5, zulässig.70
68
Vgl. Elsevier (2009b).
70
Vgl. Elsevier (2009b).
69
26
Fachbegriffe wie beispielsweise E-Commerce können bei der Zielgruppe des
Fachbeitrages als bekannt vorausgesetzt werden. Dennoch gibt es Begriffe, deren Erläuterung im Text sinnvoll gewesen wäre. Selbst der Schlüsselbegriff „bias“ wird nicht näher erläutert. „Bias“ kann sowohl als negatives wie auch als positives Vorurteil gedeutet werden.71 Dies kann beim Leser zu Verwirrungen führen. Insgesamt benutzen die Autoren das Wort „bias“ 2-mal in einem positiven
und 17-mal in einem negativen Kontext. Erst durch diese Wortanalyse wird
deutlich, dass "bias", bis auf die zwei Ausnahmen, als negatives Vorurteil zu
interpretieren ist.
Im Kapitel „Results“ (Ergebnisse) werden die Hypothesen wiederholt und die
Ergebnisse sowohl mit Balkendiagrammen als auch in Tabellen dargestellt. Die
Darstellung der Ergebnisse zur ersten Hypothese wird mithilfe eines Balkendiagramms verdeutlicht.72 Diese Darstellung ist für den Leser gut verständlich und
wird im Text ausführlich beschrieben. Die Untergliederung der in Tabelle 1 abgebildeten Ergebnisse zur Frage, wie der Proband die Suchergebnisseite analysiert, ist hingegen nicht gleich ersichtlich. Außerdem erfolgt die Beschreibung
nicht unmittelbar unterhalb der Tabelle, sondern erst nach der Beschreibung
der Ergebnisse der Abbildung 3
73
Ähnliches trifft auf die Tabellen 2, 3 und 5
sowie auf die Grafik 5 zu. Die Nachvollziehbarkeit der methodischen Vorgehensweise gestaltet sich schwierig, weil Begriffe und Abkürzungen wie beispielsweise (p<0.001) nicht erklärt werden.74 Die Darstellung der Ergebnisse für
die Hypothesen 1c und 1d erfolgt wiederum in Form von Balkendiagrammen.
Die Ergebnisse der Befragung bezüglich der Vorurteile gegenüber Sponsored
Links sind in Tabelle 2 dargestellt.75 Da hier die Spaltenbeschriftung fehlt, wird
dem Leser das Verständnis erschwert. Insgesamt hätte man die Ergebnisse in
Form eines Torten- oder Balkendiagramms verständlicher als in Tabellenform
darstellen können. Die Ergebnisse aus Tabelle 3 und Tabelle 4 sollen die Forschungsfrage 2 stützen. Hier sind die Ergebnisse für den Leser nur schwer
nachzuvollziehen, da in den Tabellen Begriffe wie "viewpoint/relevance", "view71
73
74
75
72
27
point/appeal" u.v.a. nicht erklärt werden.76 Die Begriffe lassen sich auch nicht
mithilfe des Textes erklären, da sie bei der Analyse der offenen Fragen im Fragebogen unter Anwendung der Nvivo Datenanalyse Software generiert wurden.
Insgesamt wäre es für den Leser hilfreich, wenn der Fragebogen im Anhang
abgebildet würde. Dies würde dem Leser erleichtern, die Operationalisierung
der Begriffe nachzuvollziehen.
Außerdem ist für den Leser nicht ersichtlich, welche der einzelnen Ergebnisse
in diesen Tabellen für die Studie herausragend und von besonderer Bedeutung
sind. Sie werden zwar innerhalb des Textes hervorgehoben, hätten aber in der
grafischen Darstellung ebenfalls markiert werden können. Das Gleiche trifft auf
die Darstellung der Ergebnisse in den Tabellen 5, 6 und 7 zu.
Im Quellenverzeichnis werden 32 Quellen - alphabetisch nach den Nachnamen
geordnet - aufgelistet. Jeder Quelle wird eine eindeutige fortlaufende Nummer
in einer eckigen Klammer zugeordnet. Zitate innerhalb des Textes werden
durch die Nennung der in eckigen Klammern umfassten Zahl kenntlich gemacht. Diese Zitierweise ist typisch für Fachbeiträge aus dem angelsächsischen Raum und erfüllt die Richtlinien für Autoren.77
4.3 Kritische Würdigung der Kommunikation
Positiv zu erwähnen ist, dass die Autoren bereits bestehende Forschungsergebnisse kritisch würdigen und hinterfragen. Dies animiert den Leser zur Lektüre des Fachbeitrages.
Die Darstellung des Wissensstandes erleichtert es dem Leser, sich mit der
Thematik und dem Fachvokabular vertraut zu machen. Die dort verwendeten
Forschungsergebnisse anderer Autoren werden deutlich als Zitat markiert. Allerdings ist anzumerken dass es die angelsächsische Zitierweise, die der Autor
nach den Richtlinien verwenden muss, dem Leser sehr aufwändig macht, die
Quellen nachzulesen, da diese nur im Literaturverzeichnis ohne Angabe der
76
77
Vgl. Elsevier, 2009b.
28
Seitenzahlen aufgelistet werden. Des Weiteren ist auffällig, dass 10 Quellen
von insgesamt 32 zitierten Literaturquellen von B.J. Jansen sind. Diese häufigen Selbstzitate wirken übertrieben.
Kritisch anzumerken ist auch die für den Leser nur schwer nachvollziehbare
Darstellung der Tabellen. Außerdem werden nicht alle in den Tabellen verwendeten Begriffe, wie beispielsweise "viewpoint/relevance/irrelevant", im Text definiert und erläutert. Dies verlangt vom Leser ein hohes Maß an Eigeninitiative,
um der Argumentation in der Analyse der Ergebnisse zu folgen.
Der Fachbeitrag ist mit insgesamt 14 Seiten gut lesbar. Dennoch drängt sich
der Verdacht auf, dass an vielen Stellen von den Autoren gekürzt werden musste. Ein Grund hierfür könnte die in den Richtlinien für Autoren festgelegte Limitierung der Seitenzahl sein. Ein Fehlen von wichtigen Informationen kann es
den Lesern dann teilweise erschweren, der Studie detailliert zu folgen.
5. Fazit
Der Fachbeitrag baut auf einer aktuellen und interessanten Thematik des ECommerce auf. Die Thematik ist für werbende Unternehmen und für Anbieter
von Suchmaschinen von hoher wirtschaftlicher Bedeutung, da hier mit Hilfe von
Sponsored Links Umsätze generiert werden können.
Zwar wurden bereits Studien von anderen Autoren zur Thematik durchgeführt,
doch besteht bei diesen Studien die Gefahr, dass die Ergebnisse der Befragungen nicht ausreichend belegt sind. Die Erforschung dieses bislang unzureichend belegten Wissens ist für Wissenschaft und Praxis relevant. Auf Grundlage der objektiven Beschreibung des theoretischen Fundaments werden fundierte Forschungsfragen und Hypothesen gebildet. Auf diese Fragestellungen werden empirisch belegte Antworten gefunden. Aufgrund der sehr kleinen Stichprobe ist allerdings fraglich, ob die Ergebnisse in jedem Fall für die Grundgesamtheit aller Web-Suchmaschinenbenutzer generalisierbar sind. Dennoch verhilft diese Studie zu einem respektablen Erkenntnisfortschritt, was nicht zuletzt
29
an den zahlreichen und fundierten Handlungsempfehlungen für die Wirtschaft
sichtbar wird.
Kritisch zu betrachten ist, dass der Fachbeitrag für den Leser nicht immer nachvollziehbar ist, da beispielsweise der Fragebogen nicht abgebildet ist. Desweiteren ist die genaue Vorgehensweise bei der Analyse der Fragebögen nur unzureichend erläutert. Die Aufbereitung der Ergebnisse in Tabellenform ist etwas
unübersichtlich und hebt die wichtigsten Resultate nicht klar hervor. Dies erschwert es dem Leser, der Argumentation zu folgen.
Positiv zu erwähnen ist vor allem die Fülle an Erkenntnissen zu dem Thema
Sponsored Search. Die Vorurteile gegenüber Sponsored Links werden nicht nur
explorativ aufgezeigt, sondern auch mit kausalen Zusammenhängen erklärt.
Darüber hinaus wird eine fundierte Lösung angeboten, wie man dieses Vorurteil
abschwächen könnte.
Der Fachbeitrag wird nach sorgfältiger Analyse der Bestandteile des Fachinhalts, der Methodik und der Kommunikation als lesenswert beurteilt. Neben den
von den Verfassern genannten zukünftigen Forschungen wäre eine Untersuchung mit einer der Grundgesamtheit der Web-Suchmaschinenbenutzer ähnlicheren Probandengruppe wünschenswert.
30
Literaturverzeichnis
Bischopinck, Y., Ceyp, M., Suchmaschinen-Marketing, Springer: Berlin et. al.,
2007.
Bortz, J., Döring, N., Forschungsmethoden und Evaluation, Springer: Berlin et.
al., 2002.
Broda, B., Marktforschungs-Praxis, Gabler: Wiesbaden, 2006.
Diller, H., Köhler, R., Konsumentenverhalten, Kohlhammer: Stuttgart, 2009.
Duller, C., Einführung in die nichtparametrische Statistik mit SAS und R, Springer: Berlin et. al., 2008.
Elsevier (Hrsg.), Decision Support Systems, 2009a, in: Internet
http://www.elsevier.com/wps/find/journaldescription.cws_home/505540/descripti
on#description; Zugriff am 2009-05-27.
Elsevier (Hrsg.), Guide for Authors, 2009b, in Internet
http://www.elsevier.com/wps/find/journaldescription.cws_home/505540/authorin
structions; Zugriff am 2009-05-29.
Greifeneder, H., Erfolgreiches Suchmaschinen-Marketing, Gabler: Wiesbaden,
2006.
Härdle, R., Rönz, B., Chi-Quadrat-Anpassungstest, 2008, in: Internet
http://mars.wiwi.hu-berlin.de/mediawiki/mmstat_de/index.php?title=Testtheorie
_-_Chi-Quadrat-Anpassungstest&oldid=7128; Zugriff am 2009-05-27.
Henze, N., Stochastik für Einsteiger, Vieweg und Teubner: Wiesbaden, 2008.
31
Jansen, B.J., Brown, A., Resnick, M., B.J. Jansen, Anna Brown Marc Resnick:
Factors relating to the decision to click on a sponsored link, in: Decision Support
Systems, Jg. 44, 2007, S. 46–59.
Jansen, B.J., Academic Vitae, 2009, in: Internet
http://ist.psu.edu/faculty_pages/jjansen/academic/academic.html; Zugriff am
2009-05-27.
Koch, J., Marktforschung Begriffe und Methoden, Oldenbourg: München, 2004.
Przyborski, A., Wohlrab-Sahr, M., Qualitative Sozialforschung: Ein Arbeitsbuch,
11. Edition, Oldenbourg: München, 2008.
Resnick, M.L., Marc L. Resnick, 2009, in: Internet
http://iti.fiu.edu/downloads/cv.pdf; Zugriff am 2009-05-27.
Sanders, J.R., Beywl, W., Handbuch der Evaluationsstandards, VS Verlag für
Sozialwissenschaften: Wiesbaden, 2006.
Sauerbier, T., Statistik für Wirtschaftswissenschaftler, Oldenbourg: München,
2003.
Stier, W., Empirische Forschungsmethoden, Springer: Berlin et. al., 1999.
Wellenreuther, M., Quantitative Forschungsmethoden in der Erziehungswissenschaft, Juventa-Verlag: Weinheim, 2000.
32
Eidesstattliche Erklärung / Statutory Declaration
Ich versichere eidesstattlich, dass die vorliegende Arbeit mit dem Titel "Stellungnahme zu dem Fachbeitrag „Factors relating to the decision to click on a
sponsored link”" von mir selbstständig, ohne Hilfe Dritter und ausschließlich unter Verwendung der angegebenen Quellen angefertigt wurde. Alle Stellen, die
wörtlich oder sinngemäß aus Veröffentlichungen entnommen sind, habe ich als
solche kenntlich gemacht. Die Arbeit wurde bisher in gleicher oder ähnlicher
Form, auch nicht in Teilen, keiner anderen Prüfungsbehörde vorgelegt und
auch nicht veröffentlicht.
I declare that I have developed and written the enclosed thesis entitled "Stellungnahme zu dem Fachbeitrag „Factors relating to the decision to click on a
sponsored link”" entirely by myself and have not used sources or means without
declaration in the text. Any thoughts or quotations which were inferred from these sources are clearly marked as such. This thesis was not submitted in the
same or in a substantially similar version, not even partially, to any other authority to achieve an academic grading and was not published elsewhere.
Hannover, 26.06.2009
Dominik Wallenreiter
Fabian Bruns
33

„Factors relating to the decision to click on a sponsored link”

Transcription

Documents pareils

AUSSCHREIBUNG und ANMELDUNG

Newsletter downloaden

Feb.05

Ergebnis Online

Jan C. Jansen, Erobern und Erinnern

Dan Brown: Sakrileg

Zertifikat