Logit-“ und ” Probit“-Modelle

Kategoriale abhängige Variablen: Logit-“ und
”
Probit“-Modelle
”
Statistik II
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Wiederholung
Literatur
Annahmen und
Annahmeverletzungen
Exkurs
Funktionen
Exponenten, Wurzeln usw.
Binäre abhängige Variablen
Das Problem
Das binäre Logit-Modell
Interpretation
Zusammenfassung
Statistik II
Logistische Regression (1/27)
Wiederholung
Schätzverfahren und ihre Eigenschaften
Annahmeverletzungen
Zusammenfassung
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Was sind die Standard-Annahmen?
I
Literatur
Annahmen und Annahmeverletzungen
Zufallsstichprobe
Wahres Nachlesen/Vorbereiten
Modell: y = β + β x + β x · · · + Zum
I
i
0
1 1i
2 2i
i
1. Die
5.
Keine
abhängige
Kovarianz
Variable
zwischen
ist xintervallskaliert
und unbeschränkt.
ki und (Variablen
werden
ohne
Fehler
gemessen)
6. Für jedes beliebige Paar von Beobachtungen i und h sind i
2. Alle
unabhängigen
haben Varianz
und (keine Autokorrelation)
h unkorreliert Variablen
3. Für
Keine
perfekte
Multikollineariät
7.
jede
mögliche
Kombination der unabhängigen Variablen
4. Für
jede
mögliche Kombination
Variablen
ist die
(konditionale)
Varianz vonder
unabhängigen
gleich σ2 und damit
ist der (konditionale)
Mittelwert von = 0
konstant
(Homoskedastizität)
8. Für jede mögliche Kombination der unabhängigen Variablen
ist normalverteilt
I
Agresti ch. 15:
Statistik II
Annahmen (16/26)
Statistik II
Logistische Regression (2/27)
Wiederholung
Schätzverfahren und ihre Eigenschaften
Annahmeverletzungen
Zusammenfassung
Was passiert, wenn Annahme 1 nicht erfüllt ist?
Die abhängige Variable ist intervallskaliert und unbeschränkt.
”
Variablen werden ohne Fehler gemessen“
I Abhängige Variable hat häufig wenig diskrete Ausprägungen
(Ratingskalen)
I
I
I
I
Erwartete Werte außerhalb des gültigen Wertebereichs
Modelle für ordinale Daten
In der Literatur wenig diskutiert, häufig wird angenommen,
daß Modell relativ robust ist
Alle sozialwissenschaftlichen Variablen fehlerbehaftet
I
I
I
Relativ unproblematisch, wenn Fehler voneinander unabhängig
und Stichprobe groß
Fehler bei y wird von absorbiert, OLS weniger effizient
Fehler bei x schwächt im bivariaten Fall Zusammenhang ab,
multivariat auf jeden Fall bias
Statistik II
Annahmen (17/26)
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Literatur
Annahmen und Annahmeverletzungen
Annahmen und Annahmeverletzungen
I
Ergebnisse auf Grundlage einer Stichprobe nur Schätzungen
I
Schätzverfahren setzten Annahmen voraus
Wenn Annahmen nicht zutreffen
I
I
I
I
I
Annahmen in Politikwissenschaft häufig verletzt
I
I
I
Verzerrte Parameterschätzungen
Ineffiziente (und/oder inkonsistente) Parameterschätzungen
Zu optimistische Standardfehler
Z. B. Abhängigkeiten zwischen Beobachtungen (Zeitreihen,
Panel . . . )
Kategoriale abhängige Variablen
Erweiterungen/Ergänzungen des linearen Modells
Statistik II
Logistische Regression (3/27)
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Funktionen
Exponenten, Wurzeln usw.
Was ist eine Funktion?
I
I
I
Abbildungsvorschrift“
”
≈ Berechnungsvorschrift
Ordnet jedem Wert der x-Variable(n) genau einen Wert zu
I
I
I
Allgemeine Formulierung: f (x1 , x2 , · · · )
I
I
I
I
I
Einstellige Funktionen
Mehrstellige Funktionen
Lineare Funktion besteht nur aus Konstanten und Produkten
von x1 , x2 , · · ·
Nicht-lineare Funktion: andere Elemente
Bisher y als lineare Funktion von x1 , · · ·
Alle Funktionen graphisch darstellbar (ggf. mehrdimensional)
Steigung der Funktion in einem Punkt: (1.) Ableitung
Statistik II
Logistische Regression (4/27)
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Funktionen
Exponenten, Wurzeln usw.
y = f (x) = 4 − x + x 2
Nicht-lineare Funktionen: z. B. Polynome
30
20
10
−6
−4
−2
0
x
Statistik II
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
2
4
6
Logistische Regression (5/27)
Funktionen
Exponenten, Wurzeln usw.
Exponenten
I
Basis und Exponent
I
Ganzzahlige positive Exponenten: x 3 = x · x · x
I
I
I
Exponent 1 oder 0: x 1 = x; x 0 = 1
Negative Exponenten: x −1 = x1 ; x −3 =
Rationale Exponenten
I
I
I
I
I
4
1
x3
Quadratwurzel aus x: Mit sich selbst multiplizieren, um x zu
erhalten
n-te Wurzel aus x: n-mal mit sich selbst multiplizieren, um x
zu erhalten
√
1
n
Nenner = n-te Wurzel:
x = xn
√
4
5
Kompletter Bruch: x 4 = x 5
x−5 =
1
x
4
5
=
1
√
5 4
x
Statistik II
Logistische Regression (6/27)
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Funktionen
Exponenten, Wurzeln usw.
Was ist der natürliche Logarithmus?
I
Logarithmus Umkehrfunktion zur Exponentialfunktion
I
Natürlicher“ Logarithmus (Funktionsname ln() oder loge )
”
basiert auf Eulerscher Zahl e = 2.71828182 . . .
I
e wichtige Konstante in vielen statistischen Verteilungen und
Herleitungen (z. B. Normalverteilung)
I
e 3 = exp(3) ≈ 20.0855 . . .
I
I
ln(20.0855) ≈ 3
Natürlicher Logarithmus von x gibt Antwort auf die Frage:
Wie oft muß ich e mit sich selbst multiplizieren, um x zu
erhalten?
Statistik II
Logistische Regression (7/27)
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Funktionen
Exponenten, Wurzeln usw.
Potenzen zur Basis e: y = exp(x)
y = f (x) = exp(x)
150
100
50
y >0
0
−6
−4
−2
0
x
Statistik II
2
4
6
Logistische Regression (8/27)
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Funktionen
Exponenten, Wurzeln usw.
Natürlicher Logarithmus = Umkehrfunktion: y = ln(x)
y = f (x) = ln(x)
1
0
−1
ln(x) für x 6 0 nicht definiert
−2
0
1
2
x
Statistik II
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
3
4
Logistische Regression (9/27)
Das Problem
Das binäre Logit-Modell
Binäre Variablen in der Politikwissenschaft
I
Wahlabsicht in den USA: Republikanisch (0) vs. Demokratisch
(1)
I
Land in bestimmtem Jahr in Bürgerkrieg verwickelt: ja (1) vs.
nein (0)
I
Parteibindung vorhanden: ja (1) vs. nein (0)
I
Politisches System eine Demokratie: ja (1) vs. nein (0)
I
Wertorientierungen: postmaterialistisch (1) vs. nichtpostmaterialistisch (0)
I
Wahlabsicht zugunsten der CDU: ja (1) vs. nein (0)
I
Viele relevante Variablen binär (oder dichotom)
I
Wie modellieren?
Statistik II
Logistische Regression (10/27)
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Das Problem
Das binäre Logit-Modell
Strategie I: Lineares Wahrscheinlichkeitsmodell“
”
I
Beispiel: Wahlverhalten für CDU durch Sympathie für Merkel
zu erklären?
I Zweitstimme in Umfrage → binäre Variable CDU-Wahl
I Für jeden Befragten 0 (nein) oder 1 (ja)
I Mittelwert der Dummy-Variablen entspricht relativer
Häufigkeit bzw. Wahrscheinlichkeit der CDU-Wahl
I Warum?
Mittelwert cduwahl = 10×1+77×0
≈ 0.115 = 10
87
87
I Gesamtwahrscheinlichkeit der CDU-Wahl ca. 11.5 Prozent
I Mittelwert der Dummy-Variablen in Sympathie-Gruppen =
Anteil der CDU-Wähler in Sympathie-Gruppen =
I Konditionaler Mittelwert = Konditionale Wahrscheinlichkeit
der CDU-Wahl in den Gruppen (n = 80)
. tabstat cduwahl,by (polsympangelamerkel)
Statistik II
Logistische
Summary for variables: cduwahl
by categories of: polsympangelamerkel (polsymp [Angela Merkel] )
polsympangelamerkel
Probleme?
mean
0
Wiederholung
0
.1538462
Exkurs
.1428571
Binäre abhängige Variablen
0
Interpretation
.0666667
.1818182 Zusammenfassung
.2857143
.6666667
Total
Das Problem
Das binäre Logit-Modell
.125
Verfahren zur Modellierung konditionaler Mittelwerte: lineare
Regression
cduwahl = β0 + β1 Sympathie Merkel
.3
I
2
3
4
5
6
7
8
9
10
Regression (11/27)
I
Wahrscheinlichkeit CDU-Wahl
0
.1
.2
. reg cduwahl polsympangelamerkel
Source
SS
df
MS
Model
Residual
.63196869
8.11803131
1
78
.63196869
.104077324
Total
8.75
79
.110759494
Coef.
polsympang~l
_cons
.0377295
-.0910012
Std. Err.
.0153113
.0947877
t
2.46
-0.96
P>|t|
0.016
0.340
=
=
=
=
=
=
.0072471
-.2797091
2
4
6
CDU-Sympathie
8
hkeit CDU-Wahl
.1
.2
.3
0
Statistik II
80
6.07
0.0159
0.0722
0.0603
.32261
[95% Conf. Interval]
.0682119
.0977066
-.1
cduwahl
Number of obs
F( 1,
78)
Prob > F
R-squared
Adj R-squared
Root MSE
Logistische Regression (12/27)
10
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Das Problem
Das binäre Logit-Modell
Wie kommt man zum Modell?
I
Problem: CDU-Wahl bzw. deren Wahrscheinlichkeit auf
Wertebereich [0;1] beschränkt
I
Transformation der Variablen
1. Schritt: Statt Wahrscheinlichkeiten odds“ betrachten
”
I
I
I
I
I
I
I
(Entsprechen in etwa Wettquoten beim Sport)
p
; im Beispiel 0.125
odds(p) = 1−p
0.875 ≈ 0.143
Wertebereich von 0 bis (fast) ∞
Variieren über Ausprägungen der unabhängigen
z. B. 0.07 (6.6%) und 1.99 (66.6%)
2. Schritt: Von diesen odds wird der natürliche Logarithmus
bestimmt (Logarithmierung)
Statistik II
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Logistische Regression (13/27)
Das Problem
Das binäre Logit-Modell
Wie kommt man zum Modell? II
I
Die logarithmierten Odds werden als Logits bezeichnet
I
Wertebereich von (fast) −∞ bis (fast) +∞
I
Im Beispiel Logits zwischen -2.66 (6.6%) und 0.688 (66.6%)
Nicht-lineares Verhältnis zur Wahrscheinlichkeit
I
I
I
I
I
Wahrscheinlichkeit von 50% entspricht Logit von 0
Positiver Logit – größere Wahrscheinlichkeit
Negativer Logit – kleinere Wahrscheinlichkeit
Logit-Modell: linearer Zusammenhang zwischen x und
Logit
I
I
logit(cduwahl) = β0 + β1 × merkelsympathie
Schätzung der Koeffizienten/Standardfehler mit speziellem
iterativen Verfahren (Maximum Likelihood)
Statistik II
Logistische Regression (14/27)
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Das Problem
Das binäre Logit-Modell
In Stata
. logit cduwahl polsympangelamerkel
Iteration 0:
log likelihood
Iteration 1:
log likelihood
Iteration 2:
log likelihood
Iteration 3:
log likelihood
Iteration 4:
log likelihood
Logistic regression
=
=
=
=
=
-30.141613
-27.289467
-26.993016
-26.991918
-26.991918
Number of obs
LR chi2(1)
Prob > chi2
Pseudo R2
Log likelihood = -26.991918
cduwahl
Coef.
polsympang~l
_cons
.408557
-4.604574
Std. Err.
.1822747
1.355321
I
Interpretation?
I
Richtung und Signifikanz
Statistik II
z
2.24
-3.40
P>|z|
0.025
0.001
=
=
=
=
80
6.30
0.0121
0.1045
[95% Conf. Interval]
.0513051
-7.260955
.7658089
-1.948194
Logistische Regression (15/27)
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Nicht-Linearität
I
Zusammenhang zwischen x und y nicht-linear, aber monoton
I
I
I
I
I
Mehr x, mehr y (positiver Zusammenhang) bzw.
Mehr x, weniger y (negativer) Zusammenhang
Aber nicht mit konstanter Rate
S-förmiger Zusammenhang
Veränderung in Wahrscheinlichkeit nicht proportional zu
Veränderung in x
I
I
Großer Effekt, wenn Wahrscheinlichkeit im mittleren Bereich
Kleiner Effekt, wenn Wahrscheinlichkeit sehr groß oder sehr
gering
Statistik II
Logistische Regression (16/27)
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Was ist mit den zufälligen Fehlern?
I
Im linearen Regressionsmodell zufällige Normalverteilung um
konditionalen Mittelwert
I
Separater Parameter (σ2 )
I
Für Logit-Modell Binomialverteilung um konditionale
Wahrscheinlichkeit
I
Varianz hängt ab von erwarteter Wahrscheinlichkeit
(Heteroskedastizität)
I
Ist durch Modell fixiert und wird nicht separat geschätzt
I
Probit-Modelle sind sehr ähnlich, haben lediglich eine andere
Link- bzw. Varianzfunktion
Statistik II
Logistische Regression (17/27)
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Interpretation Logit-Koeffizienten
I
Modell nur in den Logits linear
I
Interpretation von Richtung (Vorzeichen)
I
Interpretation von Signifikanz
I
Logits sind sehr unanschaulich
Statistik II
Logistische Regression (18/27)
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Interpretation Odds/Odd-Ratios
logit(cduwahl) =β0 + β1 × merkelsympathie
e logit(cduwahl) = odds(cduwahl) =e (β0 +β1 ×merkelsympathie)
=e β0 × e β1 merkelsympathie
I
I
I
I
I
Multiplikative Darstellung des Modells
Für x = 0: odds = anti-logarithmierte Konstante
e β1 = exp(β1 ) = Effektkoeffizient“
”
Veränderung von x um eine Einheit multipliziert die odds mit
dem Effektkoeffizienten
Findet sich manchmal in (älterer) Literatur, nicht sehr
anschaulich
Statistik II
Logistische Regression (19/27)
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Wie kommt man von Logits zu Wahrscheinlichkeiten?
Logit
Logit = β0 + β1 x1 = ln
p
1−p
Wie nach p auflösen?
Logarithmus loswerden
exp(Logit) =
p
1−p
p auf eine Seite bringen, ausmultiplizieren
Statistik II
Logistische
exp(Logit)
· (1 − Regression
p) = p(20/27)
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Interpretation Wahrscheinlichkeiten
e β0 +β1 x1
p=
1 + e β0 +β1 x1
I
Odds auch nicht wirklich anschaulich
I
Klarste Interpretation: erwartete Wahrscheinlichkeiten
I
1. Teil der Transformation auch umkehren
I
Veränderung der Wahrscheinlichkeit nicht proportional zur
Veränderung von x bzw. abhängig vom Niveau von x (und
ggf. anderer x2 , · · · )→ S-förmiger Zusammenhang
Statistik II
Logistische Regression (21/27)
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Erweiterung des Modells
logit(y ) = β0 + β1 x1 + β2 x2 + · · ·
I
Logistische Regression ebenfalls multivariat möglich
I
Mehrere unabhängige Variablen wirken linear-additiv auf den
Logit
Wirkung einer Veränderung von x1 um eine Einheit auf die
Wahrscheinlichkeit von y = 1 hängt ab vom
I
I
I
I
Niveau von x1 und
vom Niveau von x2 , · · ·
Am besten graphisch darstellbar
Statistik II
Logistische Regression (22/27)
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
CDU-Wahl II
I
CDU-Wahl als Funktion von
I
I
I
Merkelsympathie
Links-Rechts-Selbsteinstufung
logit(cduwahl) = β0 + β1 merkelsympathie + β2 LRS
Statistik II
Logistische Regression (23/27)
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
In Stata
. logit cduwahl polsympangelamerkel lrsselbstselbst
Iteration 0:
log likelihood = -29.870914
Iteration 1:
log likelihood = -22.149578
Iteration 2:
log likelihood = -19.757701
Iteration 3:
log likelihood = -19.605749
Iteration 4:
log likelihood = -19.604952
Iteration 5:
log likelihood = -19.604952
Logistic regression
Number of obs
LR chi2(2)
Prob > chi2
Log likelihood = -19.604952
Pseudo R2
cduwahl
Coef.
polsympang~l
lrsselbsts~t
_cons
.3049494
1.106581
-10.40907
Std. Err.
.2132139
.3888137
3.036782
Statistik II
z
1.43
2.85
-3.43
P>|z|
0.153
0.004
0.001
=
=
=
=
78
20.53
0.0000
0.3437
[95% Conf. Interval]
-.1129421
.3445196
-16.36105
Logistische Regression (24/27)
.7228409
1.868641
-4.457082
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Graphische Darstellung
I
I
0
2
Wirkung von Sympathie . . .
I
I
I
4
6
Merkelsympathie
LRS=2
LRS=8
8
LRS=5
Fast linear für Rechte
Schwach bei Zentristen
Praktisch nicht vorhanden
bei Linken
Implizite Interaktion auf der
Ebene der
Wahrscheinlichkeiten
.8
I
Prob. CDU-Wahl
.4
.6
I
Linke (LRS=2)
Zentristen (LRS=5)
Rechte (LRS=8)?
.2
I
.8
Wie wirkt Merkelsympathie
für
0
I
Prob. CDU-Wahl
.4
.6
Statistik II
Logistische Regression (25/27)
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
0
.2
Multivariate Nicht-Linearität
p(CDU)
p(CDU)
p(CDU)
0
2
4
6
Merkelsympathie
1
1
1
LRS=2
LRS=8
8
10
LRS=5
0.5
0.5
0.5
0
0
0
10
10
10
8 5
65
4
Symp.
Merkel
Symp.
Merkel
Symp.
Merkel
2 2
0 00 00 0
Statistik II
4
56 5
8
10
10
10
LRS
LRS
LRS
Logistische Regression (26/27)
10
Wiederholung
Exkurs
Binäre abhängige Variablen
Interpretation
Zusammenfassung
Zusammenfassung
I
Viele politikwissenschaftlich interessante Variablen dichotom
I
Lineares Modell problematisch
I
Logit-Modell als gute Alternative
I
Interpretation erfordert Sorgfalt
Statistik II
Logistische Regression (27/27)