Schließende lineare Regression 3.1 Einführung

Sandra Fuchs
Kapitel 3, 33254
SoSe 2015
Schließende lineare Regression
„Kann das noch Zufall sein?“
3.1 Einführung
Nun geht es darum, die für die Stichprobe ermittelte(n) Regressionsgleichung(en) auf ihre
Übertragbarkeit/Verallgemeinerbarkeit auf die Population zu bewerten (Inferenzschluss).
Ist der gefundene Zusammenhang so groß, dass er nicht „durch Zufall“ entstanden sein
kann?
Folgende Fragestellungen sind von zentraler Bedeutung bei der Bewertung von
Regressionsgleichungen:
1. Ist der gefundene Zusammenhang signifikant?
2. Hat eine einzelne Einflussgröße X einen signifikanten Einfluss oder kann auf sie
verzichtet werden?
3. Wie können zwei oder mehr Varianten von Regressionsmodellen verglichen und
statistisch bewertet werden?
Hinzu kommen korrelative Beziehungen zwischen den beteiligten Variablen:
1. (Multi)Kollinearität
2. Suppressionseffekte
3. Moderator- und Mediatorvariablen
Modellannahmen
Y = Xβ + e
Zwischen den Prädiktoren X und der
responsevariable y besteht ein linearer
Zusammenhang
Die Prädiktoren X sind keine ZV, sondern
determiniert oder fest
Die Matrix X der Prädiktoren enthält keine
Abhängigkeiten, d.h. Fehlen von
Kollinearität muss vorliegen
Der Fehler e sind ZV mit Erwartungswert 0
und gleicher Varianz (Homoskedastizität).
SV aus unterschiedlichen
Beobachtungsbperioden sind unkorreliert
(Annahme fehlender Autokorrelation)
Die Fehler sind normalverteilt.
X ist nicht stochstisch
Rang(X) = K
E(e) = 0
E(ee´) = ²In
eN(o; ²)
1
Sandra Fuchs
Kapitel 3, 33254
SoSe 2015
Die Überprüfung der Modellannahmen erfolgt durch:
1.
2.
3.
4.
Inspektion von Streudiagrammen (Residualplots)
Korrelationsdiagnose (SPSS)
Grafische Residualanalyse
Histogramm
Y = Xβ + e
Inspektion des Streudiagramms / der
Streudiagramme
gegeben
Kollinearitäsdiagnose (SPSS):
Die Software gibt eine Fehlermeldung bei
sehr starker Kollinearität, da
Gleichungssysteme nicht lösbar.
z.B. grafische Residualanalyse
Evtl. statistischer Test
z.B. grafische Residualanalyse
X ist nicht stochstisch
Rang(X) = K
E(e) = 0
E(ee´) = ²In
eN(o; ²)
„normaler“ Residualplot
e
0
𝑦
Kein linearer Zusammenhang
e
𝑦
0
Trend in den Residuen
e
𝑦
0
2
Sandra Fuchs
Kapitel 3, 33254
SoSe 2015
Die Prüfung der Signifikanz des Regressionsmodells erfolgt durch Formulierung von
Restriktionen unter H0, die das Gesamtmodell einschränken.
Dann wird in einer Prüfgröße F ein Vergleich zwischen dem „eingeschränkten“ und dem
„vollen“ Modell vorgenommen.
Die Anzahl der Freiheitsgrade sind die Anzahl der Werte, die in einem statistischen Ausdruck
frei variieren können.
Sie stehen in Beziehung zur Stichprobengröße n.
Schätzung von β und ²
𝜷 = b = (X´X)-1X`y
d.h. Übereinstimmung mit den empirischen KQ-Schätzern
Zur Bestimmung der Erklärungsgüte bedarf es einer Schätzung der Varianz ² der Fehler
oder Residualvariablen e.
Ein erwartungstreuer Schätzer ist die Fehlerquadratsumme der Regressionsanalyse geteilt
durch die Anzahl n-k der Freiheitsgrade.
3.2 Klassische Normalregression
Annahme normalverteilter Fehlervariablen
Maximum-Likelihood-Schätzung
Durch die Festlegung der Verteilung von Fehlervariablen ist es nun möglich, zusätzlich zu den
Schätzungen nach der KQ-Methode ML-Schätzungen der Parameter herzuleiten.
ML-Schätzer ist der hypothetische Wert für einen Parameter der Population, unter dem die
in der Stichprobe beobachteten Daten maximale Wahrscheinlichkeit haben.
Im Modell der klass. Normalregression stimmen die KQ-Schätzung und die ML-Schätzung von
β überein, d.h. der ML-Schätzer ist asymptotisch erwartungstreu.
3
Sandra Fuchs
Kapitel 3, 33254
SoSe 2015
3.3 Spezifizieren von linearen Hypothesen
H0: Rβ = 0 gegen
H1: Rβ ≠ 0
D.h. Restriktionen der Ho unter der Bedingung der linearen Unabhängigkeit.
Die Rangbedingungen Rang(R) = k-l sichert, dass keine Scheinrestriktionen eingeführt
werden, die nicht von den übrigen Restriktionen unabhängig sind.
Daraus folgt eine Einschränkung des vollen Modells.
H0: Rβ
Der Test der H0 läuft daraus hinaus, ob in der Population die Erklärungsgüte des
eingeschränkten Modells nicht schlechter ist als die des vollen Modells.
3.4 Prüfen der Hypothesen
Mit Prüfgröße F
F bemisst, wie stark sich die (quadrierten) Modellfehler beim Übergang vom vollen zum
durch H0 eingeschränkten Modell erhöhen.
Konfidenzbereiche
Neben der Punktschätzung b für β kann man auch Konfidenzbereiche für β betrachten.
Falls Beta ein Vektor ist, ergeben sich Konfidenzellipsoide, die den Parameter Beta mit der
Wahrscheinlichkeit 1-Alpha überdecken.
4
Sandra Fuchs
Kapitel 3, 33254
SoSe 2015
3.5 Vergleich von Modellen
Sind alle für das Modell in Betracht gezogenen Prädiktoren notwendig?
Vergleich eines vollen Modells mit allen Prädiktoren mit einem eingeschränkten Modell, das
durch Entfernung eines oder mehrerer Prädiktoren entsteht.
Die H0 setzt die entfernten Prädiktoren auf Null.
F wird in diesem Zusammenhang als F-Change bezeichnet.
R² des vollen Modells kann nicht kleiner sein als das R² des eingeschränkten Modells.
Zur Korrektur wurde das adjustierte Bestimmtheitsmaß entwickelt. Es relativiert die
Aufklärungskraft eines Modells an der benötigten Anzahl von Regressoren.
5
Sandra Fuchs
Kapitel 3, 33254
SoSe 2015
3.6 Prädiktorselektionsstrategien
Ziel: mit möglichst wenigen Prädiktorvariablen eine gute Vorhersage der AV erzielen.
Wie verändern sich R² durch Hinzufügen oder Weglassen von Prädiktoren?
Typische Selektionsstrategien:
1. Rückwärtsverfahren
2. Vorwärtsverfahren
3. Schrittweise Verfahren
Rückwärtsverfahren
-
-
-
Betrachtung des vollständigen Modells mit allen
Prädiktorvariablen und Berechnung des
Bestimmtheitsmaßes R²
Sukzessive Entfernung derjenigen Variablen, die zum
geringsten Rückgang des Bestimmtheitsmaßes
führen
Abbruch des Verfahrens, falls sich das
Bestimmtheitsmaß durch das Entfernen einer
Variablen signifikant verkleinert.
Bzw. sukzessive Entfernung, solange dies nicht zu einem
signifikanten Wert von F-Change führt.
Vorwärtsverfahren
-
-
-
Bestimmung derjenigen Prädiktorvariablen, die mit
der AV am stärksten korrelieren und Berechnung des
Bestimmtheitsmaßes R2
Ist R² signifikant, wird die Variable in das Modell
aufgenommen
Sukzessive werden diejenigen Variablen in das
Modell aufgenommen, die zum größten Anstieg des
Bestimmtheitsmaßes R2 führen
Abbruch des Verfahrens, wenn sich das
Bestimmtheitsmaß bei der Hinzunahme einer
Variablen nicht signifikant vergrößert.
Bzw. sukzessives Hinzufügen, solange dies zu einem
signifikanten Wert (Vergrößerung) von F-Change führt.
Schrittweise Verfahren
Kombination
6
Sandra Fuchs
Kapitel 3, 33254
SoSe 2015
3.7 Anwendungsfragen bei multipler Regression
1. Das Problem der Multikollinearität
2. Suppressionseffekte
3. Moderator und Mediatorvariablen
Multikollinearität
Mulikollinearität bedeutet, dass ein einzelner Prädiktor u.U. in Kombination mit anderen
Prädiktoren in der multiplen Regression kein signifikantes Beta-Gewicht hat, obwohl er mit
der AV signifikant korreliert.
Die Erklärung ist, dass die Prädiktoren relativ hoch untereinander korrelieren, teilweise
redundant sind, so dass die Schätzung der Regressionskoeffizienten ungenauer wird.
Diagnose: Vergleich der einfachen Korrelation zwischen UV und AV und Beta-Gewichten;
Inspektion der Interkorrelationen der Prädiktoren.
Eine wichtige Prüfgröße im Zusammenhang mit Multikollinearität ist VIF = Variance Inflation
Factor
VIF gibt Hinweis auf das Vorliegen von Multikollinearität
VIF darf nicht >10
KI (Konditionsindex) zwischen 10 und 30 bedeutet mittlere Kollinearität, KI>30 bedeute
starke Kollinearität.
Die Toleranz fehlender Kollinearität als Annnahme darf nicht unter 0,1
7
Sandra Fuchs
Kapitel 3, 33254
SoSe 2015
Moderator-und Mediator-Variablen
Will man von vornherein eine Abhängigkeit (Interaktion, Wechselwirkung) zwischen X1 und
X2 modellieren, nimmt man eine dritte UV X3 = X1 x X2 in das Modell mit auf.
Von einer Moderatorvariablen spricht man, wenn die Stärke der Wirkung von X1 auf Y von
der Ausprägungen von X2 abhängt.
Die Überprüfung einer Moderatorhypothese erfolgt in einer sog. hierarchischen,
moderierten Regression.
D.h. in drei Schritten werden zunächst der Prädiktor, dann der Moderator und zuletzt ein
Produktterm aus Prädiktor und Moderator eingeben.
Vor der Bildung des Produktterms müssen die beiden Prädiktoren X1 und X2 i.d.R. zentriert
werden, um starke Multikollinearität zu vermeiden.
Moderator-Wirkung kann in sog. Simple-slope-Analysen genauer untersucht werden.
Eine Mediation liegt vor, wenn der Zusammenhang zwischen einer UV X1 und einer
Response Y durch eine Variable X2 (als interner Mechanismus) erklärt werden kann.
Dadurch beeinflusst eine Prädiktorvariable eine Kriteriumsvariable.
Bei Mediation werden univariate Regressionsmodelle berechnet.
Während eine Moderatorvariable spezifiziert, unter welchen Bedingungen welche Art des
Zusammenhangs zwischen zwei Variablen besteht, erklärt eine Mediator-Variable den
Prozess oder „Mechanismus“, durch den eine Prädiktorvariable eine Kriteriumsvariable
beeinflusst.
D.h. ein Mediator erklärt, warum ein Zusammenhang zwischen zwei Variablen vorliegt.
8
Sandra Fuchs
Kapitel 3, 33254
SoSe 2015
Suppressionseffekte
Suppression bedeutet, dass ein einzelner Prädiktor u.U. in Kombination mit anderen
Prädiktoren in der multiplen Regression ein signifikantes BataGewicht aufweist, obwohl er
mit der AV nicht signifikant korreliert.
Die Erklärung ist, dass bei korrelativen Zusammenhängen zwischen den Prädiktoren in der
multiplen Regression eine Kompensation stattfinden kann. In der Fehlervarianzanteile
anderer Prädiktoren ausgeglichen werden.
Diagnose: Vergleich der einfachen Korrelationen zwischen UV und AV und Beta-Gewichten;
Inspektion der Interkorrelationen der Prädiktoren;
Modellvergleiche
Suppressor-Variable:
= Eine Suppressor-Variable (in der Multiplen Regression) hat null (oder nahezu
null) Korrelation mit dem Kriterium, ist aber mit einer oder mehreren Prädiktorvariablen
korreliert, so dass die irrelevante Varianz der unabhängigen Variablen unterdrückt wird.
= eine Variable, die den Vorhersagebeitrag einer oder mehrerer Prädiktoren erhöht, in dem
sie irrelevante Varianzen in diesen unterdrückt. Sie selbst ist mit der Kriteriumsvariable
kaum, mit den anderen Prädiktoren aber hoch korreliert. Mathematische Bestimmung: Ihre
Nützlichkeit (U) ist größer als ihre quadrierte Validität (V) (multiple Regression, multiple
Korrelation).
9