Unit 9 - Kontrastanalyse und Post-hoc-Tests PDF

Preview

Summary

sghrdjfmhgjh...

Description

Statistik II: Post-hoc-Tests und Kontrastanalyse Einführung

- Varianzanalysen prüfen Omnibus-Hypothese -

• Omnibus - lat., für alle • es werden alle Daten auf ist eine Varianzanalyse signifikant, bedeutet das: • es gibt irgendeinen Unterschied in der Population • Welcher Unterschied ist aber offen… In den allermeisten Fällen ist die Aussage einer Varianzanalyse nicht hinreichend

Es sind zwei Fälle von spezifischen Fragestellungen zu unterscheiden: 1. Es gibt bereits vor der Untersuchung spezifische Fragestellungen bzw. spezifische Hypothesen, die von einer Theorie abgeleitet wurden.

- Varianzanalyse ist hier obsolet - Es werden Verfahren angewendet, die direkt spezifische Hypothesen testen: • Bei paarweisen Vergleichen den bekannten t-Test • Bei Vergleichen, die mehr als zwei Gruppen beinhalten, die Kontrastanalyse Kontrastanalyse

- Synonym: geplante Kontraste oder a priori Kontraste - Kontrast: gerichteter Vergleich oder Differenz zwischen zwei oder mehr Mittelwerten - Die Kontrastanalyse ist formal ähnlich der ANOVA eine Erweiterung des t-Tests • Es werden Koeffizienten in die Rechnung mit aufgenommen, die den gewünschten Vergleich spezifizieren. • Es ist möglich alle, einige oder auch nur zwei Mittelwerte in einem Kontrast zu testen • Wendet man die Kontrastanalyse auf nur zwei Gruppen an, so entspricht dies dem t-Test. 2. Es gibt keine spezifischen Hypothesen vor der Untersuchung, sondern man möchte nach einer Varianzanalyse wissen, welche Unterschiede für die Signifikanz verantwortlich zu machen sind.

- In diesem Fall werden andere Verfahren angewendet, die auf das explorative Testen nach der Varianzanalyse zugeschnitten sind.

- Post-hoc-Tests -

• lat., nach diesem • Synonym: Multiple/s Testen/Vergleiche, ungeplante Kontraste Da keine spezifischen Hypothesen vorliegen, werden meist alle möglichen Vergleiche durchgeführt

Post-hoc-Tests

- Es gibt eine Fülle verschiedener Post-hoc-Tests für paarweise Vergleiche. • • • • • • •

Bonferroni-t-Test – der einfachste Tukey HSD (Honestly Significant Difference) – hohe Teststärke Scheffé-Test Dunn-Test Duncan-Test Fishers LSD …

- Es gibt auch die Möglichkeit Kontraste nach einer Varianzanalyse zu berechnen. • Scheffé-Test • Kann 2 oder mehr Gruppen miteinander vergleichen • Ähnlich, aber nicht das gleiche wie die Kontrastanalyse

Vergleich: a priori oder post-hoc

- Geht man nun davon aus, dass α die WSK ist beim Testen einer Hypothese den Fehler 1. Art zu

-

begehen, dann gilt… • im Fall 1: Jeder Test hat sozusagen sein eigenes α, da eine Hypothese mit einem Test überprüft wird. • im Fall 2: Es gibt nur eine globale Hypothese und damit muss ein α auf alle nachfolgenden Tests, die eben diese Hypothese testen, verteilt werden. Multiples Testen: Das mehrfache Testen ein und der selben Hypothese/Theorie. Nur beim Multiplen Testen muss eine α-Fehler Korrektur vorgenommen werden. Das Problem des Multiplen Testens liegt weiterhin darin, dass aus einem Datensatz nicht die Hypothese generiert und gleichzeitig mit diesem getestet werden kann. Der Forschungsprozess funktioniert so, dass man schaut, ob zu einer Theorie das passende Ergebnis gefunden wird oder eben nicht. • Entweder wird die Theorie bestätigt oder widerlegt. Geht man aber von den Daten aus und sucht sich die passende Theorie, dann ist das kein Test mehr. • Es gibt zu jedem beliebigen Ergebnis irgendeine Theorie, aber zu einer bestimmten Theorie nur ein bestimmtes Ergebnis (natürlich unter bestimmten WSKen).

Schlussfolgerung: - Gibt es spezifische Fragestellungen vor einer Untersuchung (konfirmatorisches Vorgehen), dann sollten die darauf zugeschnitten Verfahren verwendet werden. - Gibt es keine spezifischen Fragestellungen vor einer Untersuchung, dann… • …dienen signifikante Einzelvergleiche nur der Hypothesengenerierung (exploratives Vorgehen) • …dann ist die Power bei Einzelvergleichen wesentlich geringer als beim Prüfen vorher festgelegter Fragestellungen.

Kontrastanalyse vs. „Omnibus-Hypothesen“

- Kontrast: gerichteter Vergleich oder Differenz zwischen zwei oder mehr Mittelwerten - geprüft werden vorher formulierte Hypothesen • z.B.

und

Kontrastkoeffizienten

- In die Rechnung werden Kontrastkoeffizienten λi (lambda) eingeführt, die die Relation der Mittelwerte zueinander spezifizieren.

- Die einfachste Möglichkeit Kontraste zu bilden ist die direkte Ableitung aus den Hypothesen: H1: (A+B)/2 > C → H0: (A+B)/2-C=0 • Durch einfache Umstellung der Nullhypothese werden die Kontrastkoeffizienten sichtbar: → damit ist: λA=0,5, λB=0,5 und λC=-1 H1: A>(B+C)/2 → H0: A-(B+C)/2=0 → damit ist λA=1, λB= -0,5 und λC=-0,5

Kontrastanalys für unabhängige Stichproben Prüfgröße

- Aus den Nullhypothesen ergeben sich Kontraste ψ (psi), die sich analog des t-Test Beispiels testen lassen:

• In Worten: Summe der gewichteten Mittelwerte geteilt durch das Produkt aus der Wurzel der Varianz und der Summe der quadrierten Kontrastkoeffizienten geteilt durch n. Prüfgröße - Wozu die λi unter dem Bruchstrich? - im Prinzip ist die Wahl der Koeffizienten beliebig - Einzige Bedingung: (Die Summe der Kontrastkoeffizienten muss Null ergeben) Prüfgröße - Was macht die Varianz innerhalb da? - Die Kontrastanalyse steht in einer engen Beziehung zur Varianzanalyse: • Die Kontrastanalyse ist ebenfalls eine Erweiterung des t-Test.

- es gilt:

dabei ist

= QSKontrast

- sind die Voraussetzungen der ANOVA erfüllt dann folgt… …der F-Verteilung mit dfZähler =1 und dfNenner =N-k.

- Die Kontrastanalyse lässt sich also genau wie die Varianzanalyse testen. • Dies soll im Folgenden im Vergleich zu den Ergebnissen aus der letzten Unit (einfaktorielle Varianzanalyse) ausgeführt werden Orthogonalität von Kontrasten

- Kontraste können teilweise gleiche Varianz aufklären! • Ist dies der Fall dann sind die Kontraste nicht unabhängig voneinander bzw. sie sind nicht orthogonal. Analogie 1: Paarvergleich von MWA, MWB und MWC - Wenn MWA> MWB, sowie MWB> MWC…

… dann gilt: MWA > MWC

- Der letzte Vergleich ist abhängig vom Ausgang der ersten beiden. → Nur zwei der drei Vergleiche sind unabhängig

- Es gibt immer nur k-1 unabhängige orthogonale Kontraste (vgl. Mittelwertsbeispiel). - Nur diese können ausschließlich eigene (inkrementelle) Varianz aufklären. - Orthogonale Kontraste haben den Vorteil, dass die Summe der Quadratsumme aller bei einem -

-

vorhandenen Datensatz möglichen orthogonalen Vergleiche gleich der QSzw der Varianzanalyse ist. Das hat zum Vorteil: • Die Kontraste sind leichter zu interpretieren • Man geht in jedem Fall dem Problem des multiplen Testens aus dem Weg • Bei nicht-orthogonalen Kontrasten lässt sich argumentieren, dass sie teilweise doch ein und die selbe Fragestellung testen. Es gibt aber auch Nachteile • Orthogonale Kontraste sind eingeschränkt flexibel • Hat man den ersten Kontrast gebildet, so müssen alle weiteren sich danach richten (sie dürfen nicht korrelieren!).

Effektgrößen bei der Kontrastanalyse für unabhängige Stichproben Berechnung von reffect size aus den Rohwerten

- analog zur Korrelation zweier Mittelwerte aus unabhängigen Stichproben -

• Korrelation von AV und UV • bei Kontrastanalyse sind die Werte der UV die λ-Gewichte je größer r, desto größer die Passung zwischen Einzelwerten und λ-Gewichten

Berechnung von ralerting

- Korrelation der Gruppen-Mittelwerte mit den λ-Gewichten • zur Überprüfung, ob Ergebnisse der Hypothese entsprechen

- es gilt: reffect size ≤ ralerting - Maß der aufgeklärten Varianz:

• In Worten: Das Ausmaß, in dem der vorliegende Kontrast die Unterschiede zwischen den Mittelwerten aufklärt.

Berechnung von rcontrast

- Berechnung der Effektgrößen aus Signifikanztestergebnissen • wird zur Bestimmung der Power benötigt

- rcontrast wird nie kleiner als reffectsize Beziehung zwischen den Größen:

Effektgrößenmaße im Vergleich:

- wichtigste Effektgröße ist reffect size (Größe des gefundenen Effekts) - ralerting ist ein relativ grobes Maß, das selten für sich alleine benutzt wird (obere Grenze für reffect size)

- rcontrast ist im Fall einer Kontrastanalyse mit zwei unabhängigen Stichproben identisch mit reffect size - ansonsten gilt das Maß der aufgeklärten Varianz Poweranalyse bei der Kontrastanalyse für unabhängige Stichproben

- Poweranalyse bei mehr als zwei Stichproben analog zur Poweranalyse beim t-Test für Korrelationen • Verwendung von rcontrast → zu interessierende Effektgröße ist reffect size

- Lösung: bei einer guten Vorstellung davon, wie viel Varianz der Kontrast an der Varianz zwischen den Gruppen aufklärt, kann Umrechnungsformel verwendet werden:

- aber: ralerting wird meist als hoch eingeschätzt • Lösung: • generelle Annahme von ralerting = 1 dadurch wird rcontrast wie reffect size benutzt •

Kontrastanalyse für unabhängige Stichproben bei komplexen Fragestellungen Haupteffekte und Interaktionen

- wenn Kontrast nicht nur auf einen, sondern auf beliebig viele Faktoren zurückzuführen ist • im Idealfall ist nur ein komplexer Faktor an dem Gesamtmuster beteiligt • wenn mehrere Faktoren angenommen werden, dann Berechnung von Interaktionen Einfacher Haupteffekt

- wenn nur ein Faktor eine systematische Auswirkung besitzt - bei nur zwei Faktorausprägungen gleicher F-Wert wie bei einer Varianzanalyse - bei Vorhandensein eines Effekts: • Teststärke erhöht • Verwendung eines einseitigen statt eines zweiseitigen α Additiver Effekt

- zwei oder mehr Faktoren wirken unabhängig voneinander - die Gewichtungen der einzelnen Bedingungen werden addiert Multiplikativer Effekt

- zwei oder mehr Faktoren beeinflussen sich multiplikativ - die Gewichtungen der einzelnen Bedingungen werden multipliziert Kontrastanalyse für abhängige Stichproben

- Abhängige Stichproben – Varianz der Werte einer Person über verschiedene Bedingungen (Messzeitpunkte) hinweg

- Erweiterung des t-Tests für abhängige Stichproben - bei zwei Messwerten pro Person - Differenz der Messwerte wie beim t-Test x1-x2 - bei mehr als zwei Messwerten pro Person – Zusammenfassung der Unterschiede über die Bedingungen hinweg Bestimmen der zusammengefassten Werte

In Worten: Für jede Person oder jeden Merkmalsträger wird ein Maß für die Paarung zwischen Vorhersage (Kontrast) und den Ergebnissen berechnet.

t-Test bei der Kontrastanalyse bei abhängigen Stichproben

- Bei nur einer Gruppe und L0=0 gilt…

Effektgrößen bei der Kontrastanalyse bei abhängigen Stichproben

- Analog zur Berechnung der Effektgrößen beim t-Test für abhängige Stichproben - Wie gut entsprechen die gefundenen Unterschiede zwischen den Bedingungen den vorhergesagten Kontrasten?

- Hoher - große Übereinstimmung zwischen Ergebnis und Vorhersage - Aber: hohe Variation der Werte – Effekt tritt nicht konsistent über alle Personen oder Objekte hinweg auf → standardisiertes Abstandsmaß als Effektgrößenmaß

- Effektgröße g … • … aus den Rohdaten: • … aus dem t-Test Ergebnis →kleine Effektstärke, Übereinstimmung der Daten mit dem Kontrast (Vorhersage) Poweranalyse bei der Kontrastanalyse für abhängigen Stichproben

- auch Poweranalyse funktioniert analog zum t-Test für den Einstichprobenfall

Vergleich zweier Hypothesen mithilfe der Kontrastanalyse 1. bei unabhängigen Stichproben

- Hypothesen - Ausdruck in Kontrasten/ Bestimmung der zugehörigen Lambdagewichte - Differenzwerte der Lambdagewichte werden als neuer Kontrast benutzt (den vermutlich „schlechteren“ Kontrast vom „besseren“ Kontrast abziehen)

- Signifikanztest: • signifikanter positiver t-Wert bestätigt Vermutung • signifikanter negativer t-Wert bestätigt Gegenteil

- Effektgröße berechnen (reffect size) 2. bei abhängigen Stichproben

- Hypothesen - Ausdruck in Kontrasten/ Bestimmung der zugehörigen Lambdagewichte - Differenzwerte der L-Werte

- Signifikanztest

- Effektgröße berechnen (g)

Post-Hoc-Tests

- Ziel ist es aufzudecken, wieso die Varianzanalyse signifikant geworden ist. • Dafür kommen meistens alle möglichen Vergleiche in Frage

- Post-hoc-Tests korrigieren daher i.d.R. das α-Niveau im Hinblick auf alle Vergleiche. - Die verschiedenen Tests bewältigen dies auf unterschiedliche Weise. → Post-hoc-Tests unterscheiden sich in der Power und in der Robustheit gegenüber Verletzungen der Voraussetzungen. Voraussetzungen der Post-hoc-Tests

- I.d.R. setzten Post-hoc-Tests voraus, dass die vorherige Varianzanalyse signifikant geworden ist - Ist die Varianzanalyse nicht signifikant, dann ist es nicht üblich post-hoc zu testen (obwohl u.U. einzelne Paarvergleiche signifikant sein können).

- Alle Voraussetzungen sind i.d.R. bereits durch die der Varianzanalyse abgedeckt • Einschränkung „in der Regel“ da es sehr viele Post-hoc-Test gibt und die Aussagen nur für die meisten zutreffen (Kirk (1995) führt über zwanzig verschiedene Verfahren an). Bonferroni-t-Test

- Dieser Test entspricht einem t-Test, der einfach die kritischen Wert durch Verkleinerung von α anpasst

- Der Bonferroni-t-Test ist ein gewöhnlicher t-Test, bei dem einzig das α-Niveau korrigiert wird. • D.h. die bekannte Prüfgröße wird mit einem anderen kritischen Wert verglichen.

- Bei Multiplen Vergleichen ergibt sich die WSK mind. einmal den Fehler 1. Art zu begehen folgendermaßen: p = 1-(1-ɑ)j j=Anzahl der Vergleiche

- Soll sich über alle Vergleiche die WSK für den Fehler 1. Art sich genau auf α kumulieren, dann muss gelten:

- wenn α=0.05 ergibt das bei 3 Vergleichen: • Das α‘ müsste auf 0,017 reduziert werden

- Für den Bonferroni-t-Test wird allerdings eine Schätzung für α’ verwendet: • α‘= α/m • Bei drei Vergleichen: α‘ = ,05 / 3 = ,0167 • Die Dunn-Sidak Methode ist die exakte Alternative Tukey HSD (Honestly Significant Difference)

- Dieser Test basiert auf einer eigenen Verteilung, die die jeweils extremsten nicht signifikanten Mittelwertdifferenzen bei gegeben QSinn angibt.

- Dieser Test basiert auf einer eigenen Verteilung: der „studentized range Verteilung“ - Mit dieser Verteilung kann bei gegebenen k und n die maximale Differenz zwischen zwei Mittelwerten berechnet werden, die gerade noch zu einem nicht signifikanten Ergebnis führt.

- Die HSD wird eher selten per Hand berechnet • Die studentized range Verteilung ist oft nicht tabelliert. • Außerdem ist das n in der Formel bei ungleichen Gruppengrößen das harmonische Mittel, welches nicht einfach zu berechnen ist (gibt auch weitere Wege, um dann n zu bestimmen).

Scheffé-Test

- Dieser Test basiert auf der Logik der Kontrastanalyse bzw. der ANOVA, korrigiert aber auch um alle möglichen Vergleiche.

- Der Scheffé-Test ist das post-hoc Pendant zur Kontrastanalyse. - Er kann sowohl paarweise als auch Vergleiche mit mehr als zwei Gruppen darstellen. - Im Vergleich zur Kontrastanalyse wird hier der kritische Wert um die Anzahl möglicher Vergleiche korrigiert.

- Neuer kritischer Wert bei gegebenem α: S=F(k-1,N-k) ⋅(k-1) - Jetzt könnte im Prinzip vorgegangen werden wie in der Kontrastanalyse • Einzig muss der F-Wert der Kontrastanalyse mit S anstatt mit Fkrit verglichen werden.

- In den meisten Statistikbüchern wird allerdings der Test ein wenig umgeformt.

• Es wird auf der einen Seite die Differenz, also die Summe der Produkte aus den Kontrastkoeffizienten und den Mittelwerten, • auf der anderen Seite eine kritische Differenz unter Verwendung des neuen kritischen Werts berechnet. (vgl. Tukey)

- Differenz (Kontrast): - kritische Differenz: Diffkrit= - Ist die Differenz (Kontrast) größer als die kritische Differenz, dann ist der Scheffé-Test signifikant. Post-hoc-Tests: Vergleich

- Die große Frage ist: Wann welcher Post-hoc-Test? - Post-hoc-Tests werden durch die unterschiedlichen Korrekturen unterschiedlich schnell

-

signifikant. • Sie sind entweder konservativ oder liberal. • Scheffé-Test sehr konservativ Post-hoc-Tests sind unterschiedlich robust gegenüber Verletzungen der Voraussetzungen • Scheffé-Test ist sehr robust...