Hornowska-skrypt-2 - Streszczenie, skrypt z książki PDF

Preview

Summary

Streszczenie, skrypt z książki ...

Description

HOR ORNO WSK SKA – TE STY PSYCHOLO GIC ICZ NE. TEO RIA I PRA RAKT KT YKA KA NIE PSY SYCHO MET RYCZN E R .1 – WNIOSKO WANI 1.1. Czym zajmuje się psychometria? Psychometria – gałąź psychologii, która zajmuje się określaniem warunków, jakie powinny spełniad narzędzia wykorzystywane do pomiaru cech psychologicznych, oraz budowaniem modeli wiążących wyniki takich pomiarów z rzeczywistymi wartościami mierzonych cech. Reguły, które charakteryzują pomiar cech psychologicznych: 1) Cechy psychologiczne powinny byd definiowane nie tylko w terminach operacyjnych, ale także w terminach związków z innymi konstruktami teoretycznymi czy obserwowalnymi zjawiskami Wg Lord i Novick konstrukty psychologiczne powinny byd zawsze definiowane na dwóch poziomach: Definicje semantyczne – określają przedmiot pomiaru (zakres obserwowalnych zachowao, które będą rejestrowane) Definicje syntaktyczne – dostarczają ram interpretowania wyników, wiążą mierzony konstrukt z innymi konstruktami w ramach danego systemu teoretycznego 2) Żadna realizacja pomiaru psychologicznego nie ma charakteru uniwersalnego - różne definicje operacyjne prowadzą do różnych procedur, a te z kolei do różnych wniosków koocowych -> ten sam wynik uzyskany za pomocą różnych narzędzi ma zupełnie inne znaczenie psychologiczne 3) Pomiar psychologiczny jest najczęściej oparty na ograniczonej próbce zachowao 4) Wyniki pomiaru psychologicznego zawsze są obarczone pewnym błędem – przy powtórnym pomiarze wyniki zawsze trochę się różnią, bo działa np. zapominanie, zgadywanie, chwilowe fluktuacje uwagi 5) Wyniki pomiaru psychologicznego nie zawsze przekładają się na skale o dobrze zdefiniowanych jednostkach W ramach psychometrii (in. teorii testów) podejmuje się wiele zagadnieo, m.in. :  sposoby budowania pozycji testowych  opracowanie kryteriów wyboru pozycji testowych o najlepszych parametrach  zasady przekształcania odpowiedzi testowych na wyniki liczbowe  zasady oceny jakości wyników i ich interpretacji 

zasady określania stopnia stronniczości wyników testowych względem określonej grupy społecznej

Psychometria ( in. teoria testów) dostarcza modelowych rozwiązao – i tym różni się od pomiaru psychologicznego, który dotyczy raczej szczegółowych zasad posługiwania się konkretnymi metodami. Dwie podstawowe teorie psychometrii: Teoria losowego doboru próby – ujmuje związek między obserwowanym wynikiem i prawdziwą wartością mierzonej cechy jako problem generalizacji danych z próby na populację Teoria odpowiadania na pozycje testu – w tej teorii zakłada się, że określenie sposobu, w jaki osoba badana odpowiada na kolejne pozycje testu, pozwala na bezpośrednie określenie rzeczywistego wyniku tej osoby

1

1.2. Definicja testu i rodzaje testów Definicja testu Test psychologiczny jest narzędziem, które:  pozwala na uzyskanie takiej próbki zachowao, o których można przyjąd (np. na podstawie założeo teoretycznych), że są wskaźnikami interesującej nas cechy psychologicznej  dostarcza reguł obliczania wartości mierzonej cechy  jest obiektywne, wystandaryzowane, trafne, rzetelne i znormalizowane  jasno określa zakres i rodzaj dopuszczalnych zachowao ze strony diagnosty  zakłada kooperacyjną postawę osoby badanej Rodzaje testów Podziały testów ze względu na: kryterium standaryzacji:  standaryzowane – mają dokładnie sprecyzowane zasady stosowania i są wyposażone w normy, otrzymane w wyniku przebadania reprezentatywnej próby pochodzącej z populacji, dla której test ma byd stosowany  niestandaryzowane kryterium wydajności:  indywidualne  grupowe kryterium czasowe:  testy szybkości – czas rozwiązania jest ograniczony, z założenia żadna osoba nie powinna skooczyd takiego testu w wyznaczonym czasie; zadania niezbyt trudne  testy mocy – dają każdej osobie badanej szansę na rozwiązanie wszystkich pozycji testu; trudnośd zadao w teście stopniowo rośnie sposób obliczania wyników:  obiektywne – posiadają stałe, starannie opracowane metody obliczania wyników  nieobiektywne rodzaj zadao, z jakich są zbudowane:  słowne  bezsłowne rodzaj możliwej odpowiedzi:  testy właściwości poznawczych – testy mierzące wytwory procesów poznawczych (np. testy zdolności czy uwagi); każde zadanie ma ściśle określoną prawidłową odpowiedź  testy właściwości afektywnych – testy mierzące postawy, wartości, zainteresowania i inne, pozapoznawcze, aspekty osobowości; nie istnieje kategoria odpowiedzi prawidłowej sposób interpretacji wyników:  zorientowane na normy – punktem odniesienia dla interpretacji wyników jest konkretna populacja osób  zorientowane na kryterium – punktem odniesienia jest zakres wiedzy

2

1.3. Kryteria dobroci testów psychologicznych Obiektywnośd – to niezależnośd wyników testowych od tego, kto, gdzie i kiedy dokonuje ich oceny - do zbadania obiektywności testu służy technika tzw. ślepej diagnozy – rozsyła się ten sam wypełniony test do różnych osób, jeśli otrzymane wyniki i ich interpretacje są podobne -> test jest obiektywny Standaryzacja – to jednolitośd reguł badania danym testem - obejmuje takie elementy sytuacji testowania jak: instrukcja, pomoce, zasady oceniania i interpretowania wyników (z tego najważniejsza jest instrukcja – jej przestrzeganie jest podstawowym elementem gwarantującym powtarzalnośd wyników badania) Rzetelnośd – dokładnośd realizowanego pomiaru; mówi nam o tym, w jakim stopniu wynik danego testu odzwierciedla poziom mierzonej cechy u danej osoby, a nie wpływ czynników losowych Trafnośd – dokładnośd, z jaką test realizuje założone cele pomiarowe - trzeba pamiętad, że trafnośd zawsze dotyczy konkretnego zastosowania – nie ma testów, które można stosowad wszędzie i w każdym celu Normalizacja – to procedura wyposażania testu w statystyczne kryteria interpretacji wyniku testowego (normy)

Adaptacja kulturowa – przystosowanie określonego testu do nowych warunków kulturowych Przystępując do kulturowej adaptacji testu można przyjąd dwie różne strategie:  Strategię psychometryczną – kryterium tożsamości jest empirycznie potwierdzone podobieostwo rozkładów odpowiedzi na pozycje testowe i/lub rozkładów wyników globalnych  Strategię pragmatyczną – kryterium jest podobieostwo funkcji, jaką ma pełnid dana technika i decyzje oparte na uzyskanych za jej pomocą wynikach

1.4. Proces wnioskowania psychometrycznego Proces wnioskowania psychometrycznego – proces wyprowadzania wniosków o wartościach cech psychologicznych badanych osób na podstawie wyników, jakie otrzymały one w testach psychologicznych. Wynik obserwowany – to wynik, jaki badana osoba otrzymuje w teście psychologicznym Wynik prawdziwy – to wynik odzwierciedlający rzeczywistą wartośd mierzonej cechy u danej osoby Rzetelnośd (wielkośd współczynnika korelacji między wynikiem obserwowanym a prawdziwym) mówi nam, w jakim stopniu nieobserwowane wyniki prawdziwe wyjaśniają wariancję wyników obserwowanych) Trafnośd jest związkiem zachodzącym między wynikiem prawdziwym a przedmiotem pomiaru.

R .2 - KL OW WA ANIA O RZ ET ELNO KLAS ASYCZN ZNA T EOR IA TTEEST STÓ W J AKO KO POD ODSTA WAA WNIOS OS KKO NOŚ CII TEST U.. Rzetelnośd- termin odnoszący się do powtarzalności wyników; zgodnośd wyników otrzymanych przez te same osoby przebadane kilka razy tym samym testem 4

wszystkie pomiary są w pewnym stopniu nierzetelne- otrzymany wynik nigdy nie jest idealnym odzwierciedleniem rzeczywistej wartości mierzonej cechy i zawsze obciążony jest pewnym błędem ŻRÓDŁA BŁĘDU W POMIARZE TESTOWYM Błąd systematyczny- spowodowany stałymi cechami osoby badanej lub narzędzia pomiarowego, nie mający nic wspólnego z mierzoną cechą psychologiczną nie jest przyczyną braku powtarzalności wyników pomiaru, jednak wpływając na wyniki testowe zmniejsza ich użytecznośd Błąd losowy- powstały w wyniku działania przyczyn przypadkowych; może zarówno zmniejszad, jak i zwiększad wynik testowy; sprawia, że wyniki testowe nie są ani powtarzalne, ani użyteczne

MODEL WYNIKU PRAWDZIWEGO I JEGO ZAŁOŻENIA- KLASYCZNA TEORIA TESTÓW Klasyczny model wyniku prawdziwego (prace Spearmana, Guilforda, Gulliksena, Lorda i Novicka) każdy wynik obserwowany w teście jest składową dwóch, nieobserwowalnych bezpośrednio wielkości- wyniku prawdziwego oraz błędu pomiaru stąd równanie klasycznej teorii testów: X= T+E X- wynik otrzymany w teście; T- wynik prawdziwy (true score); E- błąd pomiaru (error) oraz trzy założenia: założenie o nieobciążoności narzędzia pomiarowego- błędy mają charakter wyłącznie losowy (rozkład normalny, średnia wynosi zero)

Mg  0 M g - średnia arytmetyczna błędu

założenie o niezależności- nie ma związku między wynikiem prawdziwym a błędem pomiaru

rTE  0 rTE - współczynnik

korelacji między wynikiem prawdziwym a błędem pomiaru

nie istnieje żaden związek pomiędzy błędami otrzymanymi w dwóch kolejnych badaniach tym samym testem (gdyż błąd ma charakter losowy)

rE1 E2  0 5

rE1E 2 - korelacja między błędami w dwóch badaniach tym samym testem

DEFINICJA RZETELNOŚCI Wskaźnik rzetelności- współczynnik korelacji pomiędzy wynikami obserwowanymi a wynikami prawdziwymi Oto definicja rzetelności testu p 2XT 

 T2  2X

p 2XT -kwadrat współczynnika korelacji pomiędzy wynikami otrzymanymi i prawdziwymi,

standardowego wyników prawdziwych,

 2T - kwadrat odchylenia

 2X - kwadrat odchylenia standardowego wyników otrzymanych

(jako że jest to opracowanie, w tym i kolejnych wzorach podaję jedynie ostateczną wersję równania pomijając cały pasjonujący proces jego wyprowadzania) Rzetelnośd testu to kwadrat korelacji pomiędzy wynikami otrzymanymi a wynikami prawdziwymi, czyli stosunek wariancji wyników prawdziwych do wariancji wyników otrzymanych. Rzetelnośd mówi nam w jakim stopniu wariancja wyników prawdziwych określa wariancję wyników otrzymanych. Testy równoległe- testy mierzące to samo tak samo tyle że składające się z pozycji o różnej treści Muszą spełnid następujące formalne warunki: 1) X A  X B średni wynik otrzymany w teście A równy jest średniemu wynikowi testu B 2)  A   B

odchylenie standardowe wyników w teście A jest równe os wyników w teście B

3) riAjA  riBjB

interkoleracje pozycji w teście A są takie same jak interkoleracje w teście B

4) rAB  rBZ

współczynnik korelacji wyników otrzymanych w teście A z pewną zmienną Z, jest taki sam jak współczynnik korelacji wyników testu B z tą zmienną

Współczynnik korelacji między wynikami dwóch testów równoległych jest równy stosunkowi wariancji wyników prawdziwych do otrzymanych – czyli rzetelności testu więc współczynnik rzetelności testu to współczynnik korelacji między wynikami dwóch testów równoległych współczynnik rzetelności interpretujemy jako odsetek wariancji wyników otrzymanych, jaką możemy przypisad wynikom prawdziwym (np. gdy otrzymana wartośd współczynnika korelacji miedzy dwoma testami równoległymi wynosi 0,81 to 81% wariancji wyników otrzymanych stanowi wariancja wyników prawdziwych) METODY BADANIA RZETELNOŚCI Metoda powtarzania testu ( technika test-retest ) Dwukrotne badanie tym samym testem. Wielkośd współczynnika korelacji między wynikami testowymi za pierwszym i drugim razem jest traktowana jako współczynnik rzetelności testu nazywany: współczynnikiem stabilności bezwzględnej - gdy miedzy testem i retestem następuje pewien odstęp czasowy (informuje o wrażliwości testu na przypadkowe zmiany zarówno osoby badanej, jak i warunków badania; przerwa czasowa powinna byd na tyle długa by badany zapomniał swe odpowiedzi i jednocześnie na tyle krótka by w jej trakcie nie doszło do zmiany mierzonej właściwości podmiotowej – zazwyczaj waha się ona od kilku tygodni do kilku miesięcy) 6

współczynnik wiarygodności testu -gdy retest następuje bezpośrednio po teście (informuje o wrażliwości testu na przypadkowe czynniki związane z osobą badaną których zmiennośd jest krótsza niż czas badania- np. chwilowe fluktuacje uwagi) krytyka: nadmierny wpływ niekontrolowanych czynników technika ta głównie nadaje się do testów, w których powtarzanie badania nie wpływa istotnie na wynik testowania (np. testy motoryczne, różnicowania sensorycznego) Metoda wersji równoległych ( alternatywnych) Badani wypełniają dwie równoległe wersje danego testu: bez przerwy czasowej – wskaźnik równoważności międzytestowej (informuje w jakim stopniu wariancja błędu zależy od różnic między dwiema wersjami testu) z przerwą czasową- wskaźnik stabilności względnej (jest jednocześnie miarą stabilności wyników testowych i wpływu treści na wyniki testowe) krytyka: wpływ czynników powiązanych z przerwą czasową ekonomiczne i czasowe koszty konstruowania równoległego narzędzia Szacowanie rzetelności na podstawie jednokrotnego badania danym testem:

Metoda połówkowa Podział testu na dwie, równoległe względem siebie połowy: o Losowe przydzielenie o Pozycje parzyste i nieparzyste o Podział z uwzględnieniem treści i trudności Otrzymujemy współczynnik równoważności międzypołówkowej- trzeba jednak pamiętad, że jest to oszacowanie rzetelności jedynie połowy testu, ale na jego podstawie możemy obliczyd całośd za pomocą wzoru Spearmana-Browna dla chętnych i zdeterminowanych Badanie zgodności wewnętrznej Analiza właściwości statystycznych poszczególnych pozycji testowych w poszukiwaniu ich zgodności (współczynnika zgodności wewnętrznej- im on wyższy tym jednorodniejsze pozycje testowe) przynosi informacje o rzetelności całego testu. Wzory Kudera-Richardsona KR20- gdy analizowana jest średnia wariancja pozycji testowych KR21- gdy analizowana jest średnia trudnośd pozycji testowych (wymaga założenia o jednakowej ich trudności) Jednak te wzory szacują rzetelnośd jedynie w testach złożonych z pozycji dwukategorialnych, tzn. zawierających jedynie dwa rodzaje odpowiedzi- diagnostyczne (poprawne) i niediagnostyczne (niepoprawne) k Ograniczenie to przezwyciężył Cronbach, tworząc swe znane rozszerzenie wielokategorialne:  2  

  i k  1  i i 2 k  1 x  

    

Alfa Cronbacha

k- liczba pozycji testowych;

k

 i i

7

2 i

- suma wariancji dla poszczególnych pozycji

testowych;  2x - wariancja ogólnych wyników w teście

Rzetelnośd jako zgodnośd ocen Zgodnośd sędziów kompetentnych Badana jest zgodnośd ocen wystawionych przez sędziów kompetentnych Podsumowanie Współczynnik stabilności względnej - najbardziej rygorystyczny, dolna granica Współczynnik równoważności miedzy połówkowej liberalny, górna granica

Rzetelnośd testów szybkości Badanie zgodności szybkości pracy – jedynie techniki powtórnego testowania i wersji alternatywnych Rzetelnośd testów zorientowanych na kryterium (standard wykonania) (patrz rozdział 1) Tradycyjne metody oszacowywania rzetelności nie mają tu zastosowania. Rzetelnośd testu zależy od wariancji wyników testowych, im mniejsze ich zróżnicowanie tym mniejsza rzetelnośd. Tymczasem w wypadku testów zorientowanych na kryterium różnice między badanymi mają znaczenie marginalne- liczy się jedynie fakt spełniania założonego kryterium. Technika oszacowywania rzetelności testów zorientowanych na kryterium stworzona przez Lindemana i Merendze a opracowana przez Aikena.

8

Czynniki wpływające na wielkośd współczynnika rzetelności Długośd testu- zwiększenie długości testu prowadzi do zmniejszenia wielkości błędu pomiaru i zwiększenia wariancji wyników prawdziwych Ile razy powinniśmy wydłużyd test powie nam tzw. proroczy wzór Spearmana-Browna ustalający współczynnik krotności testu. Pamiętad trzeba, że kolejne pozycje musza byd równoległe względem starych, a im test dłuższy w tym mniejszym stopniu dodatkowe pozycje zwiększą jego rzetelnośd. Zakres (zmienności) mierzonej cechy- wielkośd rzetelności zależy od wielkości wariancji wyników, tzn. im większa wariancja tym większa rzetelnośd Wzór Magnussona pozwala obliczyd jak zmieni się rzetelnośd testu wraz z zmianą wariancji wyników OCENA RZETELNOŚCI INDYWIDUALNEGO WYNIKU Standardowy błąd pomiaru jest to odchylenie standardowe różnic X-T (wynik otrzymany- wynik prawdziwy). Jest to błąd, który popełniamy gdy przyjmujemy, że wynikiem prawdziwym danej osoby jest średni wynik, jaki uzyskałaby ona w nieskooczenie wielu pomiarach tym samym testem; ma rozkład normalny SEM  S X 1  rtt

SEM- standardowy błąd pomiaru; Sx- odchylenie standardowe ogólnych wyników w teście; rtt- rzetelnośd testu Dla wyniku otrzymanego budujemy przedział ufności, który pozwala na ocenę precyzji wniosków o wyniku prawdziwym osoby badanej. Przedział ufności określa granice, w których ( z określonym prawdopodobieostwem) znajduje się prawdziwy wynik osoby badanej. Podstawowa metoda budowania przedziału ufności polega na odcięciu od wyniku otrzymanego pewnej stałej wartości (otrzymujemy dolną granicę) i dodaniu do niego tej samej wartości ( co ustala górną granicę przedziału). Ta stała wartośd to iloczyn wyniku standaryzowanego z i standardowego błędu pomiaru. o tak właśnie : Druga metoda to obliczenie przedziału ufności dla estymowanego wyniku prawdziwego, który szacujemy wedle tego wzoru:

i tak budujemy przedziały ufności:

Standardowy bład estymacji jest to odchylenie standardowe rozkładu różnic miedzy T* i T`, a więc między estymowaną wartością wyniku prawdziwego i jego wartością rzeczywistą; ma rozkład normalny SEE 

rtt SEM

Decyzja o wyborze szerokości przedziału ufności wiąże się z dwoma wymogami: 1) powinien byd na tyle precyzyjny by można mied zaufanie co do wartości wyniku otrzymanego 2) powinien byd na tyle wąski by nie sprawiał kłopotów interpretacyjnych Im większy przedział ufności tym mniejszy błąd (np. 90% przedział oznacza, że na 100 badao tym samym testem wyniki danej osoby jedynie w 10 przypadkach znalazłyby się poza przedziałem)

9

ale też szerszy (o odleglejszych granicach) przedział, zakres- co może powodowad trudności interpretacyjne i klasyfikacyjne przy dopasowywaniu do znormalizowanej skali (interpretacja przedziałowa) dla potrzeb diagnozy indywidualnej stosuje się 90% przedziały ufności w badaniach naukowych ustala się 95% przedziały ufności Badania międzyosobnicze (np. sprawdzenie czy różnica w wynikach dwóch osób jest rzetelna i pozwala ich różnicowad) Standardowy błąd różnicy jest to odchylenie standardowe wszystkich możliwych różnic miedzy dwoma wynikami SEM X  Y  SEM X2  SEM Y2

szczegółowe wersje tego wzoru pozwalają na porównywanie zarówno wyników z tego samego jak i z różnych testów TEORIA UNIWERSALIZACJI JAKO ODMIANA KLASYCZNEJ TEORII TESTÓW (twórca – Cronbach) W wielu sytuacjach niemożliwe jest otrzymanie dwóch pomiarów (czy to za pomocą powtórnego testowania, czy też dzielenia testu na części). Gdy klasyczna koncepcja błąd pomiaru pozostawia na poziomie ogólnego założenia o jego losowości, teoria uniwersalizacji sprowadza błąd do konkretnej sytuacji i kontekstu testowania, poszukując jego źródeł i powodowanej przez niego wariancji. W miejsce silnego założenia o równoległości testu przyjmuje się założenie słabsze o tzw. losowej równoległości- dwa testy są losowo równoległe gdy można przyjąd, że pozycje tych testów są losowymi próbkami pobranymi z tego samego uniwersum pozycji. Możemy obliczyd tyle współczynników rzetelności ile pytao dotyczących źródeł błędu potrafimy sformułowad. Wariancja wyników testowych Terminem wariancja oznaczamy wielkośd zróżnicowania otrzymanych wyników wokół ich wartości średniej. Wariancja opisuje wielkośd błędu jaki popełniamy traktując średni wynik jako dobre odzwierciedlenie wszystkich wyników indywidualnych – może więc byd miarą popełnianego błędu. Mała wariancja (niewielkie zróżnicowanie wokół średniej) wskazuje że wynik średni dobrze (rzetelnie) odzwierciedla wyniki indywidualne. Duża wariancja wskazuje, że wartości średniej nie można brad za rzetelna miarę wyników indywidualnych. Na podstawie wariancji można wnioskowad o wielkości błędu i rzetelności. Źródła wariancji:  Wewnątrz osoby oceniającej  Między osobami oceniającymi  Brak zgodności wewnętrznej między pozycjami testowymi  Wariancja między osobami badanymi Znajomośd wielkości tych 4 źródeł wariancji...