Błąd II rodzaju (β) i moc testu – wzór i przykład

Błąd II rodzaju to nieodrzucenie hipotezy zerowej, która w rzeczywistości jest fałszywa – przeoczenie efektu, który naprawdę istnieje. Jego dopełnieniem jest moc testu (1 − β). Typowe pytanie z pracy dyplomowej: ile osób muszę zbadać, żeby mieć realną szansę wykryć różnicę między grupami?

Kiedy liczyć moc i błąd II rodzaju?

• przed badaniem, żeby zaplanować liczebność próby (analiza mocy a priori) – to najważniejsze zastosowanie;
• gdy wynik jest nieistotny i chcesz uczciwie ocenić, czy badanie w ogóle miało szansę wykryć sensowny efekt;
• gdy recenzent lub promotor pyta, skąd wzięła się liczba osób w Twoim badaniu.

Moc zależy od czterech rzeczy: wielkości efektu (np. d Cohena), liczby osób, poziomu α i tego, czy test jest jedno-, czy dwustronny. Błąd przeciwny, czyli fałszywy alarm, opisuje hasło o błędzie I rodzaju, a samą decyzję – hasło o istotności statystycznej.

Wzór na błąd II rodzaju i moc testu

\(\Delta\)

różnica średnich w populacji, którą chcesz wykryć (np. 2 punkty)

\(\sigma\)

odchylenie standardowe wyników w grupie – z pilotażu lub z literatury; \(\Delta/\sigma\) to d Cohena

\(n\)

liczba osób w każdej z dwóch grup

\(\delta\)

o ile błędów standardowych przesuwa się wynik testu, gdy H1 jest prawdziwa

\(\Phi\)

pole pod krzywą rozkładu normalnego na lewo od danej wartości (z tablic lub programu)

\(z_{1-\alpha/2},\ z_{1-\beta}\)

1,96 dla α = 0,05 (test dwustronny) i 0,84 dla mocy 0,80

Przykład krok po kroku

Planujesz porównać studentów uczących się z notatek i z quizów, po 8 osób w grupie. Zakładasz, że quizy dają średnio o 2 punkty więcej, a odchylenie standardowe w grupach wynosi 2 punkty (d = 1). Przyjmujesz α = 0,05 i test dwustronny.

1. Błąd standardowy różnicy. Przy 8 osobach w grupie: 2 · √0,25 = 1 punkt.
2. Przesunięcie. Jeśli quizy naprawdę dają 2 punkty więcej, wynik testu z krąży wokół δ = 2 / 1 = 2, a nie wokół zera.
3. Błąd II rodzaju. Przeoczysz efekt, gdy z wpadnie między −1,96 a 1,96: β = Φ(−0,04) − Φ(−3,96) = 0,484.
4. Moc. 1 − 0,484 = 0,516 – szansa wykrycia efektu jak w rzucie monetą. Intuicja: gdy różnica wyjdzie dokładnie 2 punkty, z = 2,00 i p = 0,046, czyli tuż pod progiem. Mniej więcej połowa badań da mniejszą różnicę.
5. Liczebność. Dla mocy 0,80 potrzeba 2 · (1,96 + 0,84)² = 15,68, czyli 16 osób w grupie. Kontrola: przy n = 16 δ = 2,83, a moc = 0,81.
6. Dokładniej. Wzór z traktuje σ jak znane. Funkcja power.t.test() dla testu t daje moc 0,46 przy 8 osobach i 16,7, czyli 17 osób w grupie dla mocy 0,80.

Jak zinterpretować i opisać wynik?

Za minimum uznaje się zwykle moc 0,80, czyli β = 0,20 (Cohen, 1988). Analizę mocy rób przed badaniem i opisz ją w rozdziale metodologicznym: jaką wielkość efektu założyłeś i skąd ją wziąłeś. Nie licz „mocy obserwowanej” po badaniu z uzyskanego efektu – to tylko inaczej zapisana wartość p i nic nie dodaje (Hoenig i Heisey, 2001). Przy nieistotnym wyniku lepiej podaj przedział ufności dla różnicy.

Jak policzyć moc testu w R?

# Plan badania: Notatki vs Quizy, oczekiwana różnica 2 pkt, SD = 2 (d = 1), 8 osób w grupie
roznica <- 2; sigma <- 2; n <- 8; alfa <- 0.05

# 1) „ręcznie” – przybliżenie rozkładem normalnym, jak we wzorze
se   <- sigma * sqrt(2 / n)                 # błąd standardowy różnicy: 1
prz  <- roznica / se                        # przesunięcie delta: 2
z_kr <- qnorm(1 - alfa / 2)                 # 1.96
beta <- pnorm(z_kr - prz) - pnorm(-z_kr - prz)
c(beta = beta, moc = 1 - beta)
2 * (1.96 + 0.84)^2 * sigma^2 / roznica^2   # n na grupę dla mocy 0.80

# 2) dokładniej dla testu t – funkcja z base R
power.t.test(n = 8, delta = 2, sd = 2)$power
power.t.test(power = 0.80, delta = 2, sd = 2)$n

# 3) ile osób w grupie dla małego, średniego i dużego efektu (moc 0.80)
ceiling(sapply(c(0.2, 0.5, 0.8), function(d) power.t.test(power = 0.80, delta = d)$n))

Wynik w konsoli R:

     beta       moc 
0.4839947 0.5160053 
[1] 15.68
[1] 0.4611759
[1] 16.71477
[1] 394  64  26

Ile osób potrzebuję do badania?

To zależy przede wszystkim od tego, jak dużego efektu się spodziewasz. Dla testu t dwóch grup, α = 0,05 i mocy 0,80 potrzeba w każdej grupie: 394 osoby przy małym efekcie (d = 0,2), 64 przy średnim (d = 0,5) i 26 przy dużym (d = 0,8) – ostatnia linia kodu powyżej. Wielkość efektu weź z pilotażu albo z podobnych badań, a nie „z sufitu”. Do wyniku dolicz osoby, które mogą nie dokończyć badania.

Najczęstsze błędy

• Pisanie „efektu nie ma”, gdy wynik jest nieistotny przy małej próbie – to może być właśnie błąd II rodzaju.
• Liczenie mocy po badaniu z zaobserwowanego efektu.
• Zakładanie w analizie mocy zbyt dużego efektu, żeby wyszła mała, „wygodna” próba.
• Mylenie β z α oraz mocy z prawdopodobieństwem, że H1 jest prawdziwa.
• Planowanie próby wzorem z przy małych grupach – dokładny rachunek dla testu t wymaga zwykle kilku osób więcej.