Ktoś musi mieć szczęście

Dziesięć poprawnych odgadnięć kart Zenera z rzędu ma dla konkretnej osoby zaczynającej w konkretnej próbie prawdopodobieństwo jeden do 5¹⁰, czyli jeden do 9 765 625. Brzmi zdumiewająco. Jeśli miliony ludzi dostaną powtarzane szanse, prawdopodobieństwo, że ktoś uzyska taką serię, może stać się znaczne.

Ta sama zmiana mianownika pojawia się przy oglądaniu dwunastu znaków, dwudziestu dwóch kart tarota, kilku wyników i wielu dat. Wyniku wybranego dlatego, że jest skrajny, nie wolno oceniać tak, jakby był jedynym wynikiem planowanym do sprawdzenia.

Przy progu pięciu procent jeden poprawny test prawdziwej hipotezy zerowej ma pięć procent szans na przekroczenie linii. Dwadzieścia niezależnych testów zerowych daje około 64 procent szans, że przynajmniej jeden ją przekroczy. Testy w realnych danych bywają skorelowane, więc liczba nie jest uniwersalna, lecz kierunek pozostaje ten sam: więcej okazji tworzy więcej przypadkowych sensacji.

Rodzinę trzeba zdefiniować według pytania. Jeśli artykuł twierdzi, że dowolny znak zachowuje się inaczej, wszystkie dwanaście porównań znaków należy do jednej rodziny. Jeśli przed zbiorem wskazano cztery kontrasty tarota, one tworzą rodzinę potwierdzającą; pozostałe karty nadal można opisać eksploracyjnie.

Procedura Holma porządkuje wartości p od najmniejszej do największej i wymaga od najmniejszej przekroczenia najsurowszego progu. Jeśli się uda, następna dostaje nieco łagodniejszy próg i tak dalej. Kontroluje prawdopodobieństwo co najmniej jednego fałszywego odrzucenia w rodzinie bez założenia, że wszystkie testy są niezależne.

Korekta nie jest karą za patrzenie. Jest regułą rozliczenia liczby twierdzeń, które mogły wygrać na tym samym materiale. Nadal publikujemy surowe oszacowania i przedziały, bo skorygowana decyzja nie mówi, czy efekt jest duży, precyzyjny albo użyteczny.