Eksperyment I · Otwarty

Ślepy test horoskopowy

Każdego ranka wschodzi dwanaście horoskopów z zatartymi znakami. Jeśli gwiazdy wpisują w nie cokolwiek osobistego, czytelnicy powinni odnajdywać swój częściej niż w jednym przypadku na dwanaście.

EXP-001 · STATUS: Zbieranie danych · v1.3

Otwieranie rejestru…

Zbieramy dane — brak opublikowanych liczb

Rejestr jest otwarty i wpisy napływają. Nic się tu nie pojawi, dopóki dzień się nie zamknie: każdy wpis pozostaje zapieczętowany do 00:00 UTC, więc pierwsze liczby publikujemy po pierwszej pełnej dobie. To opóźnienie sprawia, że nikt — my również — nie może obserwować, jak wynik się kształtuje, i wybrać momentu zakończenia.

Zakład

Czytelnicy, którym pokazano wszystkie dwanaście horoskopów z danego dnia — bez etykiet i w losowej kolejności — wskażą ten napisany dla ich własnego znaku słonecznego częściej, niż wynikałoby to z przypadku. Przypadek to jeden na dwanaście: 8,33%. Twierdzenie astrologiczne zapowiada więcej; hipoteza zerowa zapowiada dokładnie tyle, na zawsze.

Plan analizy jest ustalony z góry: dwustronny dokładny test dwumianowy wobec p₀ = 1/12 przy α = 0,05, a wnioski wyciągamy wyłącznie przy liczebnościach próby 1000, 5000, 10 000 i 25 000. Ponieważ zgłaszamy to, zanim powstaną jakiekolwiek dane, nie ma miejsca na przesuwanie bramki po fakcie.

Złożony protokół

Pełna prerejestracja to dokument w publicznym repozytorium serwisu. Jego suma SHA-256 jest wypisana poniżej i liczona z samego pliku — możesz go pobrać, policzyć skrót i potwierdzić, że plan opisany na tej stronie to plan, który został złożony. Każda zmiana to commit, który da się przeczytać.

Wersja v1.3EXP-001

SHA-256 84d4a7053997a1994154ce1f6280bfd3021c09b832bcebda3f3329217e6c1b87

Przeczytaj protokół ↗ · Historia zmian ↗

Ryc. I — Jak wygląda przypadekp₀ = 1/12 · 95% · POWER 80%

Obie krzywe policzono z konstrukcji badania, nie zaobserwowano. Wraz ze wzrostem próby pasmo losu zwęża się, a najmniejszy rozróżnialny efekt opada ku linii przypadku — i właśnie dlatego istnieje harmonogram odczytów. Prawdziwy efekt utrzyma swój poziom, podczas gdy pasmo osunie się pod nim.

Liczebność próby

Wykres hipotezy zerowej: 95-procentowe pasmo odsetków trafień zgodnych z przypadkiem zwęża się wraz ze wzrostem próby, a najmniejszy wykrywalny odsetek spada z około 15% przy n=1000 do około 9% przy n=25 000.
Liczebność próby	Pasmo przypadku	Najmniejszy wykrywalny
1,000	6.6% – 10.0%	10.8%
5,000	7.6% – 9.1%	9.4%
10,000	7.8% – 8.9%	9.1%
25,000	8.0% – 8.7%	8.8%

Instrument

Źródło: Dwanaście odczytów dziennie, zamówionych u praktykującej astrolożki lub astrologa, wskazanych z nazwiska i wynagrodzonych za pracę. Ten sam autor przez cały przebieg — zmiana w trakcie po cichu zmieniłaby to, co jest testowane.
Ujawnienie: Autor wie, że odczyty służą do ślepego testu identyfikacji. Mówimy o tym otwarcie, bo działa to na korzyść hipotezy astrologicznej, nie naszej: teksty pisze ktoś, kto ma motywację, by dało się je rozpoznać, więc wynik zerowy w takich warunkach jest mocniejszym wnioskiem.
Zaślepienie: Znaki usuwamy po stronie serwera, a kolejność prezentacji losujemy dla każdego czytelnika, więc pozycja nie niesie żadnej informacji.
Wpis: Jedna obserwacja na uczestnika dziennie, z odsiewem duplikatów po koncie i zahaszowanym adresie IP.
Pieczęć: Wybory z bieżącego dnia pozostają ukryte do 00:00 UTC. Nikt nie powinien widzieć tłumu przed dokonaniem wyboru.
Rejestracja: Złożony przed otwarciem zbierania danych. Hipoteza, test, α i kamienie milowe są zamknięte; zmiany dopisujemy i rejestrujemy, nigdy nie nadpisujemy.
Otwarte rejestry: Zanonimizowane dane surowe i kod analizy będziemy publikować i odświeżać co noc od dnia otwarcia zbierania danych.

Znane sposoby, w jakie to może zwieść

01
Dwanaście znaków to dwanaście porównań. Przy zwykłym progu mniej więcej jeden znak wyda się niezwykły wyłącznie przez przypadek — dlatego wyniki dla poszczególnych znaków będą opatrzone poprawką na wielokrotność, a wartości surowe pokażemy obok nich, zamiast po cichu je porzucać.
02
Jeden dobrze napisany odczyt zwykle przyciąga wskazania wszystkich, niezależnie od znaku. To efekt Barnuma objawiający się jako faworyt tłumu; mierzymy go osobno, zamiast brać za sygnał.
03
Deklarowane znaki słoneczne są nieweryfikowane. Błędne deklaracje dodają szumu, co przechyla badanie ku niewykryciu niczego — warto to powiedzieć wprost, bo oznacza, że wynik zerowy jest słabszym z dwóch możliwych wniosków.
04
Czytelnicy przychodzący ze społeczności astrologicznych i ci ze społeczności sceptycznych różnią się w sposób, którego nie kontrolujemy. Źródło wejścia jest zapisywane, żeby ten podział dało się zbadać, a nie założyć, że go nie ma.

Co próba może, a czego nie może zobaczyć

Najmniejszy wykrywalny odsetek trafień wedle liczebności próbyp₀ = 8.33% · 80% POWER

Liczebność próby	Najmniejszy wykrywalny odsetek	Przewaga nad przypadkiem
1000	10.8%	+2.4%
5000	9.4%	+1.1%
10 000	9.1%	+0.8%
25 000	8.8%	+0.5%

Liczebność próby wyznacza najmniejszy realny efekt, jaki eksperyment mógłby dostrzec. Poniższe wartości policzono dla ślepego testu horoskopowego wobec poziomu przypadku 8,33%, przy mocy 80% — to nie są ilustracje. — n ≈ 2271 for a true rate of 10%.