Eksperyment I · protokół

Ślepy test horoskopowy

Każdego ranka wschodzi dwanaście horoskopów z zatartymi znakami. Jeśli gwiazdy wpisują w nie cokolwiek osobistego, czytelnicy powinni odnajdywać swój częściej niż w jednym przypadku na dwanaście.

EXP-001 · STATUS: Protokół opublikowany · zbieranie danych jeszcze nieotwarte · v1.2

To protokół, nie wynik

Zbieranie danych jeszcze się nie zaczęło, więc na tej stronie nie ma danych ani licznika do obserwowania. Publikujemy tu plan — złożony z wyprzedzeniem właśnie po to, by nie dało się go poprawić, gdy zaczną spływać wyniki. Wykresy poniżej opisują hipotezę zerową, policzoną z samej konstrukcji badania.

Zakład

Czytelnicy, którym pokazano wszystkie dwanaście horoskopów z danego dnia — bez etykiet i w losowej kolejności — wskażą ten napisany dla ich własnego znaku słonecznego częściej, niż wynikałoby to z przypadku. Przypadek to jeden na dwanaście: 8,33%. Twierdzenie astrologiczne zapowiada więcej; hipoteza zerowa zapowiada dokładnie tyle, na zawsze.

Plan analizy jest ustalony z góry: dwustronny dokładny test dwumianowy wobec p₀ = 1/12 przy α = 0,05, a wnioski wyciągamy wyłącznie przy liczebnościach próby 1000, 5000, 10 000 i 25 000. Ponieważ zgłaszamy to, zanim powstaną jakiekolwiek dane, nie ma miejsca na przesuwanie bramki po fakcie.

Ryc. I — Jak wygląda przypadekp₀ = 1/12 · 95% · POWER 80%

Obie krzywe policzono z konstrukcji badania, nie zaobserwowano. Wraz ze wzrostem próby pasmo losu zwęża się, a najmniejszy rozróżnialny efekt opada ku linii przypadku — i właśnie dlatego istnieje harmonogram odczytów. Prawdziwy efekt utrzyma swój poziom, podczas gdy pasmo osunie się pod nim.

Liczebność próby

Wykres hipotezy zerowej: 95-procentowe pasmo odsetków trafień zgodnych z przypadkiem zwęża się wraz ze wzrostem próby, a najmniejszy wykrywalny odsetek spada z około 15% przy n=1000 do około 9% przy n=25 000.
Liczebność próby	Pasmo przypadku	Najmniejszy wykrywalny
1,000	6.6% – 10.0%	10.8%
5,000	7.6% – 9.1%	9.4%
10,000	7.8% – 8.9%	9.1%
25,000	8.0% – 8.7%	8.8%

Instrument

Źródło: Jedna ogólnokrajowa rubryka syndykowana, wskazana w protokole. To samo źródło każdego dnia badania — zmiana źródła w trakcie po cichu zmieniłaby to, co jest testowane.
Zaślepienie: Znaki usuwamy po stronie serwera, a kolejność prezentacji losujemy dla każdego czytelnika, więc pozycja nie niesie żadnej informacji.
Wpis: Jedna obserwacja na uczestnika dziennie, z odsiewem duplikatów po koncie i zahaszowanym adresie IP.
Pieczęć: Wybory z bieżącego dnia pozostają ukryte do 00:00 UTC. Nikt nie powinien widzieć tłumu przed dokonaniem wyboru.
Rejestracja: Protokół v1.2, złożony przed otwarciem zbierania danych. Hipoteza, test, α i kamienie milowe są zamknięte; zmiany dopisujemy i rejestrujemy, nigdy nie nadpisujemy.
Otwarte rejestry: Zanonimizowane dane surowe i kod analizy będziemy publikować i odświeżać co noc od dnia otwarcia zbierania danych.

Co zobaczy czytelnik

Dwanaście odczytów z tego samego dnia, bez znaków, w losowej kolejności. Uczestnik wybiera ten, który pasuje do dnia, jaki faktycznie miał — i dopiero potem podaje swój znak słoneczny. Poniższe przykłady pokazują format; to tekst poglądowy, nie losowanie na żywo.

Przykładowy format — nie jest to losowanie na żywo

Rozmowa, którą odkładasz, okazuje się łatwiejsza, niż zakładasz. Poranny rozpęd przeprowadza jedno utknięte zadanie przez linię mety.

Pieniądze proszą o drugie spojrzenie — drobny stały koszt przeżył swoją użyteczność. Dawny znajomy wraca z nietypową prośbą.

Nosisz więcej, niż wynosi twoja część, a dziś ktoś wreszcie to zauważa. Wieczorem przychodzi zaległa dobra wiadomość.

Lista jest krótsza, niż wygląda. Zacznij od pozycji, którą zakreślasz od dni, a reszta ustawi się sama.

Znane sposoby, w jakie to może zwieść

01
Dwanaście znaków to dwanaście porównań. Przy zwykłym progu mniej więcej jeden znak wyda się niezwykły wyłącznie przez przypadek — dlatego wyniki dla poszczególnych znaków będą opatrzone poprawką na wielokrotność, a wartości surowe pokażemy obok nich, zamiast po cichu je porzucać.
02
Jeden dobrze napisany odczyt zwykle przyciąga wskazania wszystkich, niezależnie od znaku. To efekt Barnuma objawiający się jako faworyt tłumu; mierzymy go osobno, zamiast brać za sygnał.
03
Deklarowane znaki słoneczne są nieweryfikowane. Błędne deklaracje dodają szumu, co przechyla badanie ku niewykryciu niczego — warto to powiedzieć wprost, bo oznacza, że wynik zerowy jest słabszym z dwóch możliwych wniosków.
04
Czytelnicy przychodzący ze społeczności astrologicznych i ci ze społeczności sceptycznych różnią się w sposób, którego nie kontrolujemy. Źródło wejścia jest zapisywane, żeby ten podział dało się zbadać, a nie założyć, że go nie ma.

Co próba może, a czego nie może zobaczyć

Najmniejszy wykrywalny odsetek trafień wedle liczebności próbyp₀ = 8.33% · 80% POWER

Liczebność próby	Najmniejszy wykrywalny odsetek	Przewaga nad przypadkiem
1000	10.8%	+2.4%
5000	9.4%	+1.1%
10 000	9.1%	+0.8%
25 000	8.8%	+0.5%

Liczebność próby wyznacza najmniejszy realny efekt, jaki eksperyment mógłby dostrzec. Poniższe wartości policzono dla ślepego testu horoskopowego wobec poziomu przypadku 8,33%, przy mocy 80% — to nie są ilustracje. — n ≈ 2271 for a true rate of 10%.

Obserwuj ten rejestr

Rejestr otworzy się wraz z uruchomieniem warstwy danych. Do tego czasu obowiązuje protokół w opublikowanej postaci.