Jak to działa
Metody
Całą stronę niosą dwa nawyki: plan analizy eksperymentu powstaje zanim istnieją jego dane, a twierdzenie historyczne nigdy nie podróżuje bez etykiety dowodowej.
Jak prowadzimy eksperymenty
- Prerejestracja
- Hipoteza, statystyka testowa, poziom istotności i harmonogram odczytów są zgłoszone publicznie przed otwarciem zbierania danych. Nie można ich edytować przy otwartym rejestrze — jedynie dopisywać, z zapisem zmiany.
- Nazwany poziom przypadku
- Każdy eksperyment podaje, co daje czysty los. Bez tej liczby wynik nic nie znaczy — i to ją każdy wykres rysuje jako pierwszą.
- Odczyty na kamieniach milowych
- Wnioski wyciągamy wyłącznie przy z góry ustalonych liczebnościach próby. Podglądanie sumy aż zrobi się ciekawa i zatrzymanie się w tym miejscu to sposób na opublikowanie szumu.
- Poprawka na wielokrotność
- Wykonaj dwanaście porównań przy zwykłym progu, a mniej więcej jedno wyda się niezwykłe wyłącznie przez przypadek. Tam, gdzie testujemy wiele grup, stosujemy poprawkę i pokazujemy wynik surowy oraz skorygowany.
- Zapieczętowane wpisy
- Zgłoszenia z bieżącego dnia pozostają ukryte do zamknięcia okna, żeby żaden uczestnik nie sugerował się tłumem.
- Otwarte rejestry
- Zanonimizowane dane surowe i kod analizy publikujemy i odświeżamy w tym samym rytmie co pulpity. Sprawdźcie nasze rachunki.
Jak etykietujemy twierdzenia historyczne
Każde powiązanie narysowane w linii rozwojowej nosi jedną z sześciu etykiet. To etykieta prowadzi spór, dzięki czemu proza może pozostać spokojna — i dzięki czemu przekaz udokumentowany nie pożycza autorytetu twierdzeniu spornemu.
Wpływ udokumentowanyLinia dająca się prześledzić — teksty, aparatura lub ludzie dowodnie przenieśli praktykę dalej.
Wspólna technikaTa sama metoda po obu stronach podziału; przekaz prawdopodobny, ale nie w pełni udokumentowany.
Współistnienie historyczneTe same pomieszczenia, te same dekady; wpływ nieudowodniony.
Późniejsza reinterpretacjaWspółczesne znaczenie rzutowane wstecz na dawną praktykę.
SpornePoważni badacze się nie zgadzają. Pokazujemy obie interpretacje.
Mit popularnyPowszechnie powtarzane; sprzeczne ze źródłami.
Co próba może, a czego nie może zobaczyć
Liczebność próby wyznacza najmniejszy realny efekt, jaki eksperyment mógłby dostrzec. Poniższe wartości policzono dla ślepego testu horoskopowego wobec poziomu przypadku 8,33%, przy mocy 80% — to nie są ilustracje.
Najmniejszy wykrywalny odsetek trafień wedle liczebności próbyp₀ = 8.33%
| Liczebność próby | Najmniejszy wykrywalny odsetek | Przewaga nad przypadkiem |
|---|---|---|
| 500 | 11.8% | +3.5% |
| 1000 | 10.8% | +2.4% |
| 2500 | 9.9% | +1.5% |
| 5000 | 9.4% | +1.1% |
| 10 000 | 9.1% | +0.8% |
| 25 000 | 8.8% | +0.5% |