Czemu zapobiega prerejestracja — i czemu zapobiec nie może

Większość zbiorów danych dopuszcza więcej niż jedną rozsądną analizę. Badacz może wykluczyć niewygodną grupę, wybrać inny wynik, zatrzymać zbieranie po obiecującym tygodniu albo zauważyć wzór, którego nikt nie przewidział. Każda decyzja z osobna może brzmieć rozsądnie. Niebezpieczeństwo pojawia się wtedy, gdy wybory zapadają po zobaczeniu ich skutków, a opisuje się tylko ścieżkę zakończoną sukcesem.

Prerejestracja zapisuje pytanie, wynik, wykluczenia, regułę zatrzymania, test statystyczny i próg decyzji, zanim odpowiedzi staną się znane. Późniejsza eksploracja nadal jest dozwolona. Musi tylko występować pod własną nazwą, żeby czytelnik odróżnił test od odkrycia wymagającego nowego testu.

Zablokowany plan może wiernie zachować zły plan. Próba może być za mała, wynik może nie odpowiadać twierdzeniu, uczestnicy mogą odgadnąć odpowiedź, a model może zakładać niezależność tam, gdzie jej nie ma. Prerejestracja ujawnia te decyzje wcześnie; nie czyni ich mądrymi.

Sam znacznik czasu nie dowodzi też, że procedury przestrzegano. Potrzebny jest raport wyników wymieniający odstępstwa, otwarte dane możliwe do sprawdzenia i kod analizy odtwarzający opublikowane liczby. Protokół jest jednym elementem śladu audytowego, nie całym śladem.

Każdy tutejszy rejestr ma wersjonowany protokół w publicznym repozytorium. Strona drukuje skrót SHA-256 tego pliku. Przy otwarciu zbierania skrót zostaje zamrożony wraz z godziną otwarcia; późniejszą poprawkę dopisuje się z datą zamiast po cichu zastępować złożony tekst.

Reguła zatrzymania jest równie ważna jak hipoteza. Wyniki interpretuje się tylko przy progach liczebności wskazanych z góry, a spokojny lub dramatyczny wynik pośredni nie może stworzyć nowej mety. Dlatego strona protokołu może wyglądać mało efektownie: przed zbiorem brak wyniku dowodzi, że kolejność działań pozostała nienaruszona.