Notatki metodologiczne · 06
Dlaczego dzisiejsze wyniki pozostają zapieczętowane do jutra
Pulpit na żywo może stać się częścią eksperymentu, który opisuje. Opóźnione agregaty nie pozwalają tłumowi, operatorowi ani decyzji o zatrzymaniu podążać za dzisiejszym szumem.
W skrócie
- Widoczne wyniki pośrednie mogą wpływać na kolejnych uczestników i rekrutację.
- Wielokrotne podglądanie tworzy okazje do zatrzymania na przejściowym maksimum.
- Stała pieczęć UTC opóźnia agregat, nie osobiste ujawnienie uczestnika ani ślad audytowy.
Pulpit może poruszyć wskazówkę
Jeśli dzisiejsza trafność horoskopów wzrośnie, zwolennicy mogą entuzjastycznie udostępniać test, a sceptycy przyjść, by go podważyć. Gdy spadnie, dominować może przeciwna publiczność. Rekrutacja staje się wtedy reakcją na wynik, a jutrzejsza próba nie przychodzi w tych samych warunkach co wczorajsza.
Uczestnicy mogą też zakotwiczać się na tłumie. Informacja, że jeden znak „radzi sobie dobrze”, zmienia uwagę nawet wtedy, gdy dwanaście opisów pozostaje formalnie zaślepionych. Ukrycie bieżących agregatów nie pozwala pomiarowi wysyłać wskazówki z powrotem do mierzonej populacji.
Podglądanie i zatrzymywanie
Wynik waha się wraz z napływem obserwacji. Jeśli operator testuje go po każdym wpisie i zatrzymuje badanie przy pierwszym przekroczeniu zwyczajowego progu, obiecany odsetek wyników fałszywie dodatnich przestaje obowiązywać. Istniało wiele szans zatrzymania, choć raport końcowy może pokazywać tylko tę zwycięską.
Projekty sekwencyjne mogą wielokrotnie zaglądać i zachować poprawność, lecz granice trzeba zaplanować. Te rejestry używają zamiast tego wskazanych progów liczebności. Dzienna pieczęć dodaje barierę operacyjną: nikt nie może zmienić czasu promocji, konserwacji ani zamknięcia w nieformalną reakcję na niedokończony dzień.
Co jest opóźnione — a co nie
Wpis jest punktowany od razu, więc uczestnik może otrzymać obiecane osobiste ujawnienie. Prywatny rekord także powstaje natychmiast. Niedostępny pozostaje agregat zawierający wpisy z bieżącej doby UTC; publiczny endpoint i pulpit pytają widok bazy danych, który je wyklucza.
Po 00:00 UTC zamknięta doba dołącza do publicznych sum i danych do pobrania. Granica jest mechaniczna i taka sama po wyniku dramatycznym oraz nudnym. Opóźnienie nie jest tu ukrywaniem. Jest opublikowaną regułą rozstrzygającą, kiedy obserwacja staje się publikacją.
Źródła
- Psychologia wyników fałszywie dodatnich
Simmons, Nelson & Simonsohn, Psychological Science 22(11), 2011 · Recenzowane naukowo · DOI 10.1177/0956797611417632 · SRC-CF7F6955 - Jak działa prerejestrowana analiza sekwencyjna
Lakens, PsyArXiv, 2014/2018 · Źródło instytucjonalne · DOI 10.31234/osf.io/x4azm · SRC-650AA099 - Rewolucja prerejestracji
Nosek et al., Proceedings of the National Academy of Sciences 115(11), 2018 · Recenzowane naukowo · DOI 10.1073/pnas.1708274114 · SRC-FEBFD2E5