Experiment s experimenty

Psychologie si jako vědy vážím a nechtělo se mi věřit, že by badatelé výsledky některého z výzkumů v honbě za kariérou či neuvěřitelným objevem zfalšovali. Ani v psychologii se ale věci vždy nedějí tak, jak by měly. Neplatnost testů ovšem nemusí být způsobena jen úmyslným zkreslením, ale i mechanismy jako publikační předpojatost (angl. publication bias nebo file drawer effect).

Pravda, ale ne celá

Publikační předpojatost je situace, kdy autor výzkumu bez ohledu na počet neúspěšných experimentů publikuje pouze pozitivní výsledek, zpravidla v důsledku nezodpovědnosti či neznalosti metodiky. Experiment může být neplatný také čistě neúmyslným a nevědomým ovlivněním ze strany autora.

Skupina výzkumníků v čele s doktorem Brianem Noskem se proto v rámci Open Science Framework rozhodla spustit Reproducibility project, v jehož rámci chtějí zopakovat všechny experimenty uvěřejněné roku 2008 v Psychological Science, Journal of Personality and Social Psychology a Journal of Experimental Psychology: Learning, Memory and Cognition, tedy ve třech z nejvýznamnějších periodik zabývajících se experimentální psychologií.

Opakování experimentů vyžaduje hodně času, v kariéře vás to moc neposune, a navíc… kamarády si tím zrovna neuděláte.

Jelikož navodit zcela přesné podmínky experimentu není vždy možné a lidé opakující pokus mohou také chybovat, nejde v projektu o jasné označení neplatných experimentů, ale pouze těch, které nelze zopakovat. To, že experiment nelze zopakovat, ještě nutně neznamená, že je neplatný, ale opakovatelnost experimentu je jedním z klíčových faktorů.

Opakování experimentů obecně není příliš rozšířená činnost, a to hned z několika důvodů. V prvé řadě to vyžaduje hodně času a v kariéře vás to moc neposune. V řadě druhé je velmi obtížné (místy až nemožné) takové opakování publikovat, a navíc… kamarády si tím zrovna neuděláte. I těchto rizik si je Nosek vědom, ale jeho úsilí je podporováno i souběžně běžícími stránkami PsychFileDrawer.

Projekt by měl odstartovat letos na podzim a podle Noseka by měly být všechny experimenty ze zmíněných periodik zopakované do jara příštího roku. Osobně doufám, že projekty jako jsou tyto přispějí k celkové kvalitě výzkumu a nebudou se opakovat incidenty podobné případu Diederika Stapela.

Předpojatost není to nejhorší

Diederik Stapel je holandský sociální psycholog, který zfalšoval desítky výzkumů. Závěry jeho prací – i prací jeho nicnetušících kolegů – vycházely ze smyšlených dat, ke kterým Stapel nikomu neumožnil přístup. Podvržená byla nejen data, ale mnohdy například i jména asistentů.

Přesto trvalo několik let, než byly Stapelovy podvody odhaleny. Veškeré konání, které by ho mohlo prozradit – jako kontrola dat či kontaktování škol, na kterých údajně jeho výzkumy probíhaly – svým spolupracovníkům totiž pod různými záminkami zakazoval, či je od nich na základě své autority a uměle vyvolaného pocitu exkluzivity práce s ním odrazoval. Na jeho praktiky se přišlo až ve chvíli, kdy šest jeho asistentů přišlo s podezřením za vedoucím katedry.