In einer von einer Gruppe von Sozialwissenschaftler:innen aus der ganzen Welt durchgeführten Studie wurde ein „Entscheidungsmarkt“ getestet – konkret dessen Fähigkeit, vorherzusagen, welche Ergebnisse aus zuvor veröffentlichten sozialwissenschaftlichen Experimenten erfolgreich reproduziert werden können. Der Entscheidungsmarkt konzentrierte sich auf 41 Experimente mit Teilnehmer:innen, die über Amazon Mechanical Turk (MTurk) rekrutiert wurden – eine Online-Plattform, die Forscher mit Menschen zusammenbringt, die bereit sind, gegen Bezahlung Aufgaben zu erledigen. Alle Experimente wurden ursprünglich in den Proceedings of the National Academy of Sciences (PNAS) zwischen 2015 und 2018 veröffentlicht. Am aktuellen Aufsatz war auch Felix Holzmeister vom Institut für Wirtschaftstheorie, -politik und -geschichte der Uni Innsbruck beteiligt.
Kauf und Verkauf
Auf dem Entscheidungsmarkt kauften und verkauften 162 Sozialwissenschaftler:innen Aktien, die die Wahrscheinlichkeit abbilden, dass sich die Ergebnisse einer bestimmten Studie wiederholen würden. Der Markt war so angelegt, dass danach jene Studien, deren Aktien die zwölf höchsten und die zwölf niedrigsten Preise erzielten, für die Replikation ausgewählt wurden. Zwei weitere Studien haben die Forscher:innen nach dem Zufallsprinzip für eine Replikation ausgewählt.
Die Ergebnisse deuten darauf hin, dass der Entscheidungsmarkt erfolgreich zwischen replizierbaren und nicht replizierbaren Ergebnissen unterscheiden konnte. Der Prozentsatz der Studien, die statistisch signifikante Ergebnisse in der gleichen Richtung wie die ursprüngliche Studie erbrachten, betrug 83 % für die Studien in der Top-12-Kategorie. Im Gegensatz dazu konnten nur 33 % der Studien mit den niedrigsten Entscheidungsmarktpreisen erfolgreich repliziert werden. „Unsere Studie liefert einen Proof of Concept dafür, dass Entscheidungsmärkte ein nützliches Instrument sein können, um wahrscheinlich wahre und wahrscheinlich falsche Forschungsergebnisse zu identifizieren“, erklärt Felix Holzmeister.
Insgesamt konnten 54 % der 26 für die Replikation ausgewählten Studien erfolgreich repliziert werden. Die durchschnittliche Effektgröße, die in den Replikationsstudien beobachtet wurde, betrug 45 % der durchschnittlichen ursprünglichen Effektgröße. Diese Gesamtreplikationsrate ist vergleichbar mit derjenigen, die in früheren groß angelegten Versuchen zur Replikation von Ergebnissen sozialwissenschaftlicher Experimente festgestellt wurde. Die Ergebnisse der Studie haben wichtige Auswirkungen auf die Art, wie Wissenschaft betrieben wird, erläutert Holzmeister: „Entscheidungsmärkte oder ähnliche Instrumente, die sich auf die kollektive Weisheit von Wissenschaftler:innen stützen, könnten einen prinzipiellen Mechanismus zur Priorisierung von Forschungsanstrengungen und -ressourcen bieten und letztlich die Effizienz und Zuverlässigkeit des wissenschaftlichen Fortschritts erhöhen.“
Paper:
Felix Holzmeister, Magnus Johannesson, Colin F. Camerer, Yiling Chen, Teck-Hua Ho, Suzanne Hoogeveen, Juergen Huber, Noriko Imai, Taisuke Imai, Lawrence Jin, Michael Kirchler, Alexander Ly, Benjamin Mandl, Dylan Manfredi, Gideon Nave, Brian A. Nosek, Thomas Pfeiffer, Alexandra Sarafoglou, Rene Schwaiger, Eric-Jan Wagenmakers, Viking Waldén, Anna Dreber: Examining the replicability of online experiments selected by a decision market, Nature Human Behaviour 2024, DOI: 10.1038/s41562-024-02062-9, online: https://www.nature.com/articles/s41562-024-02062-9