Nur wenn Forschungsstudien wiederholt die gleichen Ergebnisse liefern, gelten diese auch als wissenschaftlich gesichert. In den vergangenen Jahren kam die Wissenschaft zur ernüchternden Erkenntnis, dass die Ergebnisse vieler experimenteller Studien zum Beispiel in der Krebsforschung oder in der experimentellen Psychologie nicht oder nicht in gleicher Stärke wiederholbar sind. Das hat viele Disziplinen zur Reflexion und Suche nach neuen Qualitätskriterien für Studien bewogen. Für die experimentelle Wirtschaftsforschung hat nun ein internationales Team von Forschern des California Institute of Technology, der Stockholm School of Economics, der National University of Singapore und der Universität Innsbruck erstmals die Qualität von Studien ihres eigenen Fachs eingehend überprüft. Dazu wurden 18 experimentelle Verhaltensstudien untersucht, die zwischen 2011 und 2014 in den hoch angesehenen Fachzeitschriften American Economic Review und Quarterly Journal of Economics veröffentlicht wurden.
Großteil der Studienergebnisse reproduzierbar
Die Forscher wählten dazu die zentrale Fragestellung jeder Arbeit aus und stellten die entsprechenden Experimente mit Studierenden im Labor in identischer Weise nach. „Dabei haben wir teilweise deutlich mehr Probanden als in den Originalstudien getestet, um statistisch gut abgesicherte Ergebnisse zu erzielen“, sagt Michael Kirchler vom Institut für Banken und Finanzen. „Für 11 Studien fanden wir einen signifikanten Effekt in die gleiche Richtung wie in den Originalstudien, 3 weitere Studien verfehlten dieses Ziel nur knapp“, sagt Michael Kirchler. „Je nach angelegtem Kriterium können wir sagen, dass die ursprünglichen Ergebnisse der untersuchten Laborstudien zu 61 bis 78 Prozent reproduzierbar sind. Verglichen mit jüngeren Studien aus anderen Disziplinen ist dieses Ergebnis erstaunlich hoch.“ Die Forscher untersuchten auch, ob statistische Qualitätskriterien einen Hinweis darauf geben, welche Studien reproduzierbar sind und welche nicht. Michael Kirchler resümiert: „Studien mit einer großen Anzahl an Probanden und hoch signifikanten Ergebnissen sind deutlich reproduzierbarer als Studien, die diese Kriterien nicht erfüllen.“
Die Wissenschaftler befragten im Vorfeld auch rund 100 zufällig ausgewählte Vertreterinnen und Vertreter ihrer Disziplin zu deren Einschätzung über die Replizierbarkeit der 18 untersuchten Studien und gaben ihnen auch die Möglichkeit auf einem Online-Prognosemarkt damit zu handeln. Sowohl die Umfrage als auch die Marktpreise der einzelnen Studien ergaben ein Ergebnis, das die Ergebnisse der Reproduktionsstudie gut wiederspiegelt: Mit 75 Prozent Reproduzierbarkeit waren die Wissenschaftler nur unwesentlich optimistischer.
Verhaltensökonomie setzte von Anbeginn auf Transparenz
Was macht nun die Ergebnisse experimenteller Wirtschaftsstudien so gut reproduzierbar? „Zwei methodische Aspekte tragen dazu bei“, sagt Michael Kirchler. „Erstens werden die Teilnehmerinnen und Teilnehmern unserer Studien generell mit substantiellen finanziellen Anreizen motiviert und handeln entsprechend verantwortungsvoll. Und zweitens werden in der experimentellen Wirtschaftsforschung neben den Ergebnissen in der Regel auch die Instruktionen eines Experiments, Software für die Durchführung des Experiments sowie die Datenverarbeitung und oft sogar die Originaldaten veröffentlicht. Das schafft hohe Transparenz und erleichtert die Reproduktion der Ergebnisse.“ Deshalb fordern die Autoren in der am 3. März 2016 von der Fachzeitschrift Science online veröffentlichten Studien ihre Fachkollegen auch dazu auf, bereits beim Design und der Dokumentation von Studien auf die mögliche Reproduzierbarkeit der Studien Rücksicht zu nehmen.
Innsbruck: Starke experimentelle Wirtschaftsforschung
Dass die Innsbrucker Wirtschaftsforscher federführend an dieser Studie beteiligt waren, unterstreicht ihr internationales Renommee. An der Universität Innsbruck ist es in den vergangenen Jahren gelungen, eine ganze Reihe von erfolgreich forschenden, experimentellen Arbeitsgruppen im Bereich der Wirtschaftswissenschaften zu etablieren. Mit dem Innsbruck EconLab wurde eine Forschungsinfrastruktur aufgebaut, über die zwischen 3.000 und 4.000 Studienteilnehmer laufend für Experimente zur Verfügung stehen.
Finanziell unterstützt wurden die an der Studie beteiligten Innsbrucker Forscher Felix Holzmeister, Jürgen Huber, Michael Kirchler und Michael Razen unter anderem vom österreichischen Wissenschaftsfonds FWF (START-Preis) und der österreichischen Nationalbank.
Links
- Evaluating Replicability of Laboratory Experiments in Economics. Colin F. Camerer, Anna Dreber, Eskil Forsell, Teck-Hua Ho, Jürgen Huber, Magnus Johannesson, Michael Kirchler, Johan Almenberg, Adam Altmejd, Taizan Chan, Emma Heikensten, Felix Holzmeister, Taisuke Imai, Siri Isaksson, Gideon Nave, Thomas Pfeiffer, Michael Razen, Hang Wu. Science 2016
- Innsbruck EconLab
- Institut für Banken und Finanzen