Forschung in der Physik, der Biologie oder anderen Naturwissenschaften deckt Regelmäßigkeiten auf, die uns helfen, die Welt um uns herum besser verstehen zu können. Wie verhält es sich aber in den Sozialwissenschaften, die sich mit individuellem oder kollektivem menschlichem Verhalten beschäftigen? Können auch hier kontextübergreifende Gesetzmäßigkeiten ermittelt werden? Gerade in der Psychologie, den Wirtschaftswissenschaften, dem Management und verwandten Bereichen ist dies nach wie vor umstritten.
Ein internationales Team von Wissenschaftler*innen, darunter Anna Dreber, die am Institut für Wirtschaftstheorie, -politik und -geschichte der Universität Innsbruck und an der Stockholm School of Economics arbeitet, konnte in einer kürzlich in PNAS erschienene Studie zeigen, dass eine Generalisierbarkeit auch in der sozialwissenschaftlichen Forschung möglich – und vorhersehbar – ist. Der wichtigste Indikator dafür ist, ob sich eine Studie reproduzieren lässt.
Archivdaten zum ersten Mal untersucht
Während die Verallgemeinerbarkeit von sozialwissenschaftlichen Laborexperimenten bereits erforscht wird, hat ein Team von Wissenschaftler*innen unter der Leitung von Andrew Delios (National University of Singapore), Elena Clemente (Stockholm School of Economics), Tao Wu (The Chinese University of Hong Kong) und Eric Uhlmann (INSEAD) nun erstmals untersucht, ob sich auch Studienergebnisse verallgemeinern lassen, deren statistische Analysen auf komplexen Datensätzen basieren.
„Aus experimentellen Studien wissen wir bereits, dass Laboreffekte entweder generell für viele Stichproben gelten, unabhängig von unterschiedlichen geografischen Regionen oder Zeiträumen, oder sie sich nicht durchgängig reproduzieren lassen“, sagt Anna Dreber. Bisher war jedoch unbekannt, ob dies auch für komplexe Archivdatensätze mit vielen Variablen und Beobachtungen gilt, wie sie in zahlreichen wissenschaftlichen Bereichen verwendet werden.
In der aktuellen Studie untersuchten die Wissenschaftler*innen systematisch, ob Ergebnisse aus dem Bereich des strategischen Managements auch dann auftreten, wenn andere zeitliche oder geografische Ausschnitte der verwendeten Datensätze mit dem gleichen methodischen Ansatz analysiert werden. „Wir konnten zeigen, dass ursprüngliche Ergebnisse, die statistisch zuverlässig waren, in der Regel auch in neuen Analysen auftreten. Dies deutet auf eine erstaunlich geringe Kontextabhängigkeit hin. Ergebnisse, die sich auf einen bestimmten Zeitraum oder eine bestimmte Region beziehen, können somit auch einen aussagekräftigen Hinweis auf allgemeine Beobachtungen in den Sozialwissenschaften geben“, erklärt Andrew Delois. Dies ist eine wichtige Erkenntnis nicht nur für zahlreiche wissenschaftliche Bereiche, sondern auch für Praktiker*innen, die sich bei wichtigen strategischen Entscheidungen auf solche Analyseergebnisse verlassen.
Reproduzierbarkeit als Indikator
Die Forscher*innen wiederholten die statistischen Analysen von insgesamt 29 Studien und wandten sie auf 52 neue Zeiträume oder Regionen an. Alle 29 Studien basierten auf demselben Datensatz über ausländische Direktinvestitionen japanischer Unternehmen, der von einem einzigen Autor aus verschiedenen Quellen zusammengestellt und dann von zahlreichen Wissenschaftler*innen für verschiedene Studien verwendet wurde.
Die Ergebnisse zeigen, dass 45 Prozent der Analysen, die von den Forschenden unter Verwendung derselben Methodik wie in der ursprünglichen Studie durchgeführt wurden, auch zu dem gleichen Ergebnis führten. Wurden Daten neuer zeitlicher oder regionaler Kontexte analysiert, stimmten die Ergebnisse ebenfalls in 55 Prozent der Fälle mit der Originalstudie überein. Der wichtigste Indikator für die Verallgemeinerbarkeit von Studienergebnissen ist jedoch, ob sie direkt reproduziert werden können. „Wenn die Wiederholung der Analyse einer Studie die gleichen Ergebnisse wie die ursprüngliche Studie ergab, dann waren ihre Erkenntnisse in 84 bzw. 57 Prozent der Fälle auch auf andere Zeiträume und Regionen übertragbar“, so Anna Dreber.
Darüber hinaus führte das Team eine Vorhersageerhebung durch, bei der es unabhängige Wissenschaftler*innen bat, vorherzusagen, welche Effekte sich bei Analysen in neuen Stichproben bestätigen würden. Diese unabhängigen Wissenschaftler*innen waren weitgehend in der Lage zu prognostizieren, welche Ergebnisse sich verallgemeinern würden.
Weitere Forschung erforderlich
Die Forscher*innen sehen ihre Initiative nur als den Anfang vieler weiterer metawissenschaftlicher Untersuchungen, um das Verständnis für die Verallgemeinerbarkeit sozialwissenschaftlicher Forschungsergebnisse weiter zu verbessern. „Es gibt noch viel zu tun. Wir müssen untersuchen, welche Archivanalysen aus verschiedenen Bereichen auch in anderen Zeiträumen, Populationen und geografischen Gebieten repliziert werden können und ob Wissenschaftler*innen diese Ergebnisse vorhersagen können. In den letzten Jahren lag der Schwerpunkt der Replikationsstudien vor allem auf Verhaltensexperimenten im Labor. Es werden jedoch auch Studien zur Forschung mit Beobachtungs- und Archivdaten in Management, Soziologie, Wirtschaft und anderen Bereichen benötigt“, betont Dreber.
Gute Beispiele sind das Projekt Systematizing Confidence in Open Research and Evidence und das neu gegründete Institute for Replication, das sich auf die Wirtschafts- und Politikwissenschaften konzentriert.
Examining the generalizability of research findings from archival data: Delios, A., Clemente, E., Wu, T. et al. Examining the generalizability of research findings from archival data. PNAS 119 (30) e2120377119 (2022). https://doi.org/10.1073/pnas.2120377119