Studien widersprechen sich vor allem, weil sie Verschiedenes untersuchen oder weil der Zufall mitspielt. Ein scheinbarer Streit muss daher nicht heißen, dass eine Seite falsch gearbeitet hat.
Selbst bei einem echten Effekt ist Uneinigkeit eingeplant
Angenommen, eine Studie ist so geplant, dass sie einen tatsächlich vorhandenen Effekt mit 80 Prozent Wahrscheinlichkeit findet. Untersuchen zwei solche Studien denselben echten Effekt, gilt:
| Ausgang | Rechnung | Wahrscheinlichkeit |
|---|---|---|
| Beide finden ihn | 0,8 × 0,8 | 64 % |
| Eine findet ihn, eine nicht | 2 × 0,8 × 0,2 | 32 % |
| Keine findet ihn | 0,2 × 0,2 | 4 % |
Fast jedes dritte Paar endet also mit „Studie A belegt, Studie B widerlegt“, obwohl beide sauber gearbeitet haben und der Effekt existiert. Nicht signifikant heißt eben nicht „kein Effekt“.
Oft wird gar nicht dieselbe Frage untersucht
Cochrane Deutschland berichtete 2021 über einen Vergleich zu Ernährung und Gesundheit: 97 Fragestellungen wurden in randomisierten Studien und in Kohortenstudien gegenübergestellt. Insgesamt stimmten beide Studienarten weitgehend überein. Größere Abweichungen ließen sich meist auf unterschiedliche Fragen zurückführen. Besonders deutlich war das bei Vitamin D: Randomisierte Studien prüften die Einnahme von Präparaten, Kohortenstudien maßen meist den Vitaminstatus im Blut. Das klingt nach demselben Thema, ist aber nicht dieselbe Frage. Ein niedriger Blutwert kann zum Beispiel auch daher kommen, dass jemand krank ist und selten nach draußen geht.
Fünf häufige Gründe im Überblick
- Andere Menschen: Ein Mittel kann bei Älteren wirken und bei Jüngeren nicht. Beide Befunde stimmen.
- Andere Messung: „Ernährung“ kann Fragebogen, Bluttest oder kontrollierte Kost bedeuten.
- Andere Methode: In Beobachtungsstudien können Störgrößen mitwirken, etwa wenn Kaffeetrinker häufiger rauchen. Randomisierung soll das verhindern.
- Zufall und kleine Gruppen: Kleine Studien streuen stark, und ihre Ergebnisse springen eher.
- Auswahl dessen, was erscheint: Ergebnisse mit signifikantem Befund werden eher gedruckt. Die Amerikanische Statistikgesellschaft nennt das den Schubladeneffekt.
Der häufige Irrtum: Widersprüche zeigen, dass Wissenschaft nichts taugt
Wiederholung ist gerade der Weg, Irrtümer zu finden. Ein bekanntes Projekt wiederholte 2015 genau 100 Arbeiten aus drei psychologischen Fachzeitschriften. Bei den Originalen hatten 97 Prozent ein signifikantes Ergebnis gemeldet, bei den Wiederholungen 36 Prozent. Die Effekte waren im Mittel nur halb so groß. Das heißt nicht, dass zwei Drittel falsch waren, denn auch eine Wiederholung kann einen echten Effekt verfehlen. Es zeigt aber, dass einzelne auffällige Erstbefunde oft zu optimistisch sind.
Eine einzelne Studie sollte selten das letzte Wort sein
Ernsthafte Einordnung beruht deshalb auf vielen Studien zusammen. In Übersichtsarbeiten fassen Forschende vorhandene Ergebnisse systematisch zusammen, wie das Deutsche Ärzteblatt beschreibt. Auch das ist nicht fehlerfrei, denn eine Zusammenfassung übernimmt die Schwächen ihrer Teile. Für Leser gilt aber: Eine Meldung „Neue Studie widerlegt …“ ist ein Anlass nachzusehen, welche Methode verwendet und welche Gruppe untersucht wurde. Sie macht frühere Ergebnisse nicht automatisch hinfällig.
Quellen
- Cochrane Deutschland, 15. September 2021: Vergleich randomisierter Studien und Kohortenstudien, 97 Fragestellungen, Vitamin D
- Open Science Collaboration, Science 349 (2015), Zusammenfassung: 100 Wiederholungen, 97 und 36 Prozent, halbe Effektgröße
- American Statistical Association, 7. März 2016: Grundsätze zum p-Wert, Schubladeneffekt
- Hammer, du Prel, Blettner, Dtsch Arztebl Int 2009: Störgrößen, Beispiel Kaffee und Rauchen
- Röhrig u. a., Dtsch Arztebl Int 2009: Reviews und Metaanalysen als Sekundärforschung
Stand: November 2026. Dieser Beitrag dient der allgemeinen Information und ersetzt keine Rechts-, Steuer-, Finanz- oder Rentenberatung im Einzelfall. Trotz sorgfältiger Prüfung übernehmen wir keine Gewähr für Richtigkeit, Vollständigkeit und Aktualität.