Beispiel
Die Forschungsgruppe Wahlen nennt für 1.250 Befragte: Bei einem Anteil von 40 Prozent beträgt der Fehlerbereich rund 3 Prozentpunkte, bei 10 Prozent rund 2 Prozentpunkte. Eine Partei mit gemessenen 40 Prozent liegt also vermutlich zwischen 37 und 43 Prozent, eine mit 10 Prozent zwischen 8 und 12 Prozent.
Daraus folgt für eine Schlagzeile wie „Partei A führt mit 40 zu 38“: Bei einem Abstand von 2 Punkten überlappen sich die Bereiche deutlich. Die Umfrage lässt offen, wer wirklich vorn liegt.
Der häufige Irrtum
Die Schwankungsbreite erfasst nicht alle Fehler. Sie beschreibt nur die Unsicherheit durch den Zufall einer korrekt gezogenen Stichprobe. Fehlt eine Gruppe systematisch, weil sie nicht erreicht wird oder nicht mitmachen will, kann das Ergebnis auch außerhalb des Bereichs liegen. Bei selbst ausgewählten Teilnehmenden hat die Angabe kaum eine Grundlage.
Nicht jeder Wert in der Spanne ist gleich wahrscheinlich
Die Mitte ist wahrscheinlicher als der Rand. Eine gemessene 40 spricht deutlich eher für 40 oder 41 als für 43.
Was sie verkleinert
Mehr Befragte verengen die Spanne, aber der Aufwand steigt schnell: Bei einer einfachen Zufallsstichprobe sinkt der Fehler mit der Wurzel der Fallzahl. Für die halbe Schwankungsbreite braucht man also viermal so viele Interviews, hier 5.000 statt 1.250. Auch andere Begriffe meinen dasselbe. Die Forschungsgruppe Wahlen spricht von Fehlerbereich und Fehlertoleranz.
Quellen
- Forschungsgruppe Wahlen, Methodik des Politbarometers: Fehlerbereich bei n = 1.250
- Forschungsgruppe Wahlen, FAQ „Wie genau sind die Umfragen?“: 37 bis 43 Prozent, ungleiche Wahrscheinlichkeit innerhalb der Spanne
- Statistische Ämter, Qualitätsstandards (2006): Stichprobenfehler und ihre Abschätzung
- du Prel und andere, Deutsches Ärzteblatt 2009: Einfluss der Stichprobengröße auf die Breite des Vertrauensbereichs
- Martin Förster, Universität Flensburg (2020): Stichprobenfehler und Wurzel der Stichprobengröße