Wie verlässlich sind Online-Umfragen? Entscheidend ist die Auswahl

Online-Umfragen sind so verlässlich wie ihre Auswahl der Teilnehmer. Das Internet als Befragungsweg ist dabei nicht das Problem. Das Problem entsteht, wenn sich die Teilnehmer selbst aussuchen.

Hinter „online“ stecken drei sehr verschiedene Verfahren

Verfahren	Wer antwortet	Verallgemeinerbar?
Abstimmung auf einer Website	Wer die Seite besucht und mitmachen will	nein
Panel mit freier Anmeldung (Opt-in)	Angeworbene, etwa über Anzeigen in sozialen Medien oder Suchmaschinen, oft gegen kleine Vergütung	nur mit Einschränkungen
Panel oder Erhebung mit Zufallsauswahl	Zufällig gezogene Personen, die dann online antworten	ja, im Rahmen des Fehlerbereichs

Die deutschen Verbände halten in ihrer Richtlinie fest: Selbstrekrutierung sei in der Regel nicht geeignet, verallgemeinerbare Ergebnisse für die Gesamtbevölkerung zu liefern. Andererseits kann online auch Teil eines Zufallsverfahrens sein. Die Forschungsgruppe Wahlen schickt per SMS an zufällig erzeugte Mobilnummern einen Link zu einem Fragebogen, der nur einmal ausfüllbar ist.

In einem großen Test lag die freie Anmeldung doppelt so weit daneben

Das Pew Research Center prüfte 2021 in den USA drei Panels mit Zufallsauswahl und drei mit freier Anmeldung an 28 Fragen, für die Vergleichswerte aus hochwertigen staatlichen Daten vorliegen:

	Zufallsauswahl	Freie Anmeldung
Mittlerer Fehler, alle Erwachsenen	2,6 Punkte	5,8 Punkte
Mittlerer Fehler, 18- bis 29-Jährige (25 Fragen)	3,6 Punkte	11,2 Punkte

Die Zahlen stammen aus den USA, die Mechanik gilt aber überall dort, wo sich Menschen selbst für Befragungen anmelden.

Der häufige Irrtum: Auffällige Antworten zeigen echte Stimmungen

In offenen Panels antworten auch Menschen, die nur schnell Vergütung kassieren wollen. Eine Pew-Auswertung nennt ein krasses Beispiel: In einer Umfrage mit freier Anmeldung gaben 20 Prozent der unter 30-Jährigen in den USA an, der Holocaust sei ein Mythos. In Pews eigenem Panel mit Zufallsauswahl waren es bei gleicher Formulierung 3 Prozent. In einem weiteren Versuch behaupteten 12 Prozent der unter 30-Jährigen in einem offenen Panel, sie hätten die Erlaubnis, ein Atom-U-Boot zu steuern; der wirkliche Anteil ist gerundet null. Pew folgert daraus: Solche Teilnehmer treiben vor allem seltene Ansichten künstlich nach oben. Beim Lesen von Schlagzeilen wie „Jeder Fünfte unter 30 glaubt …“ sollten Sie deshalb besonders nachfragen, wie die Umfrage zustande kam.

Auch die Zufallsauswahl garantiert nicht jede Zahl

Ganz so einfach ist das Bild nicht. Im selben Pew-Vergleich überschätzten die Panels mit Zufallsauswahl die Wahlbeteiligung um 8 bis 9 Punkte, während zwei offene Panels sehr nah lagen. In einer in Nature veröffentlichten Arbeit lieferte umgekehrt ein nach anerkannten Regeln arbeitendes Online-Panel mit nur rund 1.000 Antworten je Woche verlässliche Werte zur Impfquote, während eine Facebook-Umfrage mit rund 250.000 Antworten um 17 Punkte danebenlag. Die Fallzahl allein rettet also nichts.

Drei Fragen genügen meist

Wie sind die Teilnehmer in die Befragung gelangt: durch Einladung per Zufall oder durch eigene Anmeldung?
Nennt das Institut sein Verfahren, seine Gewichtung und die verwendeten Vergleichsdaten? Die Richtlinie der Verbände verlangt, das zu dokumentieren.
Geht es um eine Gruppe oder Meinung, die sehr selten ist? Dort wiegen Falschantworten besonders schwer.

Quellen

Stand: November 2026. Dieser Beitrag dient der allgemeinen Information und ersetzt keine Rechts-, Steuer-, Finanz- oder Rentenberatung im Einzelfall. Trotz sorgfältiger Prüfung übernehmen wir keine Gewähr für Richtigkeit, Vollständigkeit und Aktualität.