Das Stichprobenproblem: wie Meinungsumfragen eine falsche Wirklichkeit erschaffen

Polindex 2023 ist der Name eines Forschungsprojektes, das die Chaire de recherche en études parlementaires der Universität Luxemburg im Auftrag des Parlaments durchführt. Sie will damit die individuellen und kollektiven Werte der Wohnbevölkerung und deren Auswirkungen auf den sozialen Zusammenhalt und die politische Legitimität untersuchen. Die empirische Basis dieser ersten Studie aus einer Reihe für die nächsten Jahre angekündigten Wiederholungen bildet eine Meinungsumfrage im Windschatten der Gemeindewahlen.¹

Allerdings beschränkt sich die Studie auf eine internetbasierte Erhebung, bei der nur Teilnehmende des Ilres-MyPanel befragt wurden. Da nicht bekannt ist, wer sich aus welcher Motivation dort eingetragen hat, ist auch nicht erkennbar, welche Bevölkerungs­zusammensetzung die Ergebnisse repräsentieren sollen. Man kann davon ausgehen, dass besonders internetaffine und überdurchschnittlich Gebildete dort mitmachen, Personen mit viel Freizeit oder solche, die durch den Mitmach-Obolus angelockt werden. Obwohl die Stichprobe nachträglich gewichtet wurde, um den demo­grafischen Variablen der Gesamtbevölkerung – in diesem Fall Region, Alter und Geschlecht – zu entsprechen, kompensiert sie dadurch nicht den beschriebenen Selbstselektionseffekt. 

Rainer Schnell, Professor für Methoden der empirischen Sozial­forschung und Experte für Befragungen, bezeichnete die auf solchen Internet-Surveys basierenden Ergebnisse im Interview mit der Zeit kürzlich als „Datenschrott“.² Obwohl solche Um­fragen wegen ihrer nicht nachvollziehbaren, „willkürlichen Stichproben“ verschrien seien, verdrängten sie aufgrund ihrer schnellen und günstigen Zugänglichkeit zunehmend anspruchsvollere Methoden. 

Tatsächlich haben Face-to-Face-Interviews einer Zufallsstichprobe, wie sie das Eurobarometer noch immer verwendet, heutzutage Seltenheitswert. Um die Kosten zu drücken, benutzt man in der Regel Telefonumfragen, die durch Online-Panel ergänzt werden. So zum Beispiel die Wort-RTL-„Sonndesfro“: von deren 1885 Interviews fanden 1301 am Telefon (901 Festnetz- und 400 Mobilnummern) und 584 als Online-Survey statt.³ Damit erreicht die Umfrage einen höheren Standard als Polindex.

Online-Befragungen wie Polindex bergen eine weitere Gefahr: Die geringeren Kosten pro Einzelfrage verführen dazu, deren Anzahl und damit die Ausfülldauer des Online-Fragebogens zu erhöhen. Das schreckt weniger motivierte Teilnehmende zusätzlich ab. Die für Polindex bei der zuständigen Aufsichtsbehörde (Alia) hinter­legte Dokumentation schätzt die Beantwortungsdauer für 80 Fragen auf 30 bis 40 Minuten und sieht dafür eine Vergütung von 10 bis 15 Euro vor.⁴ In Wirklichkeit mussten die Teil­nehmenden mehr als doppelt so viele Fragen beantworten, wodurch sich der Zeitaufwand und die Entlohnung entsprechend erhöhen müssten.

Die wackeligen Umfrageergebnisse werden
zum Agenda-Setting missbraucht

Ende Juni wurden erste Teilergebnisse in einer vertraulichen Sitzung handverlesenen Abgeordneten vorgestellt. Es dauerte keine Woche, bis Radio 100,7 und das Lëtzebuerger Land diese unter dem Titel „Les législatives pour les nuls“⁵ veröffentlichten. Mittlerweile ist die Studie in Form von „gefühlt 1000 Slides“ – wie es auf RTL hieß⁶ – allgemein zugänglich⁷. Während Politikerinnen und Politiker sich passende Ergebnisse für ihre eigene Agenda herauspicken, bemühen sich die Medien, die rund 200 Grafiken zu kommentieren. Dabei vergessen alle die wackeligen empirischen Grundlagen der Studie.

Selbst methodologisch sorgfältiger durchgeführte Meinungsumfragen stellen keine einfache Abbildung der öffentlichen Meinung dar. Sie schaffen erst die Wirklichkeit, die sie zu messen vorgeben. Ein emblematisches Beispiel für Luxemburg stellt das Referendum zum Ausländerwahlrecht dar, dessen Ablehnung durch 78 % der Wahlbürgerinnen und Wahlbürger so gar nicht im Einklang mit der „öffentlichen Meinung“ war, die Umfragen jahrelang vorausgesagt hatten.

Zustimmung zum Ausländerwahlrecht

Die Grafik zeigt: Mit der Nähe zum Referendum sank die vermeintlich gemessene Zustimmungsrate, die Nachwahlerhebung bildete das Referendumsergebnis ziemlich genau ab. Vier Jahre später wiederum will eine von der Asti in Auftrag gegebene Umfrage eine Rekordzustimmung von 61 % gemessen haben.⁸ Nach dem Polindex 2023 ist diese inzwischen auf 38 % gefallen. Diese Schwankungen allein sollten wir als Warnung vor einer naiv positiv­istischen Interpretation der Ergebnisse und vor allzu vollmundigen Kommentaren sehen.

¹ https://www.chd.lu/fr/node/1035 (alle Internetseiten, auf die in diesem Beitrag verwiesen wird, wurden zuletzt am 16. August 2023 aufgerufen). 

² https://www.zeit.de/2023/34/rainer-schnell-meinungsumfragen-sozialforschung
Ausführlicher: https://tinyurl.com/bdhwa8d9

³ https://www.alia.lu/2023_SON-2_Sondage_-Sonndesfro-Wort-RTL-vum-19.04.2023.pdf

⁴ https://alia.lu/2023_SON3_Sondage_POLINDEX.pdf

⁵ https://www.100komma7.lu/article/aktualiteit/invite-vum-dag-philippe-poirier
https://www.land.lu/page/article/567/340567/DEU/index.html

⁶ https://www.rtl.lu/news/national/a/2086022.html

⁷ https://data.public.lu/fr/datasets/synthese-de-letude-polindex-2023/

⁸ https://www.forum.lu/wp-content/uploads/2020/02/403_Fehlen.pdf