Newsletter

Sondażowe pułapki

Mirosław Szreder, 09.02.2016
Na co warto uważać, wyciągając wnioski z sondaży

Nie po raz pierwszy w ostatnich latach mamy kłopot z interpretacją wyników sondaży wykonywanych i publikowanych z nadmierną częstotliwością. Różnice w poszczególnych sondażach są tak duże, że nie da się ich wyjaśnić typowym dla próby ok. 1 000 osób trzyprocentowym błędem losowania.

Fotografia: deafstar/freeimages.com

Przypomnijmy, że o +/- 3 proc. mają prawo odchylać się wyniki poparcia sondażowego dla danej partii czy kandydata od prawdziwego poparcia wśród wyborców, wyłącznie na skutek niedoskonałości mechanizmu losowania próby. Innymi słowy, sam fakt oparcia wnioskowania na losowej próbie generuje błąd wielkości max. 3 proc. Jeżeli wśród wyników podawanych przez kilka pracowni sondażowych widzimy różnice znacznie przekraczające 3 proc., to przy zbliżonych: brzmieniu pytań, wielkości próby i sposobie traktowania osób niezdecydowanych musi to oznaczać obciążenie niektórych wyników innymi rodzajami błędów, najczęściej o charakterze nielosowym.

Na wielkość tych ostatnich ma wpływ zarówno rodzaj pomiaru sondażowego (telefoniczny, internetowy, bezpośredni „w cztery oczy” – face to face), jak i częstotliwość wykonywanych sondaży. Oba te czynniki determinują stosunek respondentów do badania, a pierwszy z nich dodatkowo wiąże się z jakością operatu losowania, czyli w konsekwencji – z reprezentatywnością próby.

Zanim scharakteryzujemy wskazane współzależności, wyjaśnijmy najpierw kwestię respondentów wylosowanych do próby, którzy nie zamierzają brać udziału w wyborach oraz osób niezdecydowanych.

Osoby w próbie niezdecydowane co do tego, na kogo oddadzą głos, zmniejszają tę część próby, która dla pracowni sondażowej jest najważniejsza, bo na niej oparte jest wnioskowanie o preferencjach wyborczych całej populacji. Przykładowo, jeżeli w jednym z ostatnich badań TNS Polska (z 22-27 stycznia 2016 r.) badano preferencje partyjne wśród 60 proc. respondentów, którzy zdecydowanie albo z wahaniem („raczej”) deklarowali zamiar uczestniczenia w wyborach, a co dziesiąty nie był zdecydowany na kogo oddałby głos, to błąd losowania w zmniejszonej w ten sposób z 1 004 do 540 osób próbie, na podstawie której dokonuje się projekcji na ogół wyborców, wynosi nie +/-3 proc., lecz ponad +/-4 proc. Wielkości innych błędów (nielosowych), o których wyżej wspomniałem, trzeba dodać do tych 4 proc., aby uzyskać całkowity błąd badania.

Specyfiką błędów nielosowych jest jednak to, że trudno określić ich wymierne skutki, mimo powszechnej świadomości zniekształcania przez nie wyników badań. Ważniejsze od pomiaru staje się w praktyce ich minimalizowanie. Występowanie najważniejszych składników tych błędów oraz ich wielkość ma związek z częstotliwością wykonywania sondaży i z rodzajem wywiadu z respondentami.

Przy dużej liczbie wykonywanych sondaży, a do tego krótkim czasie przeznaczonym na ich realizację, w powiązaniu z niską ceną oferowaną przez zleceniodawców, brakuje pracowniom czasu i środków na rozpoznanie tej części wylosowanej próby, która odmawia udziału w badaniu. W przedwyborczych sondażach nie jest rzadkością (raczej normą), że wskaźnik odmów przekracza 70 lub 80 proc. Zastąpienie tej części respondentów innymi osobami, dolosowanymi do próby, rodzi błąd, który nie jest łatwo ani zmierzyć, ani ograniczyć. Jest to tym trudniejsze, im mniej pracownia posiada informacji o tych, którzy z ankieterem nie chcieli rozmawiać.

Problem z często realizowanymi sondażami polega na tym, że nawet gdyby pracownia sondażowa takie informacje próbowała zdobyć, to i tak zabrakłoby jej czasu na ich opracowanie, przetworzenie i odpowiednie wykorzystanie w mechanizmach ważenia czy kalibracji.

Zresztą działań takich, które w jakimś stopniu przywróciłyby pośpiesznie wykonywanemu sondażowi atrybuty rzetelnego badania statystycznego, nie oczekują nawet zlecający badanie. Liczy się przede wszystkim szybkość realizacji sondażu, a w mniejszym stopniu jego jakość. Dlatego z rezerwą odnoszę się niemal do wszystkich sondaży realizowanych w okresach między wyborami, także tych, których autorami są ośrodki cieszące się dobrą reputacją, zdobytą w konstruowaniu trafnych prognoz wyborczych (TNS Polska) lub dobrych jakościowo prognozach exit poll (TNS Polska, IPSOS).

Częste i niedokładne sondaże same się deprecjonują. Znaczne rozbieżności w wynikach są powodem ich dyskredytowania przez polityków. To zaś przenosi się na respondentów przeświadczonych o tym, że biorą udział w czymś mało poważnym i mało istotnym.

Problem spadającej jakości sondaży politycznych nie dotyczy tylko naszego kraju. Podobne odczucia mają np. Brytyjczycy po nieudanej serii sondaży przed wyborami parlamentarnymi w maju 2015 r. Przed kilkoma tygodniami „The Guardian” w swoim komentarzu redakcyjnym po ogłoszeniu pierwszych ustaleń specjalnej komisji, mającej wyjaśnić źródła tych niepowodzeń, stwierdza m.in., że „klasa polityczna, łącznie z dziennikarzami, zapomina, że jakość informacji liczy się bardziej niż ilość” („The Guardian”, 19.01.2016, tł. red. IO).

Innym elementem błędu nielosowego, mogącego zniekształcać prawdziwy obraz preferencji politycznych w badanej zbiorowości, są różne reakcje respondentów na określone formy kontaktu z nimi. Obserwacje z badań realizowanych przez CBOS, w których z wyprzedzeniem informuje się respondenta o przyszłej wizycie ankietera, budzą – moim zdaniem – najwięcej wątpliwości co do poczucia przez respondentów anonimowości. Ta z kolei jest konieczna, aby nie ulegać presji dominujących w społeczeństwie lub w mediach postaw politycznych.

Skłonność części badanych do ulegania tej presji była widoczna w latach poprzednich, gdy CBOS nie raz podawał znacznie wyższe od innych pracowni wyniki poparcia dla PO. Dostrzega się ją także obecnie, gdy wysokie jest deklarowane poparcie dla rządzącego PiS. Warte przypomnienia są w tym kontekście ostatnie przed I turą wyborów prezydenckich w 2015 r. wyniki sondażu CBOS, dające na trzy tygodnie przed aktem głosowania poparcie Bronisławowi Komorowskiemu w wysokości 43 proc. i Andrzejowi Dudzie 26 proc. Wyniki opatrzono stwierdzeniem: „Jednakże przewaga Bronisława Komorowskiego w momencie startu kampanii była tak duża, że nie wydaje się, by jego dobry wynik w pierwszej turze był w jakikolwiek sposób zagrożony” (CBOS, Komunikat z badań Nr 55/2015: Preferencje w wyborach prezydenckich). Ostatecznie, jak pamiętamy, pierwszą turę wyborów wygrał Andrzej Duda.

Bezpośredni wywiad „w cztery oczy” w miejscu zamieszkania respondenta może prowadzić do mniej obiektywnych pomiarów niż wywiad telefoniczny, zwłaszcza jeżeli dotyczy drażliwych, podszytych emocjami kwestii politycznych. Dostrzegam dwa zasadnicze tego powody.

Po pierwsze wspomniana już utrata anonimowości respondenta i chęć sprostania „społecznie pożądanym” postawom jest dla części badanych na tyle silna, że deklarują oni sympatię dla innej partii, niż dla tej, którą w rzeczywistości popierają. Najczęściej zyskuje na tym partia rządząca.

Po drugie doświadczenia kilku krajów pokazują, iż inny jest rozkład preferencji politycznych wśród osób, które łatwo zastać w domu, a inny wśród tych, z którymi kontakt bezpośredni jest trudny lub bardzo trudny. Zwrócono na to uwagę m.in. w Wielkiej Brytanii. Zwolennicy Partii Pracy mają tam 6 pkt proc. przewagi na torysami w gospodarstwach domowych, z którymi udało się przeprowadzić wywiad bezpośredni podczas pierwszej wizyty. Z kolei zwolennicy Partii Konserwatywnej mają aż 11 pkt. proc. przewagi w podpróbie tych gospodarstw domowych, z którymi kontakt nawiązano dopiero między trzecim o szóstym podejściem. Konkluzje te pochodzą z najnowszego raportu o źródłach wspomnianej wcześniej porażki sondaży przed wyborami w Wielkiej Brytanii w 2015 roku (por. T. Clark, F. Parraudin, „General election opinion poll failure down to not reaching Tory voters”, „The Guardian”, 19.01.2016).

Jeżeli podobnie jest w naszym kraju, to o wiarygodności tego typu pomiarów decyduje czas, jaki pozostawia się realizatorom na ponawianie prób kontaktu z respondentami w miejscu ich zamieszkania. A że czasu tego jest zwykle niewiele, bardzo prawdopodobne jest zastąpienie w próbie tych jednostek, z którymi pierwsze kontakty się nie powiodły, jednostkami łatwiej dostępnymi.

Słabych stron nie jest też pozbawiony wywiad telefoniczny z respondentami. Co prawda respondenci cieszą się tu większą anonimowością, ale pojawia się inne wyzwanie, mianowicie dobrej jakości operatu losowania, który zapewniałby uzyskanie losowej próby wszystkich wyborców. Obecnie, gdy wiele gospodarstw domowych nie posiada telefonu stacjonarnego, natomiast członkowie innych mają po kilka telefonów komórkowych, komplikuje się kwestia jednakowych prawdopodobieństw losowania gospodarstw domowych.

O wadze tego ostatniego problemu przekonują się najbardziej znane ośrodki badawcze na świecie. W 2012 roku w USA Instytut Gallupa zmienił swój dotychczasowy sposób losowania wyborców poprzez losowe generowanie numerów telefonicznych (random digit dialing) na rzecz tańszego sposobu, polegającego na losowaniu publikowanych numerów telefonów stacjonarnych (50 proc. próby) oraz losowego generowania numerów telefonów komórkowych (pozostałe 50 proc.).

Celem tej zmiany miało być objęcie tak zdefiniowanym operatem możliwie jak największej frakcji gospodarstw domowych. Jednak słabością tego rozwiązania, jak się później okazało, była specyficzna struktura posiadaczy telefonów komórkowych. Ta część próby – stwierdza w swoim raporcie Instytut Gallupa – była przeciętnie młodsza wiekowo, o większej przewadze sympatii dla Partii Demokratycznej, i w większym stopniu skłonna poprzeć Baracka Obamę jako prezydenta, aniżeli respondenci wylosowani z racji posiadania telefonu stacjonarnego. I mimo że zastosowanie odpowiednich wag mogło tę strukturę zbliżyć do ogólnokrajowej, to uznano to za jedno ze źródeł błędu w prognozowaniu zwycięzcy wyścigu do Białego Domu w 2012 roku. Można się spodziewać, że ośrodki badawcze w Polsce zmagają się z podobnymi problemami jak w USA.

Jakie jest wyjście z tej sytuacji, w której wyniki sondaży stają się coraz mniej wiarygodne i mniej precyzyjne, a reputacja wykonawców tych badań słabnie? Sądzę, że nikt inny, tylko samo środowisko realizatorów badań sondażowych, w tym Organizacja Firm Badania Opinii i Rynku (OFBOR), powinno wypracować i egzekwować określone standardy jakości. Chodzi o to, aby przywrócić badaniu sondażowemu jego pierwotny atrybut obiektywizmu naukowego. Leży to w interesie firm badawczych, ale także w interesie tych wszystkich, którzy chcieliby w wynikach sondażowych widzieć rzetelny obraz preferencji politycznych wyborców.

Tytuł i lead od redakcji IO

*prof. Mirosław Szreder – ekonomista, wykłada na Uniwersytecie Gdańskim