Politiske meningsmålinger brukes ofte feil

Treffsikre politiske prognoser er sjelden kost i det norske mediebildet, mener statistikkforsker Jørgen Bølstad. Derfor har han utvikla et nettsted som samler og analyserer et stort antall meningsmålinger. 

Bildet kan inneholde: rektangel, skrift, materiell eiendom, parallell, kretskomponent.

Meningsmålinger dukker jevnlig opp. Nå har statsviter funnet fram til en bedre metode for å estimerer hva vi kommer til å stemme.(Illustrasjon: NTB/ Scanpix)

«Enda en krisemåling for Ap – Sp fosser frem i Oslo» er tittelen på en VG-sak basert på data fra ei meningsmåling gjort av Infact, et av flere norske selskaper som tilbyr markeds- og samfunnsanalyse til mediehusene. Denne typen tallmateriale er ettertrakta vare i nyhetsbildet, sjøl om meningsmålingene ofte brukes helt feil, ifølge førsteamanuensis ved Institutt for statsvitenskap, Jørgen Bølstad.

- Som regel sammenlikner mediene ei fersk måling med ei måling de har fra en stund tilbake, og konkluderer med at et gitt parti har gått fram eller tilbake. På denne måten kan tilfeldig støy i dataene føre til store overskrifter, sier Bølstad.

- Hvis forrige måling for et parti lå under den reelle oppslutninga, og den nye ligger over, kan det se ut som partiet har hatt en stor framgang, sjøl om oppslutninga egentlig er uendra, sier han.

Med et ønske om å få tallene i mer sannferdig tale, har Bølstad egenhendig programmert nettsiden Estimite, som samler og analyserer data relatert til politikk og offentlig opinion.

Målgruppa er, ifølge Bølstad, alle som er interessert i norsk politikk.

- Tanken har vært å gjøre analysene så lett tilgjengelige og sjølforklarende at alle forstår hva som presenteres, sier han.

Kvalifiserte spådommer

Første del av prosjektet er retta mot Stortingsvalget 2021. Estimite oppdateres daglig, og bruker tall fra flere hundre spørreundersøkelser, samt resultater fra tidligere stortingsvalg. På bakgrunn av dette, tilbyr nettstedet sine prognoser: Hvem får flertall på Stortinget? Hvem kommer over sperregrensa etter valget 13. september?

Ifølge Estimite, har de fire partiene på konservativ side i dag kun 4,4 prosent sannsynlighet for å få flertall. Dersom et valg hadde blitt avholdt i dag, ville sannsynligheten for at disse partiene fikk flertall vært under 1 prosent.

- Jeg ville gjøre denne modellen så nøytral som overhodet mulig. I den grad jeg har latt mine egne vurderinger påvirke resultatet, har jeg forsøkt å legge inn mest mulig usikkerhet. Jeg vegrer meg for å si med stor sikkerhet at jeg veit hva som vil skje om seks måneder, sier Bølstad.

- Til tross for disse forbeholdene, ser det ganske mørkt ut for den sittende regjeringa, sier han.

Må stole på målingene

Ifølge Jørgen Bølstad er norske meningsmålinger i snitt ganske gode. Problemene oppstår når enkeltmålinger settes opp mot hverandre. Statsviteren har studert alle målingene fra de siste to ukene før de siste to valgene, og sammenlikna gjennomsnittene av disse med valgresultatene. Da bommer de kun med ca 0,4 prosentpoeng på valgresultatene.

- Hvis vi ser på tvers av alle partier og på tvers av alle målingene, treffer norske meningsmålinger relativt godt. Men de treffer bedre for noen partier, enn andre. Og så bommer de i samme retning for noen av de samme partiene over tid, sier Bølstad.

Bildet kan inneholde: person, klær, panne, kinn, hake.
I to-tre måneder satt Jørgen Bølstad opptil sytti timer i uka foran dataskjermen for å utvikle modellen og nettsida. (Foto:UiO)

- FrP og Ap pleier for eksempel å gjøre det bedre litt bedre i valg enn på målingene, mens Rødt og MDG pleier å gjøre det litt dårligere i valg enn på målingene.

- Disse skeivhetene prøver jeg å justere for med denne modellen, sier han.

Like fullt eksisterer det fallgruver. Bølstad påpeker at han er prisgitt kvaliteten på dataene.

- Noe av det mest utfordrende ved dette arbeidet er at jeg ikke har kontroll over den viktigste feilkilden, nemlig systematiske skeivheter i meningsmålingene.

 Så lenge meningsmålingene har små eller forutsigbare skeivheter kan man lage ganske gode prognoser, men om dette er tilfellet ser man egentlig først i etterkant, sier Bølstad.

- Det vil alltid være en risiko for at folk endrer adferd, og at noen velgere slutter å svare på undersøkelser uten at det fanges opp, sier han. 

Ville fylle et hull

Da Jørgen Bølstad bidro til NRKs dekning av USA-valget i 2020, betjente han seg aktivt av Fivethirtyeight. Det amerikanske nettstedet analyserer meningsmålinger og andre data for å gi kvalifiserte spådommer om så vel politikk og økonomi, som sport.

Før 2020-valget ga Fivethirtyeight Joe Biden 89 prosent sjanse for å vinne, og forutså det korrekte utfallet i 48 av 50 stater.

- Underveis i dekninga, satt jeg og tenkte at det er litt synd vi ikke har noe liknende i Norge. At det eksisterte et lite hull her som det kunne vært gøy å fylle. Så jeg satte i gang, uten egentlig å tenke på hvor mye tid det ville ta, sier Bølstad.

Aleine foran skjermen

I to-tre måneder satt Jørgen Bølstad opptil sytti timer i uka foran dataskjermen for å utvikle modellen og nettsida. De intense øktene med programmering blei kun avløst av en og annen skitur.

- Når jeg først hadde satt i gang, måtte jeg bare jobbe til jeg var ferdig. Det har blitt en del veldig lange dager. Men hvis man er motivert og synes det er gøy, så går det ganske greit å jobbe mye, sier han.

Da han var i mål, blei Bølstad engstelig for at ingen skulle bry seg om prosjektet han hadde brukt så mye tid på. De få personene som fikk se nettsida var positive, men prosjektet forblei ukjent for det breie publikum. Skikkelig respons blei det ikke før han sendte ut en melding om Estimite på Twitter.

- Prosjektet fikk overveldende mye feedback. Twitter-meldinga blei sett over 60 000 ganger i løpet av to dager, sier Bølstad.

Deretter blei analysene på Estimite brukt i en artikkel i Dagbladet og i en VG-kronikk signert Trygve Svensson, lederen i tankesmia Agenda. Bølstad blei intervjua av TV2 Nyhetskanalen, Minerva, Politisk kvarter i NRK og ABC Nyheter.

- Til å være en akademiker må jeg si meg fornøyd med denne responsen, sier Bølstad.

Voksende fagmiljø

Det er økende akademisk interesse for digitaliseringa av data fra politiske hendelser. Jørgen Bølstad er del av den nye forskningsgruppa Politisk datavitenskap ved Institutt for statsvitenskap. Gruppa samler forskere som er interessert i skjæringspunktet mellom samfunnsvitenskap og informatikk.

- I min forskning har jeg bevega meg mer og mer i kvantitativ retning. Estimite er et eksempel på at kvantitativ metode i dag er mer enn det vi tradisjonelt forbinder med statistikk, og at programmering blir stadig mer sentralt. Den politiske datavitenskapen omfatter blant annet datainnsamling, databehandling, modellering og visualisering, sier Bølstad.

Han understreker at datavitenskap i bunn og grunn handler om å hjelpe dataene til «å snakke».

- Når det gjelder Stortingsvalget, er poenget for meg ikke å se seg blind på enkeltmålinger, men heller bruke flere meningsmålinger samla til å beregne trendene i befolkninga, og så synliggjøre disse på en enkel måte, sier Bølstad.

- Hvis du er villig til å gå inn på en nettadresse for å se hvordan den politiske situasjonen ser ut i dag, burde Estimite fungere for deg.

Av Erik Engblad
Publisert 16. feb. 2021 15:58 - Sist endret 16. feb. 2021 15:58