Framtiden är självrekryterad

När jag i somras startade den här bloggen var en av mina utgångspunkter att inte skriva om undersöknings-metodik.

Främst för att nästan alla tycker att det är tråkigt, men också för att mitt eget expertområde inte är metodik utan snarare politisk analys av opinioner.

Men det finns undantag, åtminstone en metodfråga är så infekterad och omdebatterad att jag inte kan avstå. Det handlar om striden mellan telefonundersökningar med slumpvisa urval respektive självrekryterade webbpaneler, som verktyg för mätningar bland allmänheten.
 
Vad gäller saken?
För den som vill få en utförlig förklaring av denna strid kan jag tipsa om Politologernas pedagogiska genomgång. För vanliga dödliga kan en kortversion vara den här:

  • En slumpmässigt genomförd telefonundersökning innebär att undersökningsföretaget slumpar fram ett antal personer/telefonnummer som sedan rings upp för en telefonintervju.
  • En självrekryterad webbpanel innebär att ett stort antal personer tackat ja till att delta i webbaserade undersökningar, och undersökningsföretaget sedan drar ett urval från den gruppen och skickar mail med länk till ett webbformulär.


 (Det finns webbpaneler som består av personer som rekryterats via slumpvisa telefonintervjuer, men de lämnar jag därhän. Den metodologiska beefen gäller främst urvalet, inte egentligen huruvida intervjuerna sker i telefon eller på nätet.)

Debatten handlar alltså om vilken metod som bäst mäter den faktiska opinionen, vem som har mest rätt eller minst fel helt enkelt.

Den huvudsakliga kritiken mot självrekryterade paneler är förenklat att den grupp som intervjuas inte är representativ. Även om man säkerställer att gruppen har en demografisk sammansättning som speglar allmänheten är den inte identisk med allmänheten.

Det faktum att de som intervjuats har anmält intresse att delta skiljer dem från allmänheten, helt enkelt pga att de flesta inte vill delta. Dessutom är det av naturliga skäl svårare att rekrytera t ex 76-åringar än 16-åringar för webbintervjuer, vilket kan skapa problem även om man matematiskt kan kompensera det genom vägning av siffrorna.

Den huvudsakliga kritiken mot telefonundersökningar med slumpvisa urval är egentligen likartad. Det blir allt svårare att genomföra undersökningar per telefon som avspeglar allmänheten på ett tillräckligt bra sätt.

Allt färre vill låta sig intervjuas, allt färre har telefoner med registrerade nummer, allt fler använder sig av Truecaller och liknande tjänster som screenar bort oönskade samtal. Bortfallet i slumpmässiga telefonundersökningar är därför stort och tenderar att öka. Och telefonbaserade undersökningar har svårare att fånga 16-åringar än 76-åringar.

Även med denna metod skiljer sig alltså gruppen som intervjuas något från allmänheten.
 
Vilken metod är bäst?
Hur ska man då se på detta? Den text på Politologerna jag länkar till ovan (och som även finns här med fördjupat tabellunderlag här) går utförligt igenom såväl den rådande konsensusuppfattningen bland opinionsforskare som vad test av olika metoder faktiskt visar.

Slutsatsen är att konsensus bland forskarna är att slumpmässiga urval är att föredra, men att det är svårt att belägga att självrekryterade paneler skulle vara mer osäkra.

En fråga som brukar användas som ”facit” för olika metoders tillförlitlighet är hur nära deras partisympatimätningar kommer valresultatet. Det är inte en självklar metod, opinionsmätningar är inte valprognoser, utan en mätning av opinionen vid en tidpunkt då det inte är val. Men det är ändå ett intressant mått för att jämföra mätningar.

På senare tid har det blivit allt mer populärt att efter valen utropa att ”mätningarna hade fel!”. Men det är en överdrift, generellt lyckas svenska mätningar bra med att förutsäga vilket block som blir störst, om något parti åker ut eller kommer in och om något blir tungan på vågen – dvs de helt avgörande frågorna.

Däremot kan enskilda partier vara svåra att mäta, i valet 2014 underskattades t ex SD medan MP överskattades - särskilt i telefonbaserade undersökningar.

Statsvetaren Daniel Walther gjorde efter valet 2014 en pedagogisk sammanställning av utfallet. Han uttalar sig inte egentligen om självrekryterade paneler kontra slumpmässiga telefonintervjuer, men sammanställningen visar ingen tydlig skillnad mellan de båda metoderna.

(Brasklapp: när man jämför olika undersökningsföretags ”sista mätning före valet” ska man komma ihåg att de gjorts vid något olika tillfällen, så de är inte fullständigt jämförbara. Men ändå.)
 
Ett praktiskt perspektiv
Mitt eget perspektiv, det är viktigt att påpeka, är inte forskarens utan den praktiske användarens. Jag har följt utvecklingen av de olika metoderna sen 90-talet, som VD för två undersökningsföretag, som undersökningsköpare och som rådgivare.

Jag har länge haft en mycket konservativ hållning i metodfrågor, liknande den som den kloke statsvetaren Anders Sundell ger uttryck för i denna rangordning av mätningar. Men jag har med tiden ändrat mig, vilket är skälet till detta långa inlägg.

Varför? Det handlar för mig om tre frågor:

  1. Vilken metod är mest ”framtidssäker”, dvs vilken metod kommer snabbast att bli bättre framöver? Alla metoder har brister, men de måste minska istället för öka över tid.
  2. Vilken metod är bäst för att undersöka känsliga frågor? Att få svar på alldagliga frågor är lätt, men med växande mångfald i åsikter, värderingar och livsstil blir det allt viktigare att kunna mäta även känsliga och kontroversiella frågor.
  3. Vilken metod är bäst på att fånga smala grupper? Mängder av politiska frågor avgörs av engagemang hos smala men inflytelserika grupper snarare än av ljumma majoritetsuppfattningar. Hur mäter man bäst de förra?


På alla dessa tre punkter har jag blivit allt mer övertygad om att självrekryterade paneler i de flesta sammanhang är att föredra – förutsatt att kvaliteten är den högsta möjliga, förstås.

Det innebär inte att jag avråder från att använda telefonintervjuer med slumpvisa urval. Jag rekommenderar naturligtvis mina kunder att välja den metoden när den passar uppgiften bäst. Men dessa tillfällen blir enligt min bedömning allt färre.


Metodproblemen med självrekryterade paneler är väl kända och inte försumbara. Men de kommer av allt att döma att kunna minskas i takt med att undersökningsföretagen blir bättre på att hantera dem.

Metodproblemen med telefonintervjuer försöker undersökningsföretagen förstås också minska. Men det är svårt att se annat än att intervjuer med allmänheten per telefon är en sakta döende produkt. Den har helt enkelt teknikutvecklingen emot sig.

Det är lättare att undersöka känsliga frågor eller kontroversiella åsikter i webbpaneler (oavsett typ av panel, detta är inte kopplat till rekryteringen) än i telefonintervjuer. Skälet är helt enkelt att webben upplevs mer anonym. Svårigheten att mäta opinionsstödet för SD i telefonintervjuer är välkänd, samma problem finns i andra känsliga frågor.

Självrekryterade webbpaneler är generellt även bättre än slumpvisa telefonintervjuer på att undersöka attityden i små men engagerade grupper, men det har med storleken på panelerna snarare än intervjuformen i sig att göra.

Genom att jobba med mycket stora paneler kan man få hyggliga baser (hyggligt stort antal intervjuer) även i mycket smala grupper. Sådana studier är ett växande behov, för vilket telefonintervjuer är både dyra och tidskrävande.

Krav på framtidens opinionsanalys?
Att jag landar i dessa slutsatser hänger också samman med hur jag tror framtiden för undersökningsföretag och rådgivare på opinionsanalysområdet ser ut:

  • Det kommer bli ännu svårare att ta betalt ”bara” för att leverera undersökningsresultat, betalningsviljan för datainsamling kommer att fortsätta sjunka och värdet på bra analys att öka.
  • Fler uppdragsgivare kommer kräva att resultaten kan integreras med data från andra källor (offentlig statistik, marknadsdata, medieanalyser etc) för att skapa en begriplig helhet.
  • Det kommer bli viktigare att arbeta i paneler med stora mängder befintlig data för att söka sig fram till samband och drivkrafter, istället för att genomföra "isolerade" mätningar, dvs sådana som saknar koppling till andra mätningar.

Ingen av dessa utmaningar är för all del omöjlig att klara med utgångspunkt i slumpmässiga telefonintervjuer, men betydligt mer tids- och kostnadskrävande.

Så min bedömning är att vi ur ett praktiskt användarperspektiv har passerat den punkt där metodproblemen med slumpmässiga telefonintervjuer är större än metodproblemen med självrekryterade webbpaneler. Och att skillnaden kan förväntas öka framöver.

Men – och det är viktigt – metoderna behöver bli bättre, oavsett urval och intervjuform. Det gäller både hantering av urvalet och efterbearbetning av den data som kommer ut. Så var fortsatt skeptisk. Till alla mätningar.

Kommentera gärna:

Senaste inläggen

Senaste kommentarer

Bloggarkiv

Länkar

-

Etikettmoln

-