Etikettarkiv: mätfel

Artiklar

Systematiska mätfel i NTU

Det finns två centrala källor när det gäller våldsbrottsligheten i Sverige – kriminalstatistiken över våldsbrott och Socialstyrelsens statistikdatabas över vård för våldsskador.

Därutöver finns NTU – Nationella Trygghetsundersökningen – en årlig brottsofferstudie baserad på intervjuer med ett urval personer i Sverige.

Det handlar om ”självrapporterad utsatthet” – personerna får själva uppge om de har utsatts för brott. Ingen kontroll av uppgifterna görs.

Ett centralt motiv att göra denna studie är att få en bild av det s k mörkertalet – de brott som aldrig polisanmäls.

Därför är det också en smula komplicerat att granska denna studie – den handlar ju om sådant som inte finns registrerat någon annanstans.

En kategori frågor handlar om misshandel.

Den första grafen ger antalet självrapporterade fall av misshandel 2009 – 2016. Ökningen är dramatisk – från 381 000 fall 2009 till 711 000 år 2016.

Men det finns ett avgörande problem med siffrorna från NTU
I genomsnitt en tredjedel av alla händelser uppgavs vara polisanmälda. Men om vi nu jämför med det faktiska antalet polisanmälda fall av misshandel så är skillnaden mycket stor.

2016 var antalet som uppgavs vara polisanmälda mer än dubbelt så högt som kriminalstatistikens korrekta siffror.

Denna diskrepans sätter frågetecken kring alla siffror från NTU. Att den kraftiga ökningen inte heller motsvaras av en ökning från sjukvårdsdata och kriminalstatistiken understryker att en viss försiktighet bör iakttas när det gäller NTU:s siffror.

Men det är inte bara kriminalstatistiken som ger oss en varningsflagga inför siffrorna i NTU. Även när det gäller antalet personer som fått vård för våld så finns det frågetecken.

Var fick 43 000 människor vård?

Förra året var det 56 000 personer som sökte vård för skador av våld. Det är i alla fall det resultat som NTU presenterade i sin årliga rapport.

Antalet personer som uppgav att de utsattes för misshandel under åren 2009 – 2018 ökade kraftigt. Från 174 000 år 2009 till 285 000 förra året.

Ett antal av dessa personer uppger att de hade uppsökt vård för skador av detta våld. Men det finns ett avgörande problem med dessa siffror.

Om vi jämför med Socialstyrelsens statistikdatabas över antalet personer som fått vård för våld* så ser vi en stor skillnad.

Drygt 12 000 fick förra året vård för våld enligt Socialstyrelsen, men enligt NTU var det 4,5 gånger så många eller drygt 43 000 fler.
Denna diskrepans är genomgående för alla redovisade år.
Var fick dessa människor vård egentligen?

* Socialstyrelsens Statistikdatabas ger antal personer som fått vård för våld (diagnoskoder X85-Y09) i slutenvård (inlagda på sjukhus) och/eller specialiserad öppenvård.

Källa: Kriminalstatistiken & NTU (BRÅ) samt Socialstyrelsens Statistikdatabas.

I fokus

TV4Nyheterna sprider #fakenews om brottsutsatthet

Det är inte bara i alternativ media och på sociala medier och bloggar som fake news blomstrar. Även etablerade medier och s k mainstream media faller inte sällan till föga. Denna gång är det TV4:s sena nyhetssändning som den 8 oktober sprider fake news om brottsutsatthet. Nyhetsankaret förkunnar i inledningen av sändningen att ”antalet svenskar som utsatts för brott ökar”. Som stöd för påståendet använder man NTU. Problemet är att NTU inte stödjer påståendet.

I dagarna presenterade Brottsförebyggande rådet (BRÅ) sin årliga redovisning av den Nationella trygghetsundersökningen (NTU). NTU syftar till att ”undersöka människors utsatthet för brott, upplevelse av oro och otrygghet samt förtroende för rättsväsendet, liksom brottsutsattas erfarenheter av kontakter med rättsväsendet”. (Källa: BRÅ)

TV4:s sena nyhetssändning inleds med att nyhetsankaret förkunnar en bra och en dålig nyhet:

”En glad nyhet: Förtroendet för polisen ökar. En trist nyhet: Antalet svenskar som har utsatts för brott ökar också”. (Källa: TV4Play.se)

I reportaget lite senare i sändningen upprepas det senare påståendet:

”Enligt Brottsförebyggande rådets nationella trygghetsundersökning utsattes fler för brott förra året”. (Källa: TV4Play.se)

Skärmdump från TV4 Nyheternas kvällssändning 8 oktober 2019.

Att utredare Sofie Lifvin på BRÅ senare i reportaget förklarar vad NTU faktiskt visar spelar mindre roll i sammanhanget. Nyheten om att fler svenskar har utsatts för brott har redan upprepats två gånger i sändningen. Lifvin säger att NTU är

”en urvalsundersökning och vi kommer aldrig kunna fånga exakta nivåer av utsatthet för brott t ex, utan det här är ju snarare indikationer på hur det ser ut, och syftet med undersökning är ju också att mäta hur utvecklingen ser ut över tid snarare då än att ge exakta nivåer”. (Källa: TV4Play.se)

I BRÅ:s pressmeddelande från 8 oktober tydliggör man att det handlar om att:

”den självrapporterade utsattheten för brott mot enskild person har ökat”. (Källa: BRÅ)

Motargument har vid ett flertal tillfällen redogjort varför NTU:s mätningar inte är tillförlitliga och inte heller är uttryck för hur det ser ut i verkligheten.

I artikeln ”På spaning efter mörkertalet” förklarar Maria Robsahm att NTU är en urvalsundersökning, samt att sådana undersökningar riskerar att drabbas av slumpmässiga och systematiska mätfel. Oavsett om storleken på urvalet ökas kommer dessa mätfel att kvarstå. Mätfelen har sina orsaker i t ex systematiska bortfall, intervjuareffekter och ledande frågeformuleringar. I Robsahms artikel läser vi:

”Ett ord som brukat användas för att beteckna ett systematiskt mätfel är bias och utgör i stora kvantitativa undersökningar vanligtvis ett större problem än slumpmässiga mätfel. Slumpmässiga mätfel kan hanteras med hjälp av statistiska hjälpmedel men problemet med systematiska mätfel kan inte lösas genom att använda ett större urval.” (Källa: På spaning efter mörkertalet)

I artikeln ”NTU:s systematiska mätfel” förklarar Robsahm följande om mätfelen i urvalsundersökningen:

”I NTU frågar man ett urval personer i Sverige om de har utsatts för brott. De som svarar ja på frågan om de har utsatts för exempelvis sexualbrott får därefter svara på följdfrågor, bl a frågan om detta har anmälts till polisen.

I höstas gjorde jag en jämförelse mellan de antal som i NTU uppgav att de hade polisanmält med den officiella statistiken om polisanmälningar. Och det visade sig då att skillnaden var stor – vissa år anmärkningsvärt stor.

För år 2016 var det uppgivna antalet polisanmälningar mer än tre gånger så högt som det verkliga antalet. Andra år är skillnaden mindre men inget år är det uppgivna antalet lägre”. (Källa: NTU:s systematiska nätfel)

Så länge BRÅ inte kan reda ut vad de systematiska mätfelen beror på kan vi inte heller använda oss av NTU som ett mätverktyg för hur brottsutsattheten verkligen ser ut i Sverige.

Detta betyder i sin tur att TV4 på bästa nyhetssändningstid sprider fake news då de använder NTU som ett mätverktyg då de säger att ”antalet svenskar som utsatts för brott ökar”. Det är direkt felaktigt.

Motargument har uppmärksammat TV4 och TV4Nyheterna om detta via mail, Facebook och Twitter.

Källor:

Brottsförebyggande rådet: Nationella trygghetsundersökningen 2019

Brottsförebyggande rådet pressmeddelande: Förtroendet för polisen har ökat (191008)

TV4:s sena nyhetssändning 191008 i sin helhet

I fokus

BRÅ-rapporten: Innan vi kan svara på VARFÖR det har ökat, måste vi först veta OM det har ökat

En första kommentar till BRÅ:s nya rapport om våldtäkter.
Förra året fick BRÅ i uppdrag av regeringen att undersöka utvecklingen av sexualbrott i Sverige 2005 – 2017. Bakgrunden är att antalet brott tycks ha ökat. Både antalet polisanmälda sexualbrott och andelen i befolkningen som uppger sig ha blivit utsatta för sexualbrott enligt Nationella trygghetsundersökningen (NTU).

Häromdagen kom BRÅ:s rapport ”Utveckling av sexualbrott”, som redan har väckt stort intresse.

Här kan du lyssna på en intervju i P 1 Morgon med rapportens författare, Stina Holmberg.

En av rapportens slutsatser är att det inte finns några belägg för att koppla flyktingvågen 2015 till någon ökning av sexualbrott.

Rapporten har redan orsakat storm på somliga kommentarsfält eftersom folk anser sig veta på förhand att detta måste vara fel. De flesta har inte läst rapporten.

Min första kommentar har dock ett annat fokus.

Frågan om utvecklingen av sexualbrott är naturligtvis viktig. Det råder ingen tvekan om att de polisanmälda sexualbrotten har ökat. Om denna ökning beror på en faktisk ökning eller en kombination av förändrad lagstiftning och ökad anmälningsbenägenhet går inte att besvara på något enkelt sätt. Men polisanmälningarna har ökat – framför allt gäller detta sexuella ofredanden, en typ av sexualbrott som ju faller under allmänt åtal som bekant.

Mätfelen i NTU är mycket stora

Men det finns ett stort problem med den andra källan till att sexualbrotten har ökat, NTU. Den som har följt mig vet att jag är kritisk till NTU:s resultat. Mätfelen är mycket stora och innan vi vet vad dessa mätfel beror på bör vi vara försiktiga med att hävda att NTU visar att sexualbrotten har ökat.

Eftersom denna påstådda ökning var själva förutsättningen för BRÅ:s uppdrag inför den särskilda våldtäktsstudien är detta avgörande. Innan vi kan svara på frågan VARFÖR det har ökat, måste vi först veta OM det har ökat.

Min första notering är att denna rapport inte använder NTU:s omräknade siffror från den senaste publiceringen i januari. Dessa nya siffror är också de som redovisas på BRÅ:s hemsida.

Enligt dessa uppgifter var det 4,7 % som år 2016 uppgav att de utsatts för sexualbrott.

BRÅ har retroaktivt räknat om alla tidigare siffror i NTU tio år tillbaka. Men det handlar inte om nytt material eller nya intervjuer – det är enbart en omräkning. För 2016 hamnade den tidigare siffran på 2,4 %.

Det handlar om en fördubbling. Om detta är en fördubbling i verkligheten eller bara i BRÅ:s excel-ark vet vi inte. På det får vi inget svar. För att verkligen förstå hur stor denna förändring är så måste vi se hur många personer dessa procentsiffror handlar om.

Hur många fler utsattes för sexualbrott år 2016 efter BRÅ:s omräkning? Det handlar om 174 000 fler.

NTU räknade om – och de utsatta för sexualbrott ökade med nästan en miljon – eller 879 000 – räknat på hela perioden. Det är mer än dubbelt så många.


Denna omräkning och hur den motiveras är ett märkligt fenomen i sig – jag ska återkomma till detta. Men här och nu vill jag fokusera på att BRÅ åtminstone borde hålla sig till den ena uträkningen – inte köra med båda. Var det enligt NTU 355 000 som utsattes för sexualbrott 2016 eller var det 181 000? Båda siffrorna kan rimligen inte vara korrekta.

På sin hemsida använder BRÅ konsekvent de nya siffrorna som i procent ligger mellan 1,4 och 4,7 procent. Men i ”Utvecklingen av sexualbrott”, den BRÅ-rapport om våldtäkt som publicerades den 28 maj, hänvisas konsekvent till de gamla siffrorna som ligger mellan 0,7 och 2,4 procent.

Som vi har skett är det en mycket stor skillnad om vi räknar det faktiska antalet utsatta personer.

Som förklaring till att de gamla siffrorna används i den nya rapporten uppges följande:

”För att möjliggöra ingående analyser av empiriska data över längre tid, används i denna studie material från gamla NTU, som genomfördes 2006–2017 och avser rapporterad utsatthet för sexualbrott 2005–2016.” (Källa: BRÅ, ”Indikatorer på sexualbrottsutveckling 2005-2017”, s. 30)

Fair enough.

Men vad betyder detta? Går de nya siffrorna alltså inte att använda för jämförelser över tid?

I den nya studien genomförs en inventering av de personer som under åren 2008 – 2016 hade svarat ja på frågan om de utsatts för sexualbrott. Med hjälp av personnummer lyckas man hitta ett antal personer som har polisanmält.

I studien uppges att det handlar om 1 362 personer ”som uppfyller kriterierna för undersökningen”. Av dessa har 120 personer identifierats som målsägare vid sexualbrott eller närliggande brott. 9 % av dem som har uppgett att de utsatts för sexualbrott har alltså faktiskt gjort en polisanmälan.

Samtidigt finns det felkällor. Bl a finns ett bortfall på 13 % av personnumren i målsägarregistret för 2015 och 2016. Och så lägger rapportförfattaren till följande:

”Detta, i kombination med att det är relativt få personer som (särskilt tidigare år) uppgett utsatthet för sexualbrott i NTU, innebär att det inte är möjligt att undersöka eventuella förändringar över tid.” (Källa: BRÅ, ”Indikatorer på sexualbrottsutvecklingen 2005-2017”, s. 34)

Frågan inställer sig – anledningen till att använda de gamla siffrorna var för att ”möjliggöra ingående analyser av empiriska data över längre tid”. Men här uppges att det i alla fall inte går att undersöka förändringar över tid. Varför använder man då siffror som gör att BRÅ håller sig med två uppsättningar statistik på exakt samma område? Det tycks finnas behov av en viss förbättring av den interna kommunikationen på myndigheten BRÅ.

Samtidigt har jag stor förståelse för att rapportförfattaren väljer att hålla sig till de tidigare siffrorna. Det tidigare materialet tillåter betydligt mer ingående analys. I NTU för åren 2006 till 2016 fanns inte bara uppgifter om antal utsatta personer utan även antal sexualbrottshändelser och hur stor andel av dessa som hade polisanmälts.

Och det är på den här punkten som de stora mätfelen kommer in.

Mätfelet i NTU är 3,5 gånger för högt

Enligt NTU polisanmäldes 71 940 sexualbrott i Sverige 2016. Men i verkligheten anmäldes 20 284. Det är ett mätfel som är 3,5 gånger för högt.


Och det är inte bara år 2016 som det är fel. Som jag har visat tidigare är dessa mätfel systematiska och genomgående för varje år som NTU har genomförts.

Detta avgörande problem med NTU måste bemötas. Innan dess är det ganska meningslöst att utreda en ökning som vi inte vet om den existerar.

Innan vi kan svara på frågan VARFÖR det har ökat, måste vi först veta OM det har ökat.