Etikettarkiv: mörkertal

NTU:s systematiska mätfel

NTU (Nationella trygghetsundersökningen) används av vissa som källa för att påstå någonting om hur många som har utsatts för sexualbrott i Sverige och även för att påstå någonting om en eventuell ökning. Det går inte att använda NTU för dessa påståenden.


Ni har säkert inte undgått rapporteringen om NTU, BRÅ:s årliga intervjuundersökning där man frågar ett urval personer om brott – om de har blivit utsatta för brott, om de är oroliga för brottsligheten och vilket förtroende de har för rättssystemet.

Häromdagen kom den studie som gäller händelser 2017 i en rapport som kallas NTU 2018.

De som har följt mig vet att jag har skrivit flera gånger om just NTU och om det flagranta mätfel som har präglat de studier som hittills har genomförts under drygt tio år.

Det var därför med viss spänning som jag läste igenom årets undersökning. Hur skulle man adressera dessa systematiska mätfel?
Inte alls visade det sig.

Jag har tidigare på Motargument skrivit om dessa mätfel. Jag visar då också på att diskrepansen är stor även när det gäller misshandel.

Men jag ska här rekapitulera vad mätfelen handlar om:

I NTU frågar man ett urval personer i Sverige om de har utsatts för brott. De som svarar ja på frågan om de har utsatts för exempelvis sexualbrott får därefter svara på följdfrågor, bl a frågan om detta har anmälts till polisen.

I höstas gjorde jag en jämförelse mellan de antal som i NTU uppgav att de hade polisanmält med den officiella statistiken om polisanmälningar. Och det visade sig då att skillnaden var stor – vissa år anmärkningsvärt stor.

För år 2016 var det uppgivna antalet polisanmälningar mer än tre gånger så högt som det verkliga antalet. Andra år är skillnaden mindre men inget år är det uppgivna antalet lägre.
Vad kan vi nu dra för slutsats av detta?

Det är något som gör att siffrorna blir fel. Systematiskt och kraftigt fel. Mindre variationer hade kunnat accepteras – framför allt om skillnaderna hade varit åt båda hållen, både högre och lägre siffror. Men det är alltså systematiskt högre siffror i NTU än i den verkliga kriminalstatistiken. Jag har i mail kontaktat BRÅ för att få svar på vad detta kan bero på, men inte fått något annat svar än att det ”inte är lämpligt” att jämföra kriminalstatistiken med NTU.

En mycket märklig reaktion. Givetvis är kriminalstatistiken i det här fallet en sorts objektiv kontroll av om uppgifterna om just polisanmälningar i NTU är korrekta eller inte. Oavsett om felet beror på att respondenterna lämnar felaktiga uppgifter eller om det finns något som kan förklaras statistiskt så är detta ett mätfel som måste bemötas.

Det var därför med stort intresse jag undersökte data i årets NTU. Men det visar sig nu att det i NTU 2018 som kom häromdagen inte finns någon följdfråga om huruvida det brott en person har utsatts för är polisanmält. I årets NTU-undersökning finns det alltså ingen objektiv kontrollmetod.

Jag vill i det här sammanhanget jämföra med USA, där man har genomfört en liknande brottsofferundersökning ända sedan 1973. I National Crime Victimization Survey (NCVS) ställer man en uppsättning liknande frågor som i den svenska NTU – bl a också frågan om brottet är polisanmält.

Även i den amerikanska undersökningen finns vissa avvikelser jämfört med den officiella kriminalstatistiken – som i det här fallet när det gäller ”rape” och ”aggravated assault”, men
de är inte alls av samma storleksordning som i Sverige – och dessutom varierar skillnaden – ibland är det fler i NCVS och ibland är det färre. Och man tar dessa avvikelser på största allvar.

2016 var siffran i NTU över antalet polisanmälda sexualbrott 234 % högre än den officiella siffran. I USA var siffran 25 % lägre. Året därpå var den amerikanska offerundersökningens siffra 50 % högre.
När det gäller misshandel var skillnaderna i USA marginella – mellan 8 och 16 procent lägre för 2016 och 2017 – i Sverige var motsvarande siffra för 2016 150% högre.

Men nu kan vi inte jämföra hur offerundersökningen och kriminalstatistiken skiljde sig åt i Sverige år 2017. Medan vi kan jämföra detta i USA har vi alltså inte denna möjlighet i Sverige.

Detta är beklagligt.

Det finns flera skillnader mellan årets NTU och tidigare års. Bland annat har man räknat om tidigare års resultat med utgångspunkt från vissa metodförändringar. Detta innebär att antalet utsatta personer under åren 2007 – 2016 nu bedöms vara mycket högre än tidigare. I genomsnitt handlar det om en fördubbling.

Detta innebär att tidigare års uppskattningar av antal utsatta har reviderats kraftigt. År 2017 var antalet som enligt NTU 2018 utsattes för sexualbrott närmare en halv miljon (483 000 personer) – en ökning med den reviderade siffran för år 2016 med 130 000 eller 37 procent.

Man har också valt att inte redovisa antalet brottshändelser utan bara antalet utsatta personer. Därför går det inte att utläsa om även antalet brottshändelser ska revideras.

Men om vi utgår från de siffror som finns från tidigare NTU så kan vi se hur ökningen över tid korrelerar med den felaktiga ökningen av hur många händelser som polisanmälts. När antalet polisanmälningar är kraftigt fel så är också den generella siffran mycket hög.

En halv miljon människor som utsatts för sexualbrott. Och ett mörkertal på 96%. Det är förstås förfärliga siffror, men frågan är – kan vi lita på att dessa siffror stämmer?

Kan vi anse oss veta att närmare en halv miljon personer utsattes för sexualbrott 2017 – samtidigt som det ”bara” gjordes 20 284 polisanmälningar?

Jag anser att vi inte kan det. Inte innan BRÅ har rett ut vad de systematiska mätfelen beror på.

Och jag utgår från att NTU inför nästa års studie återställer de frågor som de nu har utelämnat.

Om NTU handlar om att fånga mörkertalet borde det vara en självklarhet att ställa frågor om polisanmälningar. Och det borde också vara en självklarhet att även redovisa antalet händelser – inte bara antalet utsatta personer.

Tills vidare anser jag fortsättningsvis att NTU inte kan användas för att påstå någonting om hur många som har utsatts för sexualbrott i Sverige och därför inte heller för att påstå någonting om en eventuell ökning.

Felen är för allvarliga och sträcker sig över lång tid.


Jämfört med tidigare år har NTU ett betydligt större urval. 200 000 personer ska ha getts möjlighet att via nätet svara på frågorna. Men även bortfallet har ökat. Det är idag på 60% – det var ca 74 000 personer som faktiskt svarade på frågorna.

Jag vill också understryka att rapportförfattarna skriver att de hoppas kunna återkomma med ”följdfrågor” till nästa NTU. Jag utgår från att bland dessa även ska ingå frågan om det brott som en utsatt person berättar om har polisanmälts.

På spaning efter mörkertalet

Hur utvecklas våldsbrottsligheten i Sverige? Ökar den? Minskar den? För att få svar på den frågan kan vi gå till några olika källor. I ett tidigare inlägg har jag diskuterat polisanmälningarnas roll som källa. I den här artikeln tänker jag diskutera begreppet mörkertal och den källa som skapades bland annat för att råda bot på just detta problem – BRÅ:s årliga intervjuundersökning NTU.


Statistiken om polisanmälningar är detaljerad. Vi vet exakt hur många brott som har polisanmälts varje år flera decennier tillbaka. Men frågan är vilka slutsatser om brottsutvecklingen vi kan dra av detta?

Faktum är att det enda vi med säkerhet vet med utgångspunkt från polisanmälningarna är just själva antalet anmälningar. Vi vet exakt hur många polisanmälningar som har gjorts år från år. Men enbart utifrån statistiken över polisanmälningar kan vi inte med någon större säkerhet säga hur många de oanmälda brotten är. Vi vet bara att de finns. Faktum är att vi inte ens kan säga om en ökning av antalet polisanmälningar också innebär en ökning av antalet verkliga brott. Och ju längre tillbaka i tiden vi går desto större blir osäkerheten. Förändringar i lagstiftningen, benägenheten att anmäla – en rad saker gör att antalet polisanmälningar är ett grovt mått på den verkliga brottsligheten.

Misshandel och sexualbrott

Vi vet att antalet polisanmälda sexualbrott under 2007 – 2016 har varierat mellan 13 – 21 000. Och vi vet också att antalet polisanmälda fall av misshandel under samma tidsperiod har varierat mellan 82 – 90 000, dvs ungefär fyra gånger fler anmälda fall av misshandel än sexualbrott. Men nu är det dags att försöka ringa in antalet brott i dessa två kategorier som ligger utanför polisanmälningarna.

Vi ska gå på spaning efter mörkertalet.

I många år har det funnits bedömningar, uppskattningar och mer eller mindre kvalificerade gissningar om hur stort mörkertalet är. Men det var först 2005 som BRÅ fick i uppdrag av regeringen att starta en ny sorts undersökning för att med större precision få en uppfattning om mörkertalet. Sedan dess har BRÅ varje år levererat resultaten från det som heter Nationella Trygghetsundersökningen (NTU). Den senaste undersökningen från NTU som publicerades tidigare i år gäller 2016. (BRÅ 2018:1)

I NTU får ett statistiskt urval på ca 20 000 personer frågor om brott, både om de själva har utsatts, men också om deras tillit till rättssystemet och deras oro över brottsutvecklingen. Ett av syftena med NTU är just att ringa in mörkertalet eller som BRÅ formulerar det: ”Med hjälp av undersökningen kan man studera brottsutvecklingen utan att vara beroende av att brotten anmäls till Polisen.” (NB: I den undersökning som publiceras senare i januari i år har urvalet utökats väsentligt gentemot tidigare år).

Denna intervjustudie är det enda vi har för att försöka beskriva den del av brottsligheten som aldrig når rättssystemet. Låt oss nu titta på de två typer av brott som vi har fokuserat på – misshandel och sexualbrott. Vi såg att antalet polisanmälningar av misshandel är ungefär fyra gånger fler än antalet polisanmälda sexualbrott. Men vad säger NTU om mörkertalet för dessa två brott?

Det visar sig nu att mörkertalet för båda enligt NTU är mycket högt. Särskilt gäller detta sexualbrott men även misshandel.

Antalet polisanmälda fall av misshandel mellan 2007 och 2016 varierade mellan 82 – 90 000 årligen. Men enligt NTU:s siffror rör det sig i själva verket om ända upp till 711 000 fall av misshandel på ett år (2016). I genomsnitt ligger mörkertalet för misshandel på 80 % – fyra av fem fall av misshandel sker utan att rättsväsendet får kännedom om det.

Detta är förstås en mycket hög siffra. Men när det gäller sexualbrott är mörkertalet ännu högre. Antalet polisanmälda sexualbrott mellan 2007 och 2016 varierade mellan 13 – 21 000 årligen. Men dessa polisanmälningar är bara toppen på ett isberg. Enligt NTU: siffror var mörkertalet i genomsnitt hela 94 %! Det skulle innebära att 19 av 20 sexualbrott aldrig har polisanmälts.

Enskilda år är siffrorna astronomiska. Särskilt år 2016 står ut i båda brottskategorierna – enligt NTU skedde det året 654 000 sexualbrott men bara 21 000 polisanmäldes (3 %). Antalet fall av misshandel var ännu högre – 711 000 – medan antalet misshandelsfall som polisanmäldes var cirka 89 000 (12 %).

Vad är NTU?

Vi ska nu titta närmare på dessa siffror och se om det finns ytterligare information som kan fördjupa vår kunskap om mörkertalet. Låt oss titta närmare på själva undersökningen – vad är Nationella Trygghetsundersökningen för typ av källa?

Till att börja med kan vi konstatera att NTU är en urvalsundersökning. Alla urvalsundersökningar brottas med två grundläggande problem. För det första finns en risk för slumpmässiga mätfel. Här är storleken på urvalet den viktigaste faktorn. Ju fler personer som tillfrågas, desto mindre är risken. För det andra finns en risk för systematiska mätfel. Dessa mätfel minskar inte genom att vi ökar storleken på urvalet och kan bland annat orsakas av systematiska bortfall, intervjuareffekter och ledande frågeformuleringar.

Ett ord som brukat användas för att beteckna ett systematiskt mätfel är bias och utgör i stora kvantitativa undersökningar vanligtvis ett större problem än slumpmässiga mätfel. Slumpmässiga mätfel kan hanteras med hjälp av statistiska hjälpmedel men problemet med systematiska mätfel kan inte lösas genom att använda ett större urval.

Ett statistiskt urval på 20 000 personer får i NTU varje år frågor om en rad saker som rör deras erfarenheter av brott. Det är ett stort urval personer, men bortfallet har ökat under de drygt tio år som undersökningen har genomförts. Inledningsvis var bortfallet drygt 20 %, idag är det närmare 40 %. Dvs siffrorna för 2016 baserar sig på svar från ca 12 000 personer. I de tekniska rapporter som finns som bilagor till undersökningarna finns också resonemang kring ett visst systematiskt bortfall som rör unga och människor med utländsk bakgrund.

När det gäller antalet personer som svarar ja på frågorna om de har utsatts för misshandel eller sexualbrott (det rör sig om mellan 0,7 – 2,9 %) och därefter får följdfrågor kring detta så är vi nere i ett fåtal hundra personer. Allt detta bör man känna till när man använder sig av NTU:s data.

Finns det då något sätt för oss att på ett objektivt sätt kontrollera uppgifterna i NTU? När det gäller intervjupersonernas svar på frågor som rör deras egna erfarenheter av att vara utsatta för brott så är det naturligtvis svårt. Poängen är ju här bland annat att fånga mörkertalet, att hitta de händelser som inte har anmälts till polisen. Men i frågeformuläret finns samtidigt några frågor som rör fakta som går att kontrollera på ett oberoende och objektivt sätt. Det handlar om polisanmälningar.

Objektiv kontroll – polisanmälningar

De som svarar ”ja” på frågor om de har utsatts för ett specifikt brott som exempelvis misshandel och sexualbrott får följdfrågor kring detta, bl a om det som de utsatts för har polisanmälts. Med utgångspunkt från dessa svar kan vi nu jämföra hur många fall av misshandel och sexualbrott som uppges ha blivit polisanmälda med hur många sådana händelser som faktisk har blivit det. Vi jämför helt enkelt svaren i NTU med kriminalstatistikens uppgifter över polisanmälda brott.

Här är siffrorna från NTU:

Vilket ger följande tabeller för just misshandel och sexualbrott:Och nu kan vi jämföra dessa uppgifter från NTU om antal polisanmälningar som intervjupersonerna uppger att de har gjort, med det antal polisanmälningar som rent objektivt gjordes under dessa år:

 

Och det är nu vi upptäcker något. Skillnaden är nämligen stor – vissa år mycket stor – mellan det antal händelser som i NTU uppges vara polisanmälda och det faktiska antalet polisanmälningar för just dessa brott.

Här är en genomgång av den systematiska skillnaden mellan dessa siffror – där statistiken över anmälda brott kan fungera som en sorts objektiv kontroll av de uppgifter som finns i NTU. Vi ser här mycket tydligt den stora diskrepansen mellan de uppgifter som framkommer i intervjuerna och de uppgifter som finns i statistiken över anmälda brott.

Här finns alltså något som gör att NTU landar i systematiskt betydligt högre siffror än den officiella statistiken.


Summering:

Det vi ser är en systematisk och avgörande skillnad när det gäller uppgifter i NTU som kan kontrolleras gentemot objektiva källor. NTU visar systematiskt fel i redovisningen av både de polisanmälda misshandelsfallen och de polisanmälda sexualbrotten. Och det är ingen liten skillnad. En halv miljon misshandelsfall som enligt NTU har polisanmälts under åren 2007 – 2016 har aldrig polisanmälts. Enligt NTU var antalet sexualbrott som polisanmäldes dubbelt så många som verkligen polisanmäldes – 180 000 fler händelser än i verkligheten. Särskilt år 2016 står ut med mycket avvikande siffror.

Det handlar om en systematisk avvikelse när det gäller sexualbrott på över 100 %, och 60 % när det gäller misshandel. Och det är ingen oviktig uppgift som är fel. Ett av syftena med NTU är ju att försöka mäta mörkertalet och mörkertalet blir betydligt lägre om man jämför antalet händelser med NTU:s egna siffror på polisanmälningar. Jämför man NTU:s antal händelser med det verkliga antalet polisanmälningar så blir mörkertalet kraftigt mycket högre.

Vad kan vara förklaringen till dessa systematiska fel i NTU? Till att börja med kan vi konstatera att vi har att göra med en allvarlig felkälla som konsekvent ger för höga siffror. Kriminalstatistiken över antalet polisanmälda brott fungerar här som en objektiv kontroll.

”Att utifrån dessa data tala om ökningar och minskningar av vissa kategorier av brott ter sig olämpligt – för att uttrycka det milt.”

Orsaken kan röra sig om statistiska fel som har att göra med urval – representativitet och bortfall. Andelen personer som svarar ja på den inledande frågan om misshandel och sexualbrott är under dessa år mellan 0,7 och 2,9 %. I faktiska antal rör det sig om mellan drygt 100 och 500 personer. Detta bör i sig innebära att alla uppgifter som härrör från just dessa delar måste kringgärdas med yttersta försiktighet. Att utifrån dessa data tala om ökningar och minskningar av vissa kategorier av brott ter sig olämpligt – för att uttrycka det milt.

Men felkällan kan också ha att göra med själva metoden.

NTU bygger på att intervjuaren från BRÅ ringer upp en av de utvalda personerna som får svara på ett relativt litet antal frågor. Hela intervjun brukar ta mellan 10 – 12 minuter. Ibland kallas denna metod för ”självrapportering”. Och den förutsätter förstås att intervjupersonerna inte systematiskt ljuger, förstorar eller döljer något. Gör de det, så faller hela undersökningen samman. Det finns naturligtvis ingen anledning att i princip misstänka dessa personer för att ljuga och hitta på – men just därför att ett litet fåtal personers uppgifter ska extrapoleras till hela befolkningen så finns det även av detta skäl stor anledning att iaktta försiktighet. Särskilt gäller detta alla försök att använda dessa resultat från NTU i en kvantitativ mätning av brottsutvecklingen.

I sina årliga redovisningar av resultaten från NTU återkommer forskarna vid BRÅ ofta till att ”resultaten bör tolkas med stor försiktighet”. Att detta sällan efterlevs av de som använder NTU i den politiska debatten kan knappast BRÅ lastas för. Ovanstående information understryker hur viktig denna uppmaning är.

Vad kan vi då säga om mörkertalet? Tyvärr förefaller inte NTU vara den källa som vi kanske hade kunnat hoppas. Vi vet att det finns ett mörkertal – men hur stort? Det är fortfarande ovisst.

Källor:

NTU 2018:1

BRÅ: Kriminalstatistik över anmälda brott