En studie har löpt gatlopp i massmedia, utförd vid Linköpings Universitet. Holgersson, S., Grahn, O. & Wieslander, M. ”Går det att lita på Brå? En studie om bias i myndighetsforskning”.
De drar slutsatser att Brå har inslag av en tystnadskultur, och att ”ett flertal” har vittnat om styrning av forskningspresentation, medan ”andra” inte upplever det. I media och den offentliga debatten har man tagit till sig, främst de två första påståendena, att det finns en tystnad och att ”ett flertal” vittnat om styrning. Andra har kritiserat undersökningen som sådan och hävdat att den inte skulle bli godkänd som kandidatuppsats.
Det hade varit mig ett stort nöje att gå igenom de senares egna examinationer, för att finna ut vilka kvalitetsnivåer de begär för att få godkänt på kandidatnivån. Jag tror jag är villig att slå vad om en guldtia att jag utan större ansträngning skulle hitta godkända kandidatuppsatser från dem som höll samma eller lägre nivå. Det är helt enkelt blott och enbart tramsigt munväder från dessa kritikers håll.
Emellertid finns det några noteringar att göra. Rapportförfattarna använder sig främst av intervjumaterial. De har genomfört 37 intervjuer med människor i olika position, där 35 genomförts via telefon, och 2 vid personliga möten. De varade mellan 10 minuter och tre timmar. Man spelade i allmänhet inte in dem, utan tog notat, som skickades till intervjupersonerna, för deras godkännande, främst tycks det, om det fanns delar som behövde strykas.
Man tycks inte analysera intervjumaterialet, utan tar utsagor från intervjupersoner som fakta. En god kvalitativ analys frågar sig, varför säger personen det som den säger, och försöker förstå utsagan utifrån dennes livssituation. Ett vanligt fel, just utfört av allt från kandidataspiranter till professorer, är att ta en intervjupersons utsaga som fakta. Om personen säger att jorden är rund, då är jorden rund. Medan den seriösa, rigorösa kvalitativa forskaren försöker förstå varför intervjupersonen vill säga att jorden är rund i intervjuögonblicket.
I några fall rör sig forskarna mot mer rigorös forskningsmetod. Det sker när de tar upp konkreta forskningspublikationer. Men här hänger de sig åt insinuationsmetoden, att insinuera att något har skett.
Detta är dock inte ett ovanligt sätt att utföra sk kvalitativ forskning. Jag skulle hävda att det ännu är en vanlig form av kvalitativ forskning. Visst är det låg kvalité, eller snarare, ingen kvalité, då ingen seriös och rigorös analys görs. Men lika fullt är det ett sätt att arbeta som accepteras i vetenskapssamhället. Den hårda kritiken mot rapportens metod, men framför allt dess analysmetod, är korrekt i sin slutsats, men tycks mer vara driven, inte av omsorg om forskningens kvaliteter, utan av rapportens slutsatser.
Intervju är ju ett dåligt sätt att fånga ett fenomen, och är egentligen bäst som komplement till bättre datakällor, där observation och arkivdata är helt överlägsna. En mer seriös forskning från deras sida vore att hämta upp några rapporter, och gå tillbaka i tiden, se hur de såg ut i utkast, hur de behandlats, och följa dem ända tillbaka till dess initiering. Då skulle man kunna beskriva hur rapportens slutsatser formats, och vilka processer och krafter som varit med och påverka.
Men! Det förefaller som om forskarna haft svårigheter med datatillgången. Det skedde t o m sådant som att möjliga intervjupersoner hoppade av, efter att den undersökta organisationen förstått vad som undersöktes. Den slutsatsen de drar, om en tystnadskultur, hämtas delvis från den egna empiriska upplevelsen de fått av organisationen. Hade Brå varit en seriös organisation, då hade de givetvis välkomnat undersökningen och dragit fram allt källmaterial som tänkas kunde, för att få bli granskad och bedömd, i akt och mening att kunna förbättra sig. Så tycks inte ha varit fallet, varför en överlägsen metod, t ex att undersöka en rapport bakåt i tiden för att förstå dess slutliga utformning utifrån dess initiering och process, säkert inte var möjlig.
Forskarna kanske helt enkelt blev tvingade till en enkel datainsamling. Men det innebär inte att deras eget arbete med analys, och presentation, skulle behöva bli på den primitiva dataredovisningen, att ’flertalet hävdade att’ eller insinuationsmetoden, där man mer insinuerar eller påvisar.
Slutsatsen jag gör är att rapporten förvisso är dålig, så som alla liknande sk kvalitativa rapporter är, där ytfenomen blir data, då forskarna inte gitter utföra en systematisk och rigorös kvalitativ analys. Men att den ju inte är sämre än andra, som inte rönt samma kritik och mottagande. Kritikernas hänvisning till metoden och analysen, att den är sämre än en godkänd kandidatuppsats, bör nog förstås, mindre i omsorg om en vetenskaplighets möjligheter till sanning, som att slutsatserna inte är passande.
Rapporten visar istället det vi alla vet. Forskarnas resultat kommer och går, medan de som består, är inte de bästa rapporternas slutsatser, utan de som passar i samhället, just den sekund de presenteras.
Jag glömmer aldrig den beramade debattartikeln på DN:s debattsida, som basunerade ut att fler kvinnor i styrelsen ger bättre företag, skriven av Uppsala-forskare med en uppsats som grund, dvs med det anrika universitetet som legitimerande kraft. Men det visade sig vara en undersökning som blott visade att stora företag tenderar att ha fler kvinnor i styrelsen, och att stora företag tenderar också att ha högre vinst, av den enkla anledningen att de var stora. Ett bolag som omsätter 1 miljard kan ju inte ha en miljard i vinst. Det var pinsamt enkla metodfel, men som gav en slutsats som var väl efterfrågad.
Sanningen är därför inte sällan, det som passar. Inte det som är sant.
Öllsjö den 22 december 2019
De drar slutsatser att Brå har inslag av en tystnadskultur, och att ”ett flertal” har vittnat om styrning av forskningspresentation, medan ”andra” inte upplever det. I media och den offentliga debatten har man tagit till sig, främst de två första påståendena, att det finns en tystnad och att ”ett flertal” vittnat om styrning. Andra har kritiserat undersökningen som sådan och hävdat att den inte skulle bli godkänd som kandidatuppsats.
Det hade varit mig ett stort nöje att gå igenom de senares egna examinationer, för att finna ut vilka kvalitetsnivåer de begär för att få godkänt på kandidatnivån. Jag tror jag är villig att slå vad om en guldtia att jag utan större ansträngning skulle hitta godkända kandidatuppsatser från dem som höll samma eller lägre nivå. Det är helt enkelt blott och enbart tramsigt munväder från dessa kritikers håll.
Emellertid finns det några noteringar att göra. Rapportförfattarna använder sig främst av intervjumaterial. De har genomfört 37 intervjuer med människor i olika position, där 35 genomförts via telefon, och 2 vid personliga möten. De varade mellan 10 minuter och tre timmar. Man spelade i allmänhet inte in dem, utan tog notat, som skickades till intervjupersonerna, för deras godkännande, främst tycks det, om det fanns delar som behövde strykas.
Man tycks inte analysera intervjumaterialet, utan tar utsagor från intervjupersoner som fakta. En god kvalitativ analys frågar sig, varför säger personen det som den säger, och försöker förstå utsagan utifrån dennes livssituation. Ett vanligt fel, just utfört av allt från kandidataspiranter till professorer, är att ta en intervjupersons utsaga som fakta. Om personen säger att jorden är rund, då är jorden rund. Medan den seriösa, rigorösa kvalitativa forskaren försöker förstå varför intervjupersonen vill säga att jorden är rund i intervjuögonblicket.
I några fall rör sig forskarna mot mer rigorös forskningsmetod. Det sker när de tar upp konkreta forskningspublikationer. Men här hänger de sig åt insinuationsmetoden, att insinuera att något har skett.
Detta är dock inte ett ovanligt sätt att utföra sk kvalitativ forskning. Jag skulle hävda att det ännu är en vanlig form av kvalitativ forskning. Visst är det låg kvalité, eller snarare, ingen kvalité, då ingen seriös och rigorös analys görs. Men lika fullt är det ett sätt att arbeta som accepteras i vetenskapssamhället. Den hårda kritiken mot rapportens metod, men framför allt dess analysmetod, är korrekt i sin slutsats, men tycks mer vara driven, inte av omsorg om forskningens kvaliteter, utan av rapportens slutsatser.
Intervju är ju ett dåligt sätt att fånga ett fenomen, och är egentligen bäst som komplement till bättre datakällor, där observation och arkivdata är helt överlägsna. En mer seriös forskning från deras sida vore att hämta upp några rapporter, och gå tillbaka i tiden, se hur de såg ut i utkast, hur de behandlats, och följa dem ända tillbaka till dess initiering. Då skulle man kunna beskriva hur rapportens slutsatser formats, och vilka processer och krafter som varit med och påverka.
Men! Det förefaller som om forskarna haft svårigheter med datatillgången. Det skedde t o m sådant som att möjliga intervjupersoner hoppade av, efter att den undersökta organisationen förstått vad som undersöktes. Den slutsatsen de drar, om en tystnadskultur, hämtas delvis från den egna empiriska upplevelsen de fått av organisationen. Hade Brå varit en seriös organisation, då hade de givetvis välkomnat undersökningen och dragit fram allt källmaterial som tänkas kunde, för att få bli granskad och bedömd, i akt och mening att kunna förbättra sig. Så tycks inte ha varit fallet, varför en överlägsen metod, t ex att undersöka en rapport bakåt i tiden för att förstå dess slutliga utformning utifrån dess initiering och process, säkert inte var möjlig.
Forskarna kanske helt enkelt blev tvingade till en enkel datainsamling. Men det innebär inte att deras eget arbete med analys, och presentation, skulle behöva bli på den primitiva dataredovisningen, att ’flertalet hävdade att’ eller insinuationsmetoden, där man mer insinuerar eller påvisar.
Slutsatsen jag gör är att rapporten förvisso är dålig, så som alla liknande sk kvalitativa rapporter är, där ytfenomen blir data, då forskarna inte gitter utföra en systematisk och rigorös kvalitativ analys. Men att den ju inte är sämre än andra, som inte rönt samma kritik och mottagande. Kritikernas hänvisning till metoden och analysen, att den är sämre än en godkänd kandidatuppsats, bör nog förstås, mindre i omsorg om en vetenskaplighets möjligheter till sanning, som att slutsatserna inte är passande.
Rapporten visar istället det vi alla vet. Forskarnas resultat kommer och går, medan de som består, är inte de bästa rapporternas slutsatser, utan de som passar i samhället, just den sekund de presenteras.
Jag glömmer aldrig den beramade debattartikeln på DN:s debattsida, som basunerade ut att fler kvinnor i styrelsen ger bättre företag, skriven av Uppsala-forskare med en uppsats som grund, dvs med det anrika universitetet som legitimerande kraft. Men det visade sig vara en undersökning som blott visade att stora företag tenderar att ha fler kvinnor i styrelsen, och att stora företag tenderar också att ha högre vinst, av den enkla anledningen att de var stora. Ett bolag som omsätter 1 miljard kan ju inte ha en miljard i vinst. Det var pinsamt enkla metodfel, men som gav en slutsats som var väl efterfrågad.
Sanningen är därför inte sällan, det som passar. Inte det som är sant.
Öllsjö den 22 december 2019
RSS-flöde
