17 januari 2017

Om vetenskaplighet och förtroende för forskning –
och om mediernas förhållande till vetenskapligheten

Exempel från Jesper Enboms och Erik Lindenius genomgång av artikeln Russia's strategy for influence … En artikel som uppvisar den här typen av brister ska helt enkelt inte kunna publiceras.






Jag ska göra det här kort, och jag ska försöka göra det på ett principiellt plan, utan att gå in på detaljer.
     För en dryg vecka sedan publicerade den vetenskapliga tidskriften Journal of Strategic Studies en artikel med titeln Russia's strategy for influence through public diplomacy and active measures: the Swedish case av Martin Kragh och Sebastian Åsberg.  Studien bygger på olika sorts innehållsanalyser. Eftersom den handlar om ryska desinformationskampanjer riktade mot Sverige – ett högaktuellt ämne, minst sagt – och dessutom pekade ut redaktioner, organisationer och personer som ganska centrala i spridningen av desinformation fick studien stor uppmärksamhet. "Titta här, här finns forskning som bevisar det vi har diskuterat den senaste tiden!" skulle man kunna sammanfatta reaktionerna med.

Problemet är bara att läser man studien (alltså själva artikeln och inte pressmeddelanden eller intervjuer med författarna) så inser man ganska snart att slutsatserna vilar på en väldigt svag vetenskaplig grund.
     Artikeln är full av svepande formuleringar, generaliseringar, inkonsekvenser, oklara referenser, oklara definitioner av nyckelbegrepp … Metodbeskrivningen är rapsodisk. (Den som är intresserad av en genomgång på strikt akademiska grunder kan med fördel lyssna på podden Mediespanarna, som görs av två medieforskare vid Umeå universitet, Jesper Enbom och Erik Lindenius. Artikeln, och även till dels medierapporteringen kring den, gås igenom i avsnitten #262 och #263.)
     Hade jag reviewat den för en tidskrift inom journalistik hade jag föreslagit reject, alltså underkänt den. Med detta lämnar jag just den biten därhän – jag ska ju försöka göra detta på ett principiellt plan.

I en intervju i tidningen Journalisten avfärdar Kragh Umeåforskarnas kritik med att "de två forskarna … saknar förankring i den forskningslitteratur vi använder, nämligen säkerhetspolitik och statsvetenskap". Men det spelar ingen roll för den kritik som riktas mot artikeln. Kritiken handlar om metod och om vetenskaplighet, och man kan tycka att även säkerhetspolitiska forskare ska leva upp till vissa grundkrav. Annars undergräver de förtroendet för hela sin disciplin. Men:
Utifrån den teori, den bakgrund, den metod och det empiriska material som artikelförfattarna redovisar i sin artikel går det inte att dra de slutsatser som görs. Så enkelt – och så skrämmande – är det. 
När man sedan får höra Kragh intervjuas i Medierna i P1 och säga att en del fakta som artikeln bygger på kommer att redovisas vid ett senare tillfälle, i form av grävande journalistik … ja, ni får ursäkta. Det är ju bara efterhandskonstruktioner. Det har ingenting som helst med vetenskaplighet att göra.
     Att artikeln alls publicerats får mig också att fundera på tidskriften Journal of Strategic Studies och om den kan betraktas som seriös. En vetenskaplig artikel ska vila på egen grund, så att säga. Metod och material ska redovisas. Att publicera en artikel som hänvisar till "framtida belägg" är ju bara konstigt.
     Och detta oavsett om det handlar om säkerhetspolitisk forskning eller om medieforskning. Grundprinciperna är samma. Speciellt som det i det här fallet dessutom handlar om innehållsanalyser – är det något medieforskare är bra på så är det innehållsanalyser.

Det som förvånar mig, och samtidigt skrämmer mig, är det genomslag denna artikel fått i svenska nyhetsmedier. Har de inte läst? Men kanske är det så att artikelns egentliga syfte är att visa hur lättmanipulerade svenska nyhetsmedier är?


Fotnot: Jag ska göra det lätt för Kragh att avfärda min kritik: Jag är kvinna, så jag förstår mig inte riktigt på säkerhetspolitik. Jag är dessutom bara doktorand, så vad vet väl jag om vetenskaplighet överhuvud taget. Och till råga på allt är jag doktorand i journalistik, så egentligen borde jag väl inte uttala mig över huvud taget.

En fotnot till: Tidningen Journalisten plockar upp min kritik och sätter den i ett sammanhang: Krav på haveriutredning.

18 kommentarer:

  1. Det behövs fler kvinnliga doktorandröster även i den säkerhetspolitiska debatten!

    SvaraRadera
  2. Är inte sista fotnoten rätt onödig? Målar den inte Martin med åsikter som han inte nödvändigtvis har?

    SvaraRadera
  3. "Att artikeln alls publicerats får mig också att fundera på tidskriften Journal of Strategic Studies och om den kan betraktas som seriös. En vetenskaplig artikel ska vila på egen grund, så att säga. Metod och material ska redovisas. Att publicera en artikel som hänvisar till "framtida belägg" är ju bara konstigt."

    ^^^ Utan att ta ställning till den specifika tidsskriften eller artikeln av Kragh & Åsberg vill jag säga något generellt:

    1. Peer-reviewers och redaktörer är människor och då och då slipper dåliga artiklar igenom. Det sker i alla tidskrifter. De hittills kritiserade delarna av Kragh & Åsbergs artikel utgör inte heller hela artikeln. Eventuellt kunde artikeln överleva på exemplen från Sputnik, falska brev, etc. även om diskussionen om skribenter på Aftonbladet Kultur inte håller. Det är därför lite snålt och tunt att döma ut hela tidskriften utifrån en artikel.

    2. Hänvisar artikeln till "framtida belägg" eller var det bara något forskarna gjorde senare i media? I det senare fallet var det inte något redaktören kunde ta ställning till och det blir orimligt att lasta tidskriften för det.

    SvaraRadera
    Svar
    1. Man bör notera att författarna påstår sig ha gjort en "detaljerad innehållsanalys" av Sputnik-materialet. De redovisar emellertid inte hur de gått till väga eller vilken programvara de använt. Framförallt har de ingenting att säga i den viktiga frågan om vilka principer som ligger bakom den tematiska klassificeringen av textmaterialet. En vetenskaplig tidskrift borde rimligen ha krävt en sedvanlig redogörelse för den metod som använts. För övrigt är rapporteringen av analysen mager och elementär. Knappast "detaljerad".Numera finns avancerade program för kvalitativ och kvantitativ textanalys (inklusive det som tidigare kallades innehållsanalys). Det hade t.ex. varit möjligt att på rent empirisk grund skapa kategorisystem baserade på texternas innehållsmässiga dimensioner och språkliga karaktär utan i förväg formulerade kategorier. Fogar man sådana brister till dem som nämnts här och annorstädes är det svårt att dra en annan slutsats än Ulrika Hedman. Läs för övrigt Tom Andersson på AB Kultur idag.

      Radera
    2. Tom Anderssons debattartikel i Aftonbladet är verkligen läsvärd. Finns här: http://www.aftonbladet.se/kultur/a/kgBL6/analysen-liknar-viskningsleken

      Radera
  4. Jag tycker inte jag uttrycker mig fullt så kategoriskt som du läser texten. Och jag håller med dig i stora delar – jag skulle gärna se en så kallad major revision. Det är artikeln som den ser ut, i dess publicerade form, som får mig att fundera. Liksom det faktum att en studie publicerats där inte alla empiriska belägg finns redovisade i studien från början. Och nog borde såväl reviewers som redaktören ha sett att det finns den typ av hål i texten?

    SvaraRadera
    Svar
    1. Det borde de. Frågan är dock om en "major revision" är möjlig utan en ny empirisk undersökning av texterna. Dessutom återstår att förklara eventuella kopplingar mellan det materialet och svenska medier. En huvudfråga är för övrigt i vilken utsträckning allmänheten faktiskt påverkas av det som står i tidningen. I synnerhet om det handlar om enstaka författare på en kultursida.

      Radera
  5. Hej Ulrika och tack för din genomgång. Min slutsats är att Kragh drivs av en kombination av omdömeslöshet och brist på analysförmåga. Har skrivit om min egen roll i detta på http://www.realtid.se/debatt/svensk-rysslandsanalys-har-tappat-all-sans-och-balans . Kragas replik på min artikel säger onekligen mest om honom själv.

    Det hade som mediaforskare varit intressant att se Kraghs haveri som en fallstudie på hur genuint falska nyheter sprids. I mitt fall började det alltså med att Aftonbladet kom med insinuationer och använde Kragh som "expert" för att bygga trovärdighet. Av dumhet eller omdömeslöshet väljer sedan Kragh att omvandla AB:s spekulationer till fakta och lyckas få det publicerat i en vetenskaplig tidskrift. Han tipsar internationella journalister och hans rapport omskrivs sedan som "vetenskaplig sanning" i NYT, HuffPo, Guardian och andra världskända medier där Kragh återigen blir intervjuad som någon slags vetenskapsman. Cirkeln sluts när nya journalister, forskare och tidningar börjar komma med nya påståenden, denna gång med ovanstående globala mediajättar som källa.

    Det är riktigt upprörande att bli förtalad av Kragh på detta sätt, och kul att han tycker att "tonen ska sänkas" när han avslöjas som den charlatan han är. Man blir ju dessutom djupt beklämd som medborgare när man ser hur falska nyheter sprids. Jag undrar också varför Kragh får hållas - något är definitivt fel i den svenska utrikesapparaten.

    Mvh Carl Meurling, rysk påverkansagent

    SvaraRadera
    Svar
    1. Jag håller inte med om dina omdömen om studiens huvudförfattare – jag tror alltså inte det här handlar om varken "omdömeslöshet" eller "brist på analysförmåga". Vidare konstaterar jag att den här kommentaren är lite annorlunda jämfört med de andra, och ber bloggens läsare uppmärksamma signaturen (även om signaturen nog innehåller en portion ironi också).

      Radera
    2. Det visar sig att länken i kommentaren ovan inte fungerar som den ska. Den här fungerar bättre http://www.realtid.se/debatt/tillsatt-en-haveriutredning-pa-ui

      Radera
    3. Hej Ulrika, vore intressant att höra vad du tror om Kraghs motiv. Att exempelvis använda Putilov som källa och dölja det med hänvisning till rewrite i The Local slår ju rekord. Carl

      Radera
    4. Jag vill inte spekulera i författarnas motiv – det är ju inte ens säkert att det finns ett motiv att tala om. Jag är i huvudsak intresserad av hur studien alls kunnat gå igenom peer review och publicerats i en vetenskaplig tidskrift, med tanke på de uppenbara brister i metod, referenshantering och ska vi kalla det vetenskaplig stringens som finns. Och hur studien i det skick den publicerats kunnat få så stor spridning i svenska nyhetsmedier.

      Radera
    5. Vi som arbetar seriöst med ämnet Ryssland ställer oss definitivt frågan om motiv. Studien ser jag som en del av ett globalt geschäft, där tiotusentals människor som Kragh tjänar pengar och gör karriär på att prata gallimatias om Rysslands ränksmidande. Det handlar om folk i försvarsindustrin och IT-säkerhetsbranschen, som får ökade budgetar för sina ansvarsområden. Det handlar om politiker och PR/kommunikation som vill hitta en ursäkt för att de har problem att vinna allmänna val. Naturligtvis hänger även media på. Vi är ju uppvuxna på filmer som Jakten på Röd Oktober - Putin och hans anhang är helt enkelt en oemotståndlig klickbomb. Att alla normala journalistiska och vetenskapliga krav kastas överbord under processen beror på två saker: (1) de flesta människor vet ytterst lite om Ryssland och (2) Ryssland har under många år försummats av vårt försvar och utrikesförvaltning som varit upptaget av Mellanöstern sedan 2001. De "experter" som de tvingats kalla in sedan 2014 är dels gamla övervintrare från 1990-talet som misslyckades med i princip alla östeuropeiska reformer som de gav råd om, samt personer som Kragh som tyvärr inte håller godtagbar intellektuell kvalité.

      Jag rekommenderar nedanstående paneldiskussion som går igenom en del av ovanstående ämnen.

      https://www.opendemocracy.net/od-russia/moritz-gathmann-colleagues/whole-pravda-about-russian-propaganda

      Radera
  6. En påminnelse: Det är tillåtet att kommentera anonymt på min blogg, så länge man håller sig till reglerna (finns till vänster om ni läser via desktop). Det är också tillåtet att föra fram andra perspektiv än mina, alltså att faktiskt inte hålla med mig, så länge man håller sig till sak. Av detta följer att jag inte nödvändigtvis delar alla de uppfattningar som förs fram här i kommentarerna. Det är faktiskt ingen som helst idé att be mig ta ansvar för dem ål– håller du inte med om något som sägs här är det bättre att skriva en kommentar än att ventilera invektiv mot mig personligen.

    SvaraRadera
    Svar
    1. Du har ett snyggt sätt Ulrika att jobba med olika perspektiv och åsikter. Tillåtande och principfast. Proffsigt. Det är allt för många som bara stänger ner samtalet eftersom de inte har tid att följa upp.

      Radera
    2. Tack, Tom, vad glad jag blir att du tycker så!

      Radera