Ett systematiskt, transparent och väl dokumenterat letande

Vår metod för att ta fram systematiska översikter på Skolforskningsinstitutet består av sex steg: behovsinventering och förstudie, frågeställning, litteratursökning, relevans- och kvalitetsbedömning, data- och resultatextraktion samt sammanställning av resultat och slutsatser. Den här artikeln handlar framför allt om arbetet med litteratursökningar.

Skolforskningsinstitutets direktör Camilo von Greiff berättar om varför vi tar fram systematiska översikter i artikeln Att ta fram forskning som svarar på frågor om undervisning. Vår forskare Johan Wallin beskriver de första stegen i institutets arbetsprocess, om hur vi tar reda på vilken översikt som behövs och hur vi formulerar rätt frågor att ställa i översikten i artikeln Precisa formuleringar är nyckeln. Läs också hur vår forskare Karolina Fredriksson berättar om det omfattande arbetet med att extrahera resultat, sammanställa dem och dra slutsatser i artikeln Sammanfatta resultat och skapa en djupare förståelse.

Förarbetet är viktigt för att en litteratursökning ska bli bra

En viktig grundtanke med en översikt är att arbetet är systematiskt och att det dokumenteras så väl att det går att upprepa och göra likadant igen. Det gäller litteratursökningen såväl som andra delar av forskningsprocessen berättar Eva:
– Inför varje översikt behöver jag läsa på om ämnet, så att jag vet vad som är viktigt, vad som begränsar kunskapen, vilka termer som behövs, vilka ord som används mest. Jag lyssnar också på vad våra externa forskare har att säga, och vi bollar tankar i projektgruppen. Orden jag uppfattar ska vara med i sökningen testar jag ett och ett, eller kanske i par. Det ger mig en uppfattning om hur jag ska göra när jag avgränsar sökningen. Det är viktigt att även de här testsökningarna är systematiska och att man antecknar vad man gör, så att också den finala söksträngen kan bli systematisk.

Kostnaderna för att få tillgång till forskning är stor

Den mest omfattande sökningen gör vi i de vetenskapliga databaser som institutet har prenumerationer på fortsätter Eva:
– Vi har prövat oss fram genom att ha tillgång till många internationella forskningsdatabaser. Vårt arbete med de systematiska översikterna gör att vi lär oss mer och mer, och i dagsläget har vi tillgång till fyra stora välkända referensdatabaser för forskning, som vi har sett ger oss många relevanta träffar inom det vi är intresserade av, praktiknära skolforskning. De här referensdatabaserna innehåller hundratusentals vetenskapliga referenser inom främst utbildningsområdet, och de har ett gränssnitt som möjliggör väldigt specifika söksträngar, vilket ofta databaser som är öppet tillgängliga inte har. Det gäller till exempel för vissa av de stora skandinaviska referensdatabaser som vi också använder för att göra kompletterande sökningar. Institutet prenumererar även på paket med kända vetenskapliga tidskrifter, framför allt för att få tillgång till studier i sin helhet, alltså inte enbart till referensinformation, som titlar och sammanfattningar. Ibland kan man dock ändå behöva köpa enstaka studier. Sammanlagt har institutet i dagsläget en budget för forskningsdatabaser och tillgång till studier som ligger på runt 700 000 kronor. Det är mycket pengar förstås, men tänker man det delat på alla Sveriges lärare som sedan får tillgång till forskningen är det väl spenderade pengar.

Sökningar i databaser kräver avancerade söksträngar för att bli bra

En söksträng är en kombination av ord med synonymer som beskriver vad man letar efter. Det är viktigt att välja rätt ord och att skriva orden i rätt ordning förklarar Eva:
– Orden ska vara relevanta, så att vi inte missar någon studie. Samtidigt kan de inte vara för allmängiltiga, för då får vi massor av träffar som inte är relevanta. Det kan vara tiotusentals träffar som inte rör den fråga vi är intresserade av. Ett exempel på ett ord som är för allmängiltigt för att använda ensamt som sökord är ”skola”. Vi får inte heller göra en för smal sökning, med för få ord, för då kan vi också missa studier som är relevanta för den frågeställning vi har. Dessutom behöver orden komma i rätt ordning och kombineras på rätt sätt. Den ständiga frågan är, vad är mest mitt i prick?

En söksträng innehåller en mängd specifika villkor

Söksträngen byggs i block, där varje block beskriver ett sammanhang eller ett fenomen som motsvarar en del av frågeställningen. Eva förtydligar:
– En söksträng byggs oftast upp av två av de fyra meningsbärande element som konstruerar forskningsfrågan: deltagare, arbetssätt, resultat och sammanhang. Frågeställningens uppbyggnad berättar Johan Wallin mer om i artikeln Precisa formuleringar är nyckeln. Söksträngen innehåller villkor som man tillverkar bland annat med parenteser och orden ”and” och ”or”. Till exempel kan man säga att ett ord ska vara högst fem ord från ett annat, därför att de två orden tillsammans beskriver fenomenet som man letar efter. Oftast är en söksträng flera hundra tecken lång, ibland blir den så lång som runt tusen tecken. Både längden och innehållet ställer krav på problemlösning och noggrannhet. Det är en av anledningarna till att det här arbetet är roligt. En annan är att litteratursökningen är en del av en hel process, där alla delar i forskningsprojektet beror av varandra och har betydelse för slutresultatet. Formuleringen av frågeställningen är förstås tätt knuten till litteratursökningen, men även vilken typ av resultat som efterfrågas och hur de ska sammanställas påverkar hur söksträngen ska vara formulerad.

Det går inte att bara förlita sig till forskningsdatabaser

Eva säger att det kan vara bra att komplettera sökningarna i referensdatabaserna med andra typer av sökningar, till exempel handsökningar, citeringssökningar eller kedjesökningar:
– Vi kan se på träfflistorna att vissa tidskrifter ger många relevanta träffar, då händer det att vi gör extra sökningar i dem. Våra externa forskare som är kopplade till projekten tipsar ibland om viktiga studier inom deras expertområde, dem får vi förstås inte missa. Och när vi har kontrollerat vilka studier som uppfyller kriterierna och kommer att vara med i vår systematiska översikt, då gör vi ofta citeringssökningar – vi söker helt enkelt efter andra studier som citerar den utvalda studien. Vi gör också kedjesökningar, det vill säga letar i referenslistorna i vissa viktiga studier. Alla studier finns inte heller i referensdatabaserna. Skolforskningsinstitutets egna översikter är ett exempel. Behöver man hitta forskning av det slaget kan man vara tvungen att leta på specifika webbplatser, exempelvis hos organisationer som tar fram systematiska översikter. Det är viktigt att ha en tydlig strategi, så att man kan undvika att urvalet av studier blir snedvridet och resultaten missvisande eller mindre fullödiga.

Om sökningar behöver kompletteras är det ett viktigt arbete

Det är även möjligt att komplettera med en sökning när resten av sökningarna är avslutade klargör Eva:
– För en översikt med kvalitativa resultat, till exempel när lärare samtalat med elever om matematik som i översikten Klassrumsdialog i matematikundervisningen, kan fler relevanta studier göra att vi får med fler aspekter av klassrumsdialoger och därmed att översikten kan ge ett fylligare svar. När översikten handlar om studier som mäter effekten av olika interventioner – alltså en undervisningsinsats som forskningen i en studie tittat på – är det viktigt att vi får med så många relevanta studier som möjligt för att vi inte ska få ett missvisande resultat. Det skulle kunna hända om vi i sökningen missar studier med helt motsatta effektresultat än de studier vi redan fångat. Till exempel har vi i översikten Digitala lärresurser i matematikundervisningen räknat effektmått. Skulle vi i det arbetet ha haft anledning att tro att vi missat viktiga studier som uppfyllde inklusions- och exklusionskriterierna så hade vi gjort ytterligare sökningar. Men helst vill vi förstås att litteratursökningarna ska vara så fullständiga som möjligt redan från början, eftersom även resultaten från de kompletterande sökningarna måste gå igenom samma relevans- och kvalitetsbedömningsprocess som de ursprungliga sökningarna.

Litteratursökningen är också nära knuten till relevans- och kvalitetsbedömningen

Efter sökningarna börjar relevans- och kvalitetsgranskningen upplyser Eva:
– Först exporterar vi sökträffarna till vårt referenshanteringsprogram och sorterar bort dubbletterna. För samma studie kan förstås finnas med i flera databaser. Sedan använder vi en programvara där de som granskar inte kan se vad de andra granskarna har gjort, så att de kan göra oberoende bedömningar. Den här urvalsprocessen görs i flera steg. Först läser vi internt på institutet alla titlar och sammanfattningar och plockar bort de studier som helt tydligt inte uppfyller inklusions- och exklusionskriterierna. Det brukar resultera i att ungefär en tiondel av träffarna från sökningen blir kvar. Då läser de externa forskarna dessa titlar och sammanfattningar för att bedöma vilka studier som uppfyller kriterierna, och alltså kan vara relevanta för att besvara frågeställningen. Det brukar vara knappt hälften som uppfyller dem. De här studierna läser forskarna sedan, och då sorterar vi bort ungefär två tredjedelar. Studierna som blir kvar bedömer forskarna efter djupläsning. I processen diskuterar projektgruppen ifall de studier forskarna först inte har samma åsikt om ska vara med eller inte. Det brukar vara någonstans mellan 15 och 50 studier kvar som kommer med i översikten när relevans- och kvalitetsgranskningen är klar, ibland fler.

Fördjupa sig i forskning är en rolig och givande del av arbetet

Alla litteratursökningar vi gör till en systematisk översikt dokumenteras och redovisas säger Eva:
– Till alla våra systematiska översikter finns det en bilaga om litteratursökningarna, som precis som övriga bilagor går att ladda ner från vår webbplats. Även för den som inte sätter sig in i alla detaljer kan det vara spännande att se hur allting hänger ihop. Jag vet att alla på institutet gör ett gediget arbete och kan därför rekommendera alla våra systematiska översikter. Att få fördjupa sig i forskning är en rolig och givande del av mitt arbete, och jag tänker att det också är en både viktig och intressant del av läraryrket. Vill du ha stöd i arbetet med att granska forskningsresultat rekommenderar jag att du läser vår rapport Hur ska man veta vad forskningen säger?

Foto: Astrakan Images, Scandinav Bildbyrå