Sammanfatta resultat och skapa en djupare förståelse

Vår metod för att ta fram systematiska översikter på Skolforskningsinstitutet består av sex steg: behovsinventering och förstudie, frågeställning, litteratursökning, relevans- och kvalitetsbedömning, data- och resultatextraktion samt sammanställning av resultat och slutsatser. Den här artikeln handlar framför allt om arbetet med resultaten i de sista tre stegen.

Läs om varför vi tar fram systematiska översikter i artikeln Att ta fram forskning som svarar på frågor om undervisning där Skolforskningsinstitutets direktör Camilo von Greiff berättar. Vår forskare Johan Wallin beskriver de första stegen i vår arbetsprocess, om hur vi finner ut vilken översikt som behövs och formulerar rätt frågor att ställa i översikten i artikeln Precisa formuleringar är nyckeln. Läs också hur vår informationsspecialist Eva Bergman skildrar litteratursökning i artikeln Ett systematiskt, transparent och väl dokumenterat letande.

Närläsa de utvalda studierna och jämföra resultaten

Forskningsstudierna i en översikt är utvalda bland en stor mängd studier som vi hittar när vi på ett systematiserat sätt söker i olika referensdatabaser. Litteratursökningen ger många träffar, i storleksordningen tio tusen. Ur den stora mängden gör vi ett urval där vi vid en relevans- och kvalitetsgranskning i flera steg läser alla titlar, sammanfattningar och fulltexter av de studier som vi fick sökträffar för. Därefter börjar sammanställningen av resultaten berättar Karolina:
– Det första steget i sammanställningen av resultaten är att sätta sig in i varje studies resultat genom att läsa varje utvald studie noggrant. Det kan ta tid, för ofta rör det sig om någonstans mellan 15 och 50 studier, ibland fler. Därefter jämför vi studiernas resultat sinsemellan för att se på vilka sätt de skulle kunna sammanställas. Det kan handla om att resultaten kompletterar varandra, stödjer varandra eller att de motsäger varandra. Vi försöker på det sättet se hur se hur studiernas resultat skulle kunna integreras till en helhet.

Arbetet kräver noggrannhet och upprepning men är lärorikt och roligt

Jämförelsen av studiernas resultat ligger till grund för hela sammanställningen av resultaten i studierna fortsätter Karolina:
– Det här gör vi om och om igen. Vi går tillbaka till studierna och läser dem igen, vi jämför studiernas resultat och vi prövar och omprövar hållbarheten i den sammanställning av resultaten som sakteligen växer fram. Det arbetet kallas syntes, eftersom vi inte bara kartlägger studiernas resultat utan gör en syntes av dem. Det är ett kreativt arbete som förutom en hel del strikt analytiskt arbete i alla fall för min del innehåller en hel del känslor. Det pendlar mellan glädje när man tycker sig se och förstå något, och frustration om det senare visar sig att antagandet inte höll när man synade det närmare. Det är också väldigt lärorikt, och det är det jag gillar mest med arbetet. Jag får både ingående kunskaper om det som studierna i översikten handlar om, och jag får ständigt utveckla mina färdigheter i forskningsmetod.

Frågeställningen och typen av resultat påverkar hur syntesen ser ut

En systematisk översikt är ett forskningsarbete, och precis som vid all annan forskning så gör man på olika sätt beroende på vad man vill veta och förstå säger Karolina:
– Det betyder alltså att systematiska översikter besvarar olika typer av forskningsfrågor, och använder olika metoder för att besvara dem. Ofta används liknande metoder för analyserna i den systematiska översikten, som i de studier som ingår i översikten. Exempelvis, om statistiska beräkningar används för att fastställa effekten av att använda en viss undervisningsinsats i de studier som ingår i översikten, så används vanligen statistiska beräkningar även i syntesen av de resultaten. Den här metoden för syntes används i institutets systematiska översikt Digitala lärresurser i matematikundervisningen som undersöker vilka effekter matematikundervisning med digitala lärresurser har på elevers kunskaper i matematik. I flera av våra översikter har vi synteser som kombinerar olika typer av studier, som exempelvis i Laborationer i naturvetenskapsundervisningen och i Läsförståelse och undervisning om lässtrategier. I den sistnämnda genomfördes två synteser. En syntes av kvalitativa studier som svarar på frågan om hur eleverna själva beskriver sin användning och nytta av lässtrategier. Och en syntes av experimentella studier som svarar på frågan om vilken lässtrategiundervisning som bidrar till utvecklad läsförståelse hos eleverna.

Ny kunskap i form av mönster och sammanhang

Ett annat exempel är synteser av kvalitativa studier, studier som ger begreppslig förståelse av undervisningspraktiken. Hittills har det inte varit vanligt med systematiska översikter som sammanställer resultat från sådana studier, förklarar Karolina.
– Kvalitativa studier ger resultat i form av sådant som begrepp, beskrivningar och mönster. De resultaten går inte att lägga samman på samma sätt som resultat som består av siffror. Dessa synteser sammanställer de begreppsliga resultaten genom en analys av hur begrepp och beskrivningar i de olika studierna hänger samman. En sådan syntes innebär på så vis även en teoriutveckling. Exempel på våra systematiska översikter med enbart kvalitativa studier är Klassrumsdialog i matematikundervisningen och Att genom lek stödja och stimulera barns sociala förmågor. Vi utvecklar alla våra metoder ständigt, genom att läsa om metoder i aktuell forskningslitteratur och diskutera i vår metodgrupp på institutet. För varje översikt prövar och omprövar vi resultaten tills vi har en syntes skräddarsydd efter situationen.

Eftersom undervisning är komplext är forskningsresultaten komplexa

Hur man kan använda forskningsresultaten är olika, beroende på vad det är för typ av forskning som sammanställningen innehåller menar Karolina. Hon vill gärna lyfta att resultatet från kvalitativa studier ger kunskap om hur något kan förstås:
– Tanken är att den som tar del av en kvalitativ studie ska förstå sådant som de möter i sin vardag eller i arbetet på ett nytt sätt. Man kan likna det vid att resultatet ska ge en form av aha-upplevelse. Denna nya förståelse kan i sin tur göra att man förändrar sitt sätt att handla. Kvalitativ forskning om undervisning kan ge förskollärare och lärare nya insikter kring den egna undervisningen, vilket kan inspirera dem och göra att arbetet känns mer meningsfullt. Den nya förståelsen kan också innebära att förskollärare och lärare ändrar sättet att undervisa på, för att de ser att de på så vis kan skapa bättre förutsättningar för barnens och elevernas utveckling och lärande. Dessutom bidrar forskningen med termer och begrepp för att tala om undervisningen, vilket kan främja gemensamma diskussioner och förskollärares och lärares kollegiala utveckling av undervisningen i förskolan och skolan.

Noggrann upprepad läsning av flera forskare för att undvika missförstånd

För att motarbeta risken för att vi missförstår eller förenklar resultaten i de studier som ingår i en syntes läser flera personer studierna noggrant och flera gånger berättar Karolina:
– Vi diskuterar resultaten i studierna och hur de förhåller sig till varandra vid upprepade tillfällen. Det är också viktigt att sökningarna efter studier är omfattande och att urvalet görs noggrant, annars riskerar resultatet att bli missvisande eller bristfälligt. Det berättar vår informationsspecialist Eva Bergman mer om i artikeln om litteratursökning: Ett systematiskt, transparent och väl dokumenterat letande.

Det är viktigt att läsa forskning kritiskt

Karolina berättar också att ofta är resultaten inom Skolforskningsinstitutets område inte av den karaktären att de blir inaktuella så fort men det är ändå viktigt att den systematiska översikten publiceras inom en inte alltför lång tid för att resultatet fortfarande ska vara betydelsefullt:
– Om du är nyfiken på hur forskningen vi gör går till och vill få mer kunskap om hur du blir en kritisk granskare av forskning – och det tillråder jag verkligen, att du läser forskning med dina kritiska glasögon på dig – då rekommenderar jag varmt att du läser Skolforskningsinstitutets rapport om vetenskaplig kunskap och hur man kan förhålla sig till vetenskapliga resultat: Hur ska man veta vad forskningen säger?

Foto: Marie Linnér, Scandinav Bildbyrå