Precisa formuleringar är nyckeln

Artikel

Precisa formuleringar är nyckeln

Precisa formuleringar är nyckeln

En systematisk översikt är frågestyrd. Men hur vet vi vad vi ska fråga om, och hur vi ska ställa frågan för att vi ska få svar på det vi vill veta? För att kunna redogöra för det har vi pratat med vår forskare Johan Wallin som har projektlett arbetet med att ta fram flera systematiska översikter.

Vår metod för att ta fram systematiska översikter på Skolforskningsinstitutet består av sex steg: behovsinventering och förstudie, frågeställning, litteratursökning, relevans- och kvalitetsbedömning, data- och resultatextraktion samt sammanställning av resultat och slutsatser. I artikeln Att ta fram forskning som svarar på frågor om undervisning berättar vår direktör Camilo von Greiff mer om arbetet med att ta fram systematiska översikter. Läs också vad vår informationsspecialist Eva Bergman berättar om informationssökning i artikeln Ett systematiskt, transparent och väl dokumenterat letande. Vår forskare Karolina Fredriksson berättar om det omfattande arbetet med att extrahera resultat, sammanställa dem och dra slutsatser i artikeln Sammanfatta resultat och skapa en djupare förståelse.

Vad vill de verksamma i skolan veta mer om?

Johan vill gärna lyfta att för Skolforskningsinstitutet är det centralt att våra översikter svarar mot faktiska och upplevda behov i undervisningen, och att det bara är så vi kan lyckas med vårt uppdrag att verka för att undervisningen i förskolan och skolan bedrivs på vetenskaplig grund:
– Som en del av behovsinventeringen genomför vi fokusgrupper där vi samtalar med verksamma i skolan. Vi vill veta vilka behov av kunskap från forskning de upplever att de har. För att samtalen ska bli konkreta pratar vi om utmaningar och dilemman de upplever i relation till undervisningen i vardagen. Ibland tar vi även med ämneskunniga forskare, som stöd för alla samtalsparter, men de verksamma får det största samtalsutrymmet.

Det är en stor investering att genomföra en systematisk översikt, och det tar ungefär ett och ett halvt år. Därför måste vi vara säkra på att vi gör rätt saker redan från början fortsätter Johan:
– I samband med behovsinventeringen analyserar vi även tillgängliga rapporter om och utvärderingar av undervisning, till exempel från myndigheter, forskningsinstitut och andra kunskapsorganisationer. Dessutom samverkar vi med en mängd aktörer inom området, som exempelvis de andra skolmyndigheterna, lärar- och elevorganisationer, nationella och regionala resurs- och utvecklingscentrum vid våra lärosäten och skolutvecklare på huvudmannanivå.

En förstudie innan nämnden fattar beslut om inriktning

Behovsinventeringen bygger vi upp kontinuerligt och dokumenterar i en egen databas, och sedan analyserar vi insamlade fakta och använder dem som grund för förstudier berättar Johan:
– I en förstudie kompletterar vi de identifierade behoven med tillgänglig forskning, för att kunna föreslå en inriktning som är angelägen för skolans verksamma och där forskning bedöms kunna bidra till att utveckla undervisningen. Förstudierna innebär alltså att vi gör övergripande sökningar efter vetenskaplig litteratur och för dialoger med ämnesforskare. Skulle det saknas forskning kan vi inte gå vidare eftersom det är forskningssammanställning som är vårt uppdrag.

Skolforskningsnämnden använder förstudien för att besluta vilken inriktning den systematiska översikten ska ha säger Johan:
– Nämnden består av både verksamma inom förskolan och skolan samt skolforskare, och utses av regeringen. Uppdraget de har är att stödja institutet genom att vara ”ett öra mot marken”. Eftersom ledamöterna befinner sig i eller i nära anslutning till skolan och skolforskningen bidrar de med viktig information och återkoppling för att vi ska hamna rätt. Det är Skolforskningsnämnden som tar beslut om vilka systematiska översikter vi ska genomföra.

Projektgruppen tar fram vilka villkor studierna ska uppfylla

När Skolforskningsnämnden har beslutat vilken inriktning den systematiska översikten ska ha skapas en projektgrupp. Den ska ha en forskare från Skolforskningsinstitutet som projektledare, och det ska ingå minst två externa forskare som är specialister inom översiktens område. I gruppen ingår också andra från institutet, som exempelvis informationsspecialister uppger Johan:
– Projektgruppen tar sedan tillsammans fram inklusions- och exklusionskriterier för översikten. Dessa kriterier bestämmer alltså vilka villkor som studierna som tas med ska uppfylla, eller inte får uppfylla. Det är det som egentligen definierar själva frågeställningen.

Kriterierna definierar på det sättet förutsättningarna för vilka studier som kommer att identifieras i våra litteratursökningar i referensdatabaser, för att sedan kunna väljas ut till översikten. De är en mer precis formulering av frågeställningen och definierar översiktens ramar både ämnesmässigt och tekniskt förklarar Johan:
– Vi tittar på fyra meningsbärande element: deltagare, arbetssätt, resultat och sammanhang. Det kan exempelvis handla om sådant som elevernas ålder, eller vilken typ av undervisning vi ska titta på. Dessutom krävs flera tekniska avgränsningar, som till exempel under vilken tidsperiod studierna ska ha gjorts. I alla våra publicerade översikter finns kriterierna med, så den som är nyfiken på hur de kan se ut kan läsa om varje översikts specifika förutsättningar.

Fördjupad kunskap under arbetets gång förbättrar översikten

Johan menar att projektgruppen har ett stort ansvar för att frågeställningen och kriterierna svarar mot de behov som analyserna i förstudien har identifierat:
– Frågeställningens övergripande inriktning står därför i princip fast. Samtidigt krävs att hela projektgruppen når ganska djupt in i ett undervisningsområde för att de ska kunna bestämma alla nödvändiga detaljer i kriterierna, och då samtidigt i frågeställningen. Detaljerna i kriterierna kan behöva kompletteras allteftersom projektgruppen formerar sin gemensamma förståelse. Projektgruppen lär sig mer om området hela tiden. Dessutom behöver gruppen nå en gemensam förståelse av vad översikten kan besvara. Det är också en process att verkligen nå fram till alla de relevanta aspekter som behövs.

Frågeställningen ska helt styra vilken forskning som ska ingå i den systematiska översikten uppger Johan:
– Det är viktigt att arbetet inte färgas av några föreställningar om resultaten som någon kan ha i förväg. Vi kan inte göra som man gör när man läser på internet och följer sina intressen på samma sätt som man rullar en snöboll och plockar upp lite här och lite där. Det är inte forskning. Frågan ska helt styra vilka forskningsstudier som ska ingå i en översikt. Det är också viktigt att vi inte lägger resurser på fel saker. Men i början av urvalsprocessen har vi generösa inklusionsprinciper. Vi kan komplettera en frågeställning om vi märker att det behövs, eller kanske gå upp en nivå och bredda en fråga. Strukturen växer fram i samklang mellan det ursprungliga ramverket och vad materialet från litteratursökningarna ger.

Finjusteringar av frågeställningen förtydligar svaren men förändrar dem inte

På en övergripande nivå är arbetsgången densamma i alla systematiska översikter. Efter det att litteratursökningarna är gjorda tar relevans- och kvalitetsbedömningen vid. Den börjar med att projektgruppen läser alla identifierade studiers sammanfattningar. Johan berättar:
– När urvalsprocessen passerat läsningen av sammanfattningarna behöver inklusionskriterierna ligga fast. Om det skulle framkomma argument för en justering behöver kanske både litteratursökningarna och den första gallringen börja om. Det har hittills inte hänt, eftersom vi alltid börjar med generösa inklusionsprinciper och en övergripande huvudfråga för att inte riskera att missa något viktigt.

Frågan som ställs i översikten är helt avgörande för vilken typ av studier som har förutsättning att ge svar förklarar Johan:
– Ställs en fråga om effekterna på elevernas kunskaper, av en viss undervisningsinsats, kräver det att en viss typ av studieupplägg har använts. Om frågan i stället handlar om att beskriva och sätta ord på en viss undervisningsrelaterad företeelse, då krävs helt andra studieupplägg. Beroende på vilka frågor som ställs kommer metoderna för att sammanställa resultaten behöva se olika ut. Olika frågor utgår från olika kunskapsintressen och kräver olika sorters data. Det är något som ingår i arbetet med att bestämma inklusionskriterierna.

Raka frågor har inte alltid enkla svar

Skolforskningsinstitutets uppdrag är att bidra med forskningsbaserad kunskap, vilket inte alltid är helt okomplicerat fastställer Johan:
– Det ena är inte viktigare än det andra när man säger att utbildningen i skolan ska vila på vetenskaplig grund och beprövad erfarenhet. Men vårt uppdrag som myndighet är den vetenskapliga grunden. Precis som att läraryrket är komplext kan det vara svårt att formulera ett rimligt vetenskapligt resonemang på ett pedagogiskt sätt. När resultaten från en systematisk översikt integreras i undervisningen är det alltid viktigt att ta hänsyn till egna kunskaper och bedömningar. Kollektiva och individuella erfarenheter har betydelse, och elevernas situation, samt förstås behoven i lärmiljön.

 

Foto: Astrakan Images, Scandinav Bildbyrå


Uppdaterad: 2021-02-18 09:32