Hur ska man veta vad forskningen säger?

1. Inledning

All utbildning i Sverige ska enligt skollagen (2010:800) vila på vetenskaplig grund och beprövad erfarenhet. Lagen, som är en ramlag, specificerar dock inte vad som menas med formuleringen eller hur det ska omsättas i praktiken. Skolforskningsinstitutet definierar vetenskaplig grund som resultat av vetenskapliga studier, det handlar om vad forskningen säger.

Att utgå ifrån resultat av vetenskapliga studier är dock inte alltid så enkelt som det låter. Det krävs en förståelse för vad forskning är, och en förmåga att tolka forskningsresultat. Man måste känna till processen bakom vetenskapliga resultat och kunna väga och värdera olika resultat och slutsatser. Sven Persson (2017) lyfter fram betydelsen av en sådan kompetens och använder termen forskningslitteracitet för att peka på betydelsen av en typ av allmänbildning om forskning. Han definierar forskningslitteracitet mer exakt som ”förmågan att förstå, värdera och använda vetenskaplig kunskap i ett speciellt sammanhang” (Persson, 2017, s. 5). I Att ställa frågor och söka svar, en kunskapsöversikt om vetenskaplig grund och beprövad erfarenhet, understryker även Skolverket att det krävs en grundläggande förståelse av forskning för att lärare och förskollärare på ett konstruktivt sätt ska kunna använda sig av forskning i sin dagliga verksamhet (Skolverket, 2020).

Skolforskningsinstitutet har tagit fram denna rapport i syfte att stödja skolans och förskolans verksamma i arbetet med att vidareutveckla sin förståelse av vad forskning är. Rapporten är inte tänkt att ge en heltäckande beskrivning av vetenskapsteori och vetenskapliga metoder; snarare är tanken bakom rapporten att visa exempel på diskussioner som vi på Skolforskningsinstitutet har fört i relation till hur forskningsresultat ska förstås.

Inom ramen för institutets arbete med att producera systematiska översikter har vi kritiskt granskat en lång rad vetenskapliga studier, och i denna process har vi uppmärksammat flera generella frågor om hur man kan förstå och tolka vetenskaplig kunskap.[1] Genom diskussioner om vilka olika typer av kunskap som forskning kan erbjuda vill vi ge skolans och förskolans verksamma verktyg för att värdera, kritiskt granska och förhålla sig till forskningsresultat. Vi diskuterar också vilka slags metoder som kan användas för att nå olika typer av kunskap och vad som är viktigt att tänka på när man ska bedöma en studies tillförlitlighet.

Enligt Margareta Serder bidrar en djupare förståelse för diskussioner om hur man kan förstå och tolka vetenskaplig kunskap också till att skolans verksamma blir bättre rustade för att göra professionella bedömningar av forskningsresultat (Serder, 2020). Om lärare och förskollärare har en god förståelse för vad vetenskaplig kunskap är och hur den skapas, kan de självständigt bedöma värdet och tillämpbarheten av forskningsresultat, snarare än att bara tillämpa dem. Detta är nyckelkompetenser för att stärka såväl undervisningens kvalitet som lärares och förskollärares professionalisering.

Trots betydelsen av sådana kompetenser har skolans och förskolans verksamma hittills inte erbjudits tillräcklig vägledning i dessa frågor, vilket bland annat framgår i Universitetskanslersämbetets (UKÄ:s) utvärderingar av lärarutbildningarna. Utvärderingarna visar på brister vad gäller undervisning om vetenskapsteori och forskningsmetoder[2]. Dessa slutsatser understöds också av Ninni Wahlström och Daniel Alvunger som visar att kurslitteraturen vid lärarutbildningarna främst är av lärobokskaraktär, vilket inte främjar studenternas kännedom om de processer som ligger till grund för forskningsresultat. Lärarstudenter möter enligt författarna ”sällan forskningslitteratur i dess direkta form på så vis att de åskådliggör en hel forskningsprocess, från forskningsfrågor och metod till resultat” (Alvunger & Wahlström, 2018, s. 129).

Även i Skolinspektionens granskning (2019) framkommer en rad brister i rektorernas och huvudmännens arbete med att skapa förutsättningar för en utbildning på vetenskaplig grund. Slutsatserna pekar på att huvudmännen i stor omfattning behöver utveckla stödet till skolorna och ge de verksamma på skolorna ökade möjligheter att söka och inhämta forskningsresultat. Granskningen framhäver värdet av att förmå rektorer och lärare att aktivt söka efter olika kunskapskällor och kritiskt värdera och jämföra dem. Dessa förmågor ses som avgörande för att man ska kunna välja insatser och arbetssätt som baseras på relevant forskning och svarar mot verksamhetens behov.

Inte minst i debatten kring skolans digitalisering har värdet av att förstå och värdera vetenskaplig kunskap i valet av arbetssätt varit framträdande. Förenklade tolkningar har förekommit i den allmänna debatten och man kan lätt få uppfattningen att digitalisering antingen är svaret på alla problem, eller att all digitalisering är negativ. Skolforskningsinstitutets systematiska översikt (2017:02, delrapport skola) om digitala lärresurser i matematikundervisningen nyanserar dock den bilden. Översikten visar att det är resursernas innehåll och egenskaper – hur de är konstruerade, samt hur de integreras i den övriga undervisningen som avgör om de kan bli ett bidragande tillskott. Enbart det faktum att en lärresurs är digital har i sig ingen avgörande betydelse för elevers kunskapsutveckling. Det finns exempel på studier där användning av digitala lärresurser gett statistiskt säkerställda effekter på elevers kunskaper i matematik, men det finns också exempel på studier där man inte kunnat påvisa några effekter eller där användning av resursen i fråga till och med har lett till försämrade kunskapsresultat.

1.1 Disposition

Vi har strukturerat diskussionerna i denna rapport om vad vetenskaplig kunskap är och hur den skapas i tre olika nivåer, och i figur 1 visas hur nivåerna hänger samman. Studiers kunskapsintresse – vad studierna kan erbjuda kunskap om – hänger samman med vilka metoder man använder i studierna och de specifika utgångspunkter och förutsättningar som olika metoder är förbundna med. Olika val som forskare gör i relation till dessa tre nivåer får betydelse för vad studien kan ge för kunskap och med vilken säkerhet forskaren kan uttala sig.

Figur 1. Vetenskaplig kunskap i tre nivåer

För att illustrera dessa tre nivåer kommer vi löpande i rapporten att ge konkreta exempel som aktualiserar väsentliga frågor inom var och en av de tre nivåerna. Exemplen är hämtade från vårt arbete på institutet med systematiska översikter och de utmaningar som vi har mött när vi bedömt hur olika forskningsresultat ska värderas och vägas mot varandra.

Genom att använda många exempel försöker vi också tillämpa den kunskap vi diskuterar, och visa hur denna kunskap kommer till nytta när lärare och förskollärare ska ta ställning till, och granska, vetenskapliga studier. På så sätt får kunskapen konkret innehåll och blir förhoppningsvis lättare att relatera till egna möten med vetenskapliga studier. Vår ambition är att visa att frågor om den vetenskapliga kunskapens natur inte är så svårtillgängliga som den vetenskapliga terminologin ibland ger sken av, och att det rör sig om frågor som får konkret betydelse för praktiken. När lärare och förskollärare exempelvis får möjlighet att reflektera över olika studiers kunskapsintresse, blir det också möjligt att värdera vilken typ av vetenskaplig kunskap som kan ge vägledning i olika situationer. En förståelse för processen bakom forskningsresultaten minskar således risken att bli utelämnad till förenklade och ibland missvisande påståenden om vad ”forskning visar”. Genom att förhålla sig kritiskt till forskningsresultat kan lärare och förskollärare själva bedöma forskningens trovärdighet och relevans.

[1] Att genomföra en systematisk översikt innebär att man sammanställer och analyserar forskning inom ett väl avgränsat område i syfte att besvara en på förhand specificerad frågeställning. Resultatet ska utgöras av den bästa tillgängliga internationella forskningen på området vid den tidpunkt då översikten framställs.

[2] Se utvärderingar på https://www.uka.se/kvalitet–examenstillstand/resultat-fran-granskningarna-hogskolekollen/hogskolekollen.html?url=427238778%2Fsearch%3Ft%3D588%26ms%3D1957%25241958%25241959%25241960%26q%3D%26s%3Ddate-desc&sv.url=12.794d1f901621e65b329c27f

2. Skilda kunskapsintressen inom forskning på utbildningsområdet

Olika typer av forskning erbjuder läsaren olika typer av kunskap. Forskare inom utbildningsvetenskap kan till exempel vara intresserade av att undersöka effekter av olika undervisningsmetoder, att kartlägga hur elever uppfattar sin egen skolgång eller att analysera vilka övergripande samhällsdiskurser som finns gällande utbildningsfrågor. Olika kunskapsintressen kan alltså bidra med olika och kompletterande kunskaper om frågor som rör utbildning och undervisning.

I denna rapport diskuterar vi två olika kunskapsintressen inom utbildningsvetenskaplig forskning: förklaringsorienterade respektive förståelseorienterade kunskapsintressen. Vi har valt dem eftersom de är två av de mest framträdande kunskapsintressena som återfinns i de studier som ingår i Skolforskningsinstitutets systematiska översikter, och därmed den typ av forskning som institutet skaffat sig erfarenhet kring. De är dock inte de enda relevanta kunskapsintressena inom utbildningsvetenskaplig forskning, och de ska heller inte ses som motpoler.

2.1 Kunskap om orsak och verkan – en del av den förklaringsorienterade traditionen

En typ av studier inom utbildningsvetenskaplig forskning är effektstudier, en sorts studier som undersöker i vilken utsträckning en viss insats påverkar ett visst utfall. Forskare kan till exempel vara intresserade av huruvida en viss undervisningsmetod kan sägas ha goda effekter på elevers lärande i ett visst ämne. Skolforskningsinstitutets systematiska översikt om digitala lärresurser (2017:02, delrapport skola) består till exempel av ett antal studier där forskarna har intresserat sig för om digitala resurser förbättrar elevers kunskaper i matematik mer än traditionellt organiserad undervisning utan digitala resurser[3]. Ambitionen har varit att ta reda på om det är elevernas användning av de digitala lärresurserna – snarare än någonting annat, som exempelvis de involverade lärarnas olika yrkeserfarenhet – som haft betydelse för elevernas kunskapsutveckling.

Effektstudier härrör från en vetenskapstradition som bland annat kännetecknas av en strävan efter att identifiera samband. Det kan dessutom finnas en ambition att identifiera kausala samband, alltså att studera om en förändring i en variabel orsakar förändring i en annan. Samtidigt finns det bland forskare inom denna tradition ofta en förståelse för att generella samband kan sättas ur spel i vissa specifika sammanhang. Även om den huvudsakliga ambitionen är att få reda på vad som generellt sett fungerar när det gäller elevers lärande, så har man alltså även en förståelse för att den utbildningsvetenskapliga forskningen med nödvändighet är hårt knuten till det sammanhang den finns i. En central forskningsfråga inom denna tradition är därför ofta vilken undervisningsmetod som fungerar för vilka elever i vilka situationer (Tikly, 2015).

2.2 Ny och fördjupad förståelse – en del av den förståelseorienterade traditionen

Studier inom utbildningsvetenskap kan också ha som syfte att skapa fördjupad förståelse av företeelser som rör undervisning och lärande. I Skolforskningsinstitutets systematiska översikt om förskollärares roll för att genom lek stimulera barns sociala förmågor (2019:01) finns exempel på studier med denna ambition. I översikten sammanställs resultat från 15 studier som alla syftar till en fördjupad förståelse av vad lekstödjande handlingar kan innebära för barns utveckling av sociala förmågor. Översikten presenterar utifrån studierna en begreppsapparat med uttryck för olika former av lek: fantasilek och dramalek, och begrepp för förskollärarens olika handlingar för att genom lek stärka barns sociala förmågor: regissera, delta, observera och reflektera.

Ett annat exempel på en forskningssammanställning med syfte att skapa fördjupad förståelse är Skolforskningsinstitutets systematiska översikt om klassrumsdialog i matematikundervisningen (2017:01). I översikten beskrivs olika mönster i elevers och lärares samtal i matematik. Här presenteras begreppen utforskande, disputerande och kumulativa samtal, vilka beskriver skillnader i elevers engagemang i gemensamma matematiska samtal. Begreppen syftar till att erbjuda lärare nya sätt att se på och förstå skillnader i elevers deltagande i matematiska samtal, en kunskap som kan ge lärare redskap för att styra interaktionen på ett sätt som stärker elevers förutsättningar för deltagande och lärande.

Kunskap i form av teorier och begrepp är också viktig för lärares och förskollärares utveckling av sitt professionella yrkesspråk. För att kunna diskutera sin undervisning behöver de verksamma ha etablerade begrepp med både teoretisk och praktisk förankring. Detta språk behöver vara gemensamt för forskare och verksamma, så att grupperna inte riskerar att tala förbi varandra. Inom didaktiken – lärares professionsvetenskap (Seel, 1999) – ses det som ”en avgörande uppgift för forskningen att skapa en begreppsapparat som beskriver vad lärare gör och möter i undervisningen och som kan utgöra modeller av hur undervisningen fungerar” (Wickman m.fl., 2018, s. 240). Begreppsapparater av detta slag bör innefatta exempel på undervisningssituationer där begreppen används praktiskt (Wickman m.fl., 2018, s. 241), och både översikten om klassrumsdialog och den om leksituationer i förskolor är fyllda med exempel på vad förskollärarna och lärarna faktiskt gör när de agerar på sätt som aktualiserar de olika begreppen.

Utifrån beskrivningarna av de två översikterna kan man konstatera att kunskapsintresset inom dessa översikter på ett övergripande plan har sitt ursprung i den förståelseorienterade vetenskapstraditionen. Inom denna tradition är det övergripande syftet att förstå och beskriva de fenomen som studeras (Bryman, 2011, s. 32–42; Hyldgaard, 2008). Historiskt sett har denna tradition bland annat vuxit fram inom hermeneutiken och fenomenologin, och dessa skolors betoning på förståelse och tolkning. Att tolka något innebär då att lyfta fram och diskutera möjliga betydelser av det som studeras, exempelvis olika sätt att förstå samtalsmönster eller interaktionsmönster. Den efterfrågade förståelsen kan till exempel uppnås genom att forskaren undersöker hur lärare och elever själva upplever eller erfar ett viss fenomenen. Genom detaljerade beskrivningar och analyser av personernas upplevelser kan man sedan skapa begrepp eller blottlägga likheter och mönster som kan ge nya infallsvinklar på det aktuella fenomenet.

Att man tar avstamp i noggranna beskrivningar av det aktuella fallet betyder dock inte att man inom den här traditionen bortser från möjligheten att nå mer generell kunskap kring undervisning och lärande. Det handlar emellertid om en annan sorts generaliserbarhet än den som avses i studier med förklarande ambitioner, man försöker snarare blottlägga mönster som andra kan känna igen sig i. Även om man i denna typ av studier närstuderar specifika undervisningskontexter, så kan man vara intresserad av att hitta potentiellt sett gemensamma drag mellan det aktuella fallet och andra möjliga fall. I denna typ av generalisering handlar det alltså om att hitta något som är likt från ett fall till ett annat. Genom att en förståelseorienterade studie lyft fram exempelvis ett visst mönster eller ett visst begrepp, kan läsaren få syn på något som kanske återfinns i den egna kontexten. Det identifierade mönstret eller begreppet kan sätta fingret på något som man anat men inte kunnat verbalisera tidigare; något som får läsaren att tänka ”men det är ju precis som i fallet som jag brottas med” (se diskussion i Larsson, 2009, s. 33).

2.3 Mixed methods eller flermetodsforskning

Vår framställning av dessa två kunskapsintressen har i viss mån förenklats för att erbjuda tydlighet. För att förtydliga huvudsakliga skiljelinjer har nyanser och mellanpositioner nedprioriterats. Ett forskningsprojekt kan till exempel ha ambitionen att både skapa förståelse och erbjuda förklaringar. Inom ett sådant forskningsprojekt kan forskaren behöva använda sig av såväl metoder som är härledda från ett förståelseorienterat kunskapsintresse, som metoder som är kopplade till ett förklaringsorienterat sådant. När man på detta sätt blandar eller mixar kvalitativa och kvantitativa metoder inom samma forskningsprojekt brukar den aktuella forskningen benämnas mixed methods eller flermetodsforskning (Bryman, 2018).

Detta kan innebära att forskaren inleder en studie med en kvantitativ metod, såsom användningen av enkäter, för att undersöka betydelsen av en viss variabel. Om man till exempel vill undersöka relationen mellan förskollärarnas utbildningsbakgrund och deras inställning till undervisningsbegreppet i förskolan, kan forskaren distribuera enkäter till en stor grupp förskollärare. Genom enkäten kan forskaren få reda på om exempelvis utbildningens tidpunkt, val av lärosäte eller antal år i yrket är kopplat till förskollärarnas syn på undervisningsbegreppets roll i förskolan. I nästa steg kan forskaren gå över till en kvalitativ metod, till exempel intervjuer, för att fördjupa förståelsen för de sätt som utbildningsbakgrunden eventuellt har påverkat förskollärarnas inställning.

Det går också att ha en design där man tvärtom startar med kvalitativa metoder för att sedan fortsätta med kvantitativa metoder. Om forskaren till exempel endast har en vag uppfattning om vilka variabler som kan vara aktuella att ha med i en enkät, kan det vara fördelaktigt att inleda med exempelvis gruppintervjuer för att skaffa sig fördjupad kunskap om den aktuella frågan.

2.4 Att tänka på

Huruvida en studie utgår ifrån förklaringsorienterade eller förståelseorienterade utgångspunkter får betydelse för vad studien vill och kan uttala sig om. Om en studie vill visa på generella orsak–verkan-relationer eller i stället göra mer kontextberoende tolkningar, påverkar detta på vilket sätt man kan använda resultatet i andra sammanhang. Även om en studies kunskapsintresse alltså är högst betydelsefullt för förståelsen och användbarheten av en viss studie, är det dock inte självklart att dessa frågor explicit diskuteras i studien. Detta gör att man som läsare inte alltid vet vilken räckvidd en studies resultat har. Därmed behöver man som verksam inom skola och förskola själv reflektera över i vilken utsträckning ett visst forskningsresultat är applicerbart på den egna undervisningssituationen.

[3] Den systematiska översikten har även en delrapport som utifrån 10 studier diskuterar digitala lärresurser i matematikundervisningen i förskolan.

3. Olika ansatser och metoder för att fånga ett kunskapsintresse

Det specifika kunskapsintresset kommer i nästa steg att få konsekvenser för hur en vetenskaplig undersökning genomförs. Utifrån sitt forskningsintresse kommer forskaren att planera och lägga upp sin studie på olika sätt. Forskaren kommer alltså att anamma olika forskningsansatser. Vidare kommer forskaren även att använda sig av en eller flera metoder som förutsätts ha möjlighet att mäta eller beskriva det som den vetenskapliga undersökningen vill studera. Det är viktigt att dessa val av forskningsansats och metod sker på ett klokt och övervägt sätt. Man kan till och med säga att dessa val avgör om studien på ett tillförlitligt sätt kan besvara den fråga som den ställt upp.

I de följande avsnitten kommer vi att gå igenom en rad ansatser och metoder, och diskutera vilka olika typer av kunskapsintressen som de har förutsättningar att möta. De olika metoderna kommer generellt sett att vara uppdelade enligt den konventionella uppdelningen kvantitativa och kvalitativa metoder. Denna distinktion är inte heltäckande och det kan i metodlitteraturen ibland vara oklart vad som egentligen kan sägas vara kvantitativt respektive kvalitativt i en studie (Åsberg, 2001). Är det till exempel datans karaktär eller är det insamlingsmetoderna eller analysmetoderna? Se även diskussion i Persson (2017, s. 12). Trots denna oklarhet är uppdelning i kvalitativa och kvantitativa metoder spridd och etablerad inom den akademiska metodlitteraturen, och enligt Bryman finns det inget som tyder på att skiljelinjen skulle tappa i utbredning (Bryman, 2011, s. 39). Vidare är denna distinktion framträdande inom lärarutbildningen, den återfinns exempelvis inom lärarutbildningens examensmål, och vi ser därför ett värde i att bygga vidare på den professionella kunskapsbas som verksamma förskollärare och lärare redan har.

Under var och en av de olika presenterade metoderna kommer vi också diskutera en rad centrala aspekter i relation till varje metod, se figur 1. För även om man som forskare valt en för kunskapsintresset passande metod, så behöver man också kunna tillämpa den valda metoden på ett klokt och omsorgsfullt sätt. Nedanstående diskussioner är därför tänkta att vägleda verksamma lärare och förskollärare som vill kunna bedöma hur metoder tillämpats i vetenskapliga studier. Åke Grönlund, Anna-Lena Kempe och Matilda Wiklund beskriver betydelsen av att göra en sådan bedömning som det viktiga med att läsa det finstilta i forskningsrapporter (Grönlund m.fl.). Enligt författarna är det viktigt att ta reda på hur forskarna som genomfört en viss studie verkligen har gått tillväga; i annat fall kan man inte säkert veta om en forskningsrapport verkligen erbjuder vetenskapligt stöd eller inte.

3.1 Kvantitativa metoder och forskningsansatser

I allmänna ordalag framhålls ofta att kvantitativa metoder och forskningsansatser handlar om att samla in en större mängd numerisk data som kan användas för statistiska beräkningar (Bryman, 2011, s. 150). I diskussionerna nedan kommer vi att visa på två sätt att göra detta: dels genom att göra en intervention – en viss undervisningsinsats – där man tittar på effekter i olika grupper som jämförs, dels genom att undersöka samband, korrelationer. Det finns andra kvantitativa metoder, men eftersom vi ofta mött just de här typerna inom ramen för våra översikter använder vi dem för att illustrera hur kvantitativ forskning inom undervisningsrelevant forskning kan se ut.

3.1.1 Interventioner

Om man intresserar sig för ett arbetssätts effektivitet, som i studierna i översikten om digitala lärresurser (2017:02, delrapport skola), designar man studier där man kan mäta eventuell utveckling av elevers lärande. Därefter jämförs denna utveckling med utvecklingen hos en grupp elever som inte använt sig av samma arbetssätt. Det brukar kallas att man delar upp eleverna i interventionsgrupper, där man infört det aktuella arbetssättet, och jämförelsegrupper, där man arbetar på ett annorlunda sätt. Grundläggande drag hos denna typ av studier är att man söker efter kausalitet, alltså efter vad som orsakar eller ligger till grund för ett visst utfall. I fallet med digitala lärresurser var man intresserad av att studera om undervisning med stöd av digitala lärresurser påverkar elevers kunskapsutveckling i matematik.

Välgjorda interventionsstudier är kraftfulla metodologiska verktyg för att skapa kunskap med höga generaliseringsanspråk. Det vill säga att de kan ge resultat som man kan förvänta sig kan upprepas i andra klassrum än de där studien är genomförd. Samtidigt kan det finnas svårigheter att – inte minst i skolans värld – genomföra studier där alla kriterier för att uppnå den typen av generaliserbarhet är uppfyllda. För att med säkerhet kunna uttala sig om frågor om effekter på till exempel lärande och vad som eventuellt orsakat detta lärande, måste man tänka på en rad centrala utgångspunkter och förutsättningar som aktualiseras i relation till den metod som interventionsstudien bygger på. Nedan diskuterar vi några av dem och visar också vilka problem som kan uppstå om forskare inte lyckats beakta dessa problem.

Men även om dessa utgångspunkter och förutsättningar är uppfyllda kan det vara svårt att säkerställa vilken mekanism som gör att en intervention visat sig effektiv. I Skolforskningsinstitutets systematiska översikt om läsförståelse och lässtrategier (2019:02) är det många studier som undersöker i vilken utsträckning undervisning om lässtrategier förbättrar elevernas läsförståelse, jämfört med läsförståelseundervisning som inte inbegriper undervisning av lässtrategier. Detta är förstås värdefullt att veta, men om lärare ska kunna utveckla sin läsförståelseundervisning är det också viktigt att förstå vad eller vilken komponent i användningen av vissa lässtrategier som gör arbetssättet effektivt. För att uppnå en sådan djupare förståelse kring vad som är betydelsefullt i en specifik interventionen, behöver kunskapen från interventionsstudierna ofta kombineras med kunskap som andra typer av forskningsmetoder kan generera.

Jämförelsegrupper och randomisering

För att veta hur effektiv en viss undervisningsinsats – en intervention – är måste man till att börja med ha något relevant att jämföra med, nämligen en jämförelsegrupp. Att enbart konstatera att eleverna kan mer om något efter att de undervisats på ett visst sätt, jämfört med om de inte skulle fått någon undervisning alls, säger oss inte så mycket eftersom vi kan förmoda att ingen undervisning minskar elevernas kunskaper. Studier som enbart studerar elever som fått en viss typ av undervisning och jämför hur mycket eleverna kunde före respektive efter undervisningen, är alltså inte tillförlitliga när det gäller att bedöma undervisningens värde i relation till annan form av undervisning. Detta kan vara viktigt att komma ihåg eftersom en bild i form av ett diagram som visar på stora kunskapsvinster för elever mellan för- och eftertest vid första anblick kan te sig väldigt övertygande. Sådana bilder förekommer inte bara i forskningsartiklar, utan även i reklam för exempelvis olika datorprogram eller kurser där man vill illustrera att någonting fungerar bra.

Figur 2. Exempel på för- och eftertest

Den intressanta frågan är alltså inte huruvida eleverna har lärt sig något under tiden som de använde det aktuella arbetssättet, utan om eleverna lärt sig mer genom att bli undervisade på ett sätt snarare än på ett annat. För att besvara denna fråga behöver vi ha jämförelsegrupper med elever som fått någon annan form av undervisning. I de studier som ingår i Skolforskningsinstitutets översikt om lässtrategiundervisning (2019:02) jämfördes exempelvis ofta resultat på läsförståelsetest mellan elever som fått lässtrategiundervisning och elever som fått traditionell läsförståelseundervisning utan strategiinslag.

I flera studier var det dock svårt att få information om vad traditionell läsförståelseundervisning utan strategiinslag faktiskt hade bestått av. Det är emellertid viktigt att få kännedom om det eftersom man behöver vara säker på att jämförelsegruppens undervisning inte varit sämre på förhand. Om kontrollgruppen exempelvis i stället tränat på ordavkodning eller nästan uteslutande tittat på film under den tid som interventionsgruppen haft strategiundervisning, är det kanske inte så konstigt om interventionsgruppen presterat bättre på ett avslutande läsförståelsetest.

Ett annat problem är att det kan vara svårt att hitta jämförelsegrupper som inte alls jobbat med det arbetssätt man vill studera. I fallet med lässtrategiundervisning kunde man konstatera att strategiundervisning, åtminstone i en amerikansk kontext, blivit ett tämligen etablerat inslag i läsförståelseundervisningen, vilket innebar att det kunde vara svårt att hitta jämförelseklasser där lässtrategiundervisning inte alls förekommit. I en sådan situation kan det vara klokare att jämföra två olika typer av interventioner med varandra, till exempel två olika typer av lässtrategiundervisning.

En annan viktig aspekt är att de olika grupperna som man jämför – interventionsgruppen och jämförelsegruppen – inte skiljer sig åt på förhand. Om de gör det, så kan det ju vara dessa skillnader som förklarar de skillnader i utfall som man eventuellt konstaterar i studien. För att komma runt detta kan man låta slumpen avgöra vilka deltagare som ska ingå i interventionsgruppen respektive jämförelsegruppen. Detta kallas för att man randomiserar deltagarna i studien. Att randomisera är ett sätt för forskaren att minimera risken för att det ska finnas systematiska skillnader mellan grupperna som kan tänkas påverka utfallet av interventionen. Med ett så kallat kvasiexperimentellt upplägg där forskaren själv skapar grupperna, kan forskaren i stället kontrollera för kända bakgrundsfaktorer såsom exempelvis kön, ålder eller föräldrars utbildningsnivå. Forskaren placerar då exempelvis lika många flickor i interventions- respektive kontrollgruppen. Men poängen med randomiseringen är att med slumpens hjälp också skapa goda förutsättningar för en jämn fördelning av egenskaper som vi inte känner till, men som kan ha betydelse för interventionens utfall.

För att en randomisering ska ha goda förutsättningar att fungera bör urvalet inte vara för litet. Om antalet deltagare är få finns en risk att grupper inte blir jämförbara trots att de har randomiserats. På så sätt kan slumpen vara nyckfull. Därför är det viktigt att gruppernas jämförbarhet alltid värderas med avseende på bakgrundsfaktorer efter att randomiseringen har genomförts. Det finns inga generella regler för hur stort ett urval måste vara, men forskare kan använda olika strategier för att uppskatta hur stort urval som kan vara lämpligt i ett visst sammanhang. Man kan också använda olika tekniker för att hålla viktiga egenskaper jämnt fördelade på gruppnivå, samtidigt som inget annat än slumpen kan påverka vilken deltagare som hamnar i vilken grupp.

Att randomisera deltagarna i studien kan alltså borga för att man lyckas undvika problemet med grupper som inte är likvärdiga, men randomiseringen kan samtidigt vara praktiskt svårt att genomföra. Det kan nämligen innebära ganska stora påfrestningar för elever och lärare att bryta upp existerande klasser och skapa nya slumpmässigt ordnade grupper. Därför väljer vissa forskare att i stället slumpmässigt fördela hela klasser till interventionsgrupp respektive jämförelsegrupp.

Urval och resultatens generaliserbarhet

Forskarens urval av skolor eller elever får också betydelse för i vilken utsträckning studiers resultat kan sägas vara giltiga för en större grupp skolor och elever än de som studerats. Studiens generaliserbarhet påverkas av om det finns skäl att tro att en forskare hade fått andra resultat om hen inkluderat andra deltagare i sin studie. Ett exempel är en amerikansk studie om betydelsen av klasstorlekar för elevers resultat, som genomfördes i skolor med en hög andel elever från minoritetsgrupper. Eftersom mindre klasstorlekar visat sig speciellt gynnsamma för denna grupp kan det aktuella urvalet av skolor möjligtvis leda till att den aktuella studien visat större resultatförbättringar än man hade kunnat få med ett annat urval (Wiliam, 2019). Det är därmed oklart om man utifrån detta urval kan dra slutsatser kring klasstorlekens betydelse i skolor med en annan elevsammansättning. Resultatet från en sådan studie är således kanske främst applicerbart på skolor med liknande elevunderlag. En viktig lärdom från detta exempel är att man alltid bör reflektera över om skolorna eller eleverna i en viss studie är representativa för andra skolor eller elever, trots randomisering av interventions- och kontrollgrupper.

Att mäta rätt och att mäta rätt sak

Att mäta rätt när man mäter interventioners effekter är en förutsättning för att uppnå god reliabilitet i en studie. God reliabilitet bygger på att forskare i sina mätningar av en specifik insats varit noggranna och inte bedömt data från de olika grupperna på olika sätt. Man får till exempel inte bedöma tester som elever i interventionsgruppen gjort mer generöst än man bedömer motsvarande tester från jämförelsegruppen. Den aktuella insatsen kommer då att framstå som mer framgångsrik än den egentligen var.

Utöver att mätningar av exempelvis testdata måste vara noggrant och ärligt utförda, måste mätningarna också vara betydelsefulla. Detta aktualiserar frågor om studiens validitet, att det forskaren mäter är relevant i sammanhanget och säger någonting om det vi ville veta. Forskaren måste alltså veta vad hen ska mäta för att kunna uttala sig om en insats eller intervention verkligen varit framgångsrik.

Om man genomfört en intervention som var avsedd att utveckla en viss typ av matematiskt kunnande, till exempel geometri, är det då rättvisande att bedöma den aktuella interventionen utifrån ett test som mäter breda matematikkunskaper där geometri endast är en liten del? Att elever som tränats extra i just geometri inte blivit bättre på all typ av matematik är kanske vare sig förvånande eller något man bör använda som argument emot den specifika geometriinsatsen.

På motsvarande sätt kan man också fundera på hur rättvisande väldigt smala eller specifika test är. I arbetet med översikten om lässtrategier identifierade projektgruppen en rad studier där man tränat lässtrategianvändningen på en rad specifika texter, och sedan testat huruvida läsförståelsen blivit bättre hos eleverna genom att be dem läsa samma texter. I dessa fall blir det svårt att veta om lässtrategiundervisningen lett till att elevers generella läsförståelse förbättrats eller om undervisningen endast gett dem redskap att bättre förstå just de aktuella texterna.

Effektstorlekar

En effekt är ett mått på skillnaden mellan två grupper som jämförts i något avseende. Ett vanligt sätt att ange effektens storlek är med Cohens d, och en tumregel är att ett d-värde på 0,2 visar en liten effekt, ett d-värde på 0,5 en medelstor effekt och ett d-värde på 0,8 en stor effekt (Cohen, 1988).

Effektmått måste dock tolkas i relation till vad det jämförs med; en mindre effektstorlek kan också vara en betydande effekt. I lässtrategiöversikten (2019:02) finns en rad studier som inte jämför lässtrategiundervisning med vanlig läsförståelseundervisning, utan där man istället jämför olika typer av lässtrategiundervisning med varandra. Detta bör man ha i åtanke när man tar ställning till de resultat som presenteras. En effektstorlek på till exempel 0,5 (som vanligtvis bedöms som en medelstor effekt) kan vara betydande om jämförelsegruppen är en grupp elever som får en typ av undervisning som redan i sig påvisat stora effektstorlekar. Då är ju så att säga den nya effektstorleken en effekt som tillkommit utöver den positiva effekt som redan den tidigare lässtrategiundervisningen uppvisat.

En annan viktig aspekt när det gäller effektstorlekar är att de bör värderas i relation till den resursanvändning som den aktuella interventionen är förknippad med. En intervention med en liten förmodad effekt kan vara värd att pröva trots att den i studier bara uppvisat små effekter, om den exempelvis kommer till en låg kostnad och tar lite undervisningstid i anspråk. På motsvarande sätt kan en intervention med förmodad stor effekt ändå vara tveksam att implementera, om den tränger ut en stor del av en termins undervisning i samma ämne, eller om det till exempel krävs stora investeringar i form av inköp av programvara eller dylikt.

Signifikanta resultat och generaliserbarhet

Om en studie påvisar en effekt av en viss intervention bör man som läsare också undersöka om den aktuella effekten är statistiskt säkerställd eller inte. Huruvida resultaten är statistiskt säkerställda eller inte är ett sätt att kontrollera om de aktuella effekterna kan ha uppkommit av en slump, eller om det är mycket sannolikt att en viss intervention skulle ha uppvisat samma resultat igen om man gjorde om studien. Många gånger är urvalsstorleken, det vill säga hur många barn, elever eller lärare som ingår i interventionsgruppen respektive kontrollgruppen, liten. Det medför att den statistiska styrkan, på engelska termen statistical power, kan bli för låg för att upptäcka statistiskt säkerställda skillnader mellan grupperna. Tolkningen av sådana resultat är därför att man inte har kunnat påvisa några statistiskt säkerställda skillnader mellan grupperna, vilket inte är liktydigt med att skillnader saknas, eller att jämförda insatser visats vara likvärdiga. Omvänt kan det förekomma att studier är dimensionerade på ett sätt som gör att även små skillnader är statistiskt säkerställda. Därför kan det vara viktigt att hålla de beräknade effektstorlekarna i minnet för att kunna avgöra om dessa är pedagogiskt relevanta och inte stirra sig blind på om skillnaderna är statistiskt säkerställda eller inte.

Det kan vara intressant att känna till att de gränser som ofta används för att klassificera uppmätta effekter som statistiskt säkerställda – så kallade p-värden på 0,01 och 0,05 – är godtyckligt valda och att betrakta som en tradition. Ralph Rosnow och Robert Rosenthal uttrycker insikten på ett fyndigt sätt: ” … surely, God loves the 0,06 nearly as much as the 0,05” (Rosnow & Rosenthal, 1989, s. 1277).

Spridning i resultaten

Även om studier kan uppvisa signifikanta resultat av en viss intervention innebär det inte att resultaten varit likadana för alla observerade elever. Det betyder i stället att eleverna som grupp fått detta resultat. Det finns alltid en spridning i resultat mellan individer inom gruppen och det effektmått som redovisas är därför en form av genomsnitt för alla elevers olika resultat. Är spridningen liten inom gruppen verkar alla elever svara på metoden på liknande vis. Är spridningen inom gruppen däremot stor, är det stor variation på metodens effekt hos de olika deltagarna. Denna spridning kan i vissa studier vara stor och till och med innehålla både individer som förbättrar sina prestationer och sådana som försämrar sina prestationer.

Effekter som försvinner eller består?

En viktig poäng med lärande är att det är något som ska bestå. Om eleverna uppvisar vissa förbättringar direkt efter att undervisningen ägt rum är det bra, men det är betydligt bättre om de kan uppvisa liknande förbättringar en tid efter undervisningen. Av denna anledning använder sig vissa studier även av ett så kallat fördröjt eftertest. Man mäter då elevernas kunskaper vid tre tillfällen: före en viss intervention, direkt efter interventionens slut och en tid efter interventionens slut. Om en viss intervention uppvisar väldigt goda resultat direkt efter interventionens slut, samtidigt som hela den uppnådda effekten försvunnit efter en månad, kan man ifrågasätta värdet av insatsen.

Sammantaget visar våra exempel att man ska vara försiktig med att se effektstorlekar som ett exakt mått eller ett mått som är självförklarande. Ett alltför stort fokus på de exakta talen i effektstorlekarna riskerar att ge en typ av skenbar exakthet. I stället är det viktigt att hålla i minnet att hur vi värderar en viss effektstorlek inte är något självklart, utan en tolkning som lärare behöver värdera och diskutera.

3.1.2 Korrelationer

En annan typ av studier som också intresserar sig för relationen mellan en viss insats och ett visst utfall är korrelationsstudier. I denna typ av studier vill man veta hur två olika variabler samvarierar med varandra, men till skillnad från interventionsstudier gör man inte anspråk på att uttala sig om huruvida en insats orsakar ett visst utfall. Man kan till exempel vara intresserad av huruvida läsförståelse hänger ihop med elevers självskattade användning av lässtrategier. Är det så att elever som uppvisar hög användning av lässtrategier även uppvisar en hög läsförståelse?

Ett vanligt sätt att hämta in den data som man vill använda i en korrelationsstudie är att använda enkäter som man ber exempelvis förskollärare, lärare eller elever att fylla i. Enkäternas utformning är mycket viktig för att svaren i så hög utsträckning som möjligt ska fånga det man är intresserad av. Ett konkret exempel är att man i PISA-mätningar ber elever uppskatta hur många böcker som finns i deras hem, för att få reda på deras socioekonomiska bakgrund. Detta antas ge ett bättre mått än att exempelvis be eleverna uppge sina föräldrars utbildningsbakgrund, eftersom många elever inte har kännedom om detta.

Ett exempel på ett problem med enkäters validitet uppkom i arbetet med institutets systematiska översikt kring lässtrategier (2019:02). I de inkluderade enkätstudierna ombeds elever uppge hur ofta de använde olika lässtrategier och en avgörande fråga blev då huruvida eleverna tolkade svarsalternativ såsom ”sällan” eller ”ofta” på samma sätt. Denna typ av vaga ord kan uppfattas olika av olika personer, och därför kan det i enkäter vara bättre att formulera frågorna i termer av hur många gånger något görs (Esaiasson m.fl., 2017).

Korrelationsmått

I korrelationsstudier mäter man samvariationens storlek och riktning. Riktningen på ett samband kan vara positivt eller negativt. Om det är ett positivt samband betyder det att en ökad förekomst av den ena variabeln, till exempel ökad användning av lässtrategier, tenderar att gå hand i hand med en ökad förekomst av den andra egenskapen, till exempel läsförståelse. Ett negativt samband däremot, innebär med samma exempel att en ökad användning av lässtrategier är förknippad med en minskad läsförståelse.

Graden, eller styrkan, i ett samband brukar i vetenskapliga studier sedan mätas i någon form av sambandsmått, eller koefficient, som vanligtvis varierar mellan -1 (fullständigt negativt samband), via 0 (inget samband) och 1 (fullständigt positivt samband) (Esaiasson m.fl., 2002, s. 81). Även i de studier där man hittar relativt starka samband kvarstår dock ofta frågan om i vilken orsaksriktning sambandet går. För att återvända till fallet med lässtrategier: Använder elever lässtrategier i större utsträckning eftersom de har god läsförståelse, eller har de god läsförståelse eftersom de använder lässtrategier?

Ett orsakssamband kan dessutom uppstå eftersom andra bakomliggande faktorer påverkar båda de undersökta variablerna. I exemplet med läsförståelse och lässtrategier finns en potentiellt sett betydelsefull bakomliggande variabel i föräldrarnas utbildningsnivå. En hög utbildningsnivå hos föräldrarna bidrar möjligtvis både till en hög grad av läsförståelse och en hög grad av lässtrategianvändning.

Det finns olika tekniker för att minimera påverkan av sådana bakomliggande faktorer. Om man misstänker att exempelvis elevernas socioekonomiska bakgrund samvarierar med det man studerar kan man ta bort eller jämna ut den faktorn och sedan se hur mycket av en korrelation som kvarstår. En begränsning, i likhet med vid kontroll av randomiseringsutfall, se diskussion i avsnitt 3.1.1 om urval i interventionsstudier, är att man bara kan kontrollera för faktorer som man känner till eller har anledning att tro kan påverka.

3.2 Kvalitativa metoder och forskningsansatser

Om kunskapsintresset i kvantitativ forskning är att generera numeriska data som kan säga något generellt om en större population, så är kunskapsintresset i kvalitativ forskning i stället att få en djupare förståelse av människors handlingar, uppfattningar och meningsskapande aktiviteter. Utgångspunkten inom kvalitativa metoder är att stora delar av samhällslivet inte går att undersöka genom kvantitativ data. För att kunna besvara vissa forskningsfrågor är vi därmed hänvisade till kvalitativa metoder. Att till exempel förstå hur kreativa miljöer uppkommer, eller att beskriva hur social interaktion sker, blir svårt – för att inte säga omöjligt – att uppnå med hjälp av kvantitativa data (Ahrne & Svensson, 2011, s. 14).

Även om de kvalitativa metoderna sinsemellan har en rad olikheter, så finns enligt Göran Ahrne och Peter Svensson (2011) också en rad gemensamma drag. Inledningsvis skiljer sig forskarrollen från hur den ser ut inom kvantitativ forskning. När man använder sig av kvalitativa metoder befinner man sig ofta nära de miljöer och människor som man forskar om, eller forskar med. Vidare är flexibiliteten inom forskningsprocessen större än inom kvantitativa metoder. Datainsamlingsprocesser och dataanalysprocesser är inte tydligt åtskilda, utan varvas ofta. Inom denna forskning finns sällan färdiga analysmodeller att tillämpa när det gäller dataanalysprocessen, utan forskaren utvecklar i stor utsträckning sina egna analysverktyg. Kvalitativ forskning ställer också andra krav på forskningens trovärdighet och generaliserbarhet, vilket vi återkommer till i diskussionerna nedan.

Vi gör inte heller här anspråk på att föra en uttömmande diskussion av kvalitativa metoder, på samma sätt som vi inte gick igenom alla kvantitativa metoder, utan vi anknyter till de metoder som vi företrädesvis har mött i arbetet med de systematiska översikterna. Detta innebär att vi diskuterar de kvalitativa metoderna observationer och intervjuer. I diskussionerna om dessa metoder lyfter vi fram en rad utgångspunkter och förutsättningar som lärare och förskollärare kan reflektera kring när de möter forskningsstudier som använder sig av de här metoderna. Avslutningsvis diskuterar vi några frågor om urval och generaliseringsmöjligheter som är gemensamma för båda de kvalitativa metoderna som vi diskuterat.

3.2.1 Observationer och etnografi

En vanlig typ av kvalitativa studier inom skol- och utbildningsforskning är de etnografiska studierna. Syftet med dessa studier är ofta att bidra till ökad förståelse för någon annans perspektiv; ambitionen är att se världen ur någon annans perspektiv. I skol- och utbildningsnära forskning kan detta innebära att man vill få kunskap om elevers eller lärares livsvärldar, exempelvis hur de upplever arbetet med vissa arbetssätt.

För att kunna förvärva sådan kunskap befinner sig etnografiska forskare i, eller nära, den miljö som de aktuella lärarna eller eleverna befinner sig i. Forskare vill förstå uppfattningar, beteende och händelser i relation till det kulturella och sociala sammanhanget som processerna eller fenomenen finns inom, och försöker göra detta genom att närstudera en eller ett fåtal individer i deras naturliga miljö eller sammanhang. Man vill alltså förstå fenomenet inifrån, och utgångspunkten är att man bara kan uppnå denna förståelse genom en god kännedom om den omgivande kontexten. Kontexten ses nämligen som avgörande för hur en viss utsaga eller ett visst beteende ska förstås enligt den här utgångspunkten.

Förutom denna typ av inifrånkunskap kan observationer också ge kunskap om vad som faktiskt sker i praktiken. Om en forskare till exempel vill veta hur vanligt förekommande en viss typ av undervisning är, kan observationer vara ett rimligt metodval. Genom att vara på plats och kunna göra egna iakttagelser behöver forskaren inte förlita sig på vad andra återberättar (Esaiasson m.fl., 2017, s. 313). Om man skulle fråga en lärare hur ofta hen i enlighet med kursplanens skrivningar skapar förutsättningar för elever att föra och följa matematiska resonemang, kanske läraren i fråga uppger att detta sker förhållandevis ofta. En observerande forskare kan dock uppmärksamma att detta kanske sker i betydligt mindre utsträckning än de intervjuade lärarna gett uttryck för.

Man kan även tänka sig att forskare som genomför observationsstudier är intresserade av på vilket sätt undervisningen sker, exempelvis inom ett ämne eller med ett visst arbetssätt. I Skolforskningsinstitutets översikt om lässtrategier (2019:02) ingick observationsstudier där forskarna var intresserade av att studera hur lärare gick tillväga när de undervisade om lässtrategier. Denna typ av studier kunde då visa att även om lärarna i dessa studier ofta refererade till lässtrategier, så visade de förhållandevis sällan sina elever hur de på ett konkret sätt kunde använda lässtrategierna. Genom att forskarna själva var på plats kunde de alltså också bedöma undervisningens utformning och kvalitet.

Observationer är också lämpliga om en forskare vill studera processer eller strukturer som är svåra att klä i ord, som så att säga sitter i väggarna. Genom att forskaren finns på plats och observerar kan hen få kännedom om en viss kultur som präglar en viss skola eller ett visst klassrum. En sådan kultur kan vara så förgivettagen att verksamma på skolan inte ens reflekterar över den, vilket innebär att de inte kan ge forskaren upplysningar om kulturen genom exempelvis enkäter eller intervjuer.

För att få ett så rikt och brett material som möjligt brukar forskare som genomför observationer ta fältanteckningar, eller spela in ljud eller video. Använder forskaren sig av videoinspelningar är det möjligt att fånga in både verbala och visuella aspekter. Med detta material som grund har man sedan goda möjligheter att kunna åstadkomma detaljerade beskrivningar av de aktuella miljöer, fenomen eller processer som intresserar forskaren.

Forskaren som utför observationerna måste också bestämma sig för i vilken grad hen vill interagera med den grupp eller de individer som studeras. I vissa observationsstudier väljer forskaren att iaktta utan att interagera med de individer som studeras. Här försöker forskaren vara som flugan på väggen: närvarande men obemärkt (Esaiasson m.fl., 2017, s. 316). I andra observationsstudier är forskaren mer aktivt deltagande och är del av den grupp som studeras. Om forskningsintresset till exempel består i att studera hur lärare kommunicerar ett visst arbetssätt kan forskaren ta del av verksamheten under en viss tid, och under denna tid interagera med eleverna under lektionerna. Denna typ av deltagande innebär att forskaren får tillgång till det man vill studera inifrån genom ett ökat förtroende från deltagarna. Detta kan ge forskaren ökad tillgång till data, men samtidigt ökar risken att deltagarna påverkas av forskarens agerande och att forskaren alltså påverkar den situation som hen vill studera.

Utifrån det rika material som observationerna förhoppningsvis genererat vill forskaren i nästa steg, analyssteget, söka efter mönster eller återkommande drag i materialet. Genom upprepade omläsningar kan forskaren göra kategoriseringar där hen exempelvis kan identifiera olika beståndsdelar av ett visst klassrumsklimat. Utifrån de identifierade beståndsdelarna kan forskaren sedan utveckla begrepp som på ett illustrativt sätt fångar de olika beståndsdelarna i olika klassrumsklimat. Genom dessa begrepp har ny kunskap utvecklats. En kunskap som innebär att skolans verksamma kan se, förstå och diskutera den verklighet de befinner sig i – en kunskap som kan vara högst användbar för att förstå och utveckla skolans undervisning.

De studier som ingår i Skolforskningsinstitutets översikt om klassrumsdialog i matematikundervisningen (2017:01), liksom översikten om lek och utveckling av barns sociala förmågor i förskolan (2019:01), är konkreta exempel på observationsstudier. Merparten av dessa studier använder sig av videoinspelningar. Analyserna av observationerna i de ingående studierna går ut på att finna mönster i deltagarnas samspel och på så vis skapa begrepp som ger kunskap om det som sker, och på vilket sätt detta har betydelse för elevernas och barnens utveckling och lärande. Översikten om lek i förskolan benämner och beskriver exempelvis förskollärares olika handlingar som stödjer och stimulerar barns lek: förskolläraren arrangerar miljöer för lek, guidar och medlar i barns lek, liksom observerar för att planera och skapa förutsättningar för barns lek.

3.2.2 Materialets omfattning

Eftersom närhet till, och bekantskap med, den aktuella miljön är viktig i den etnografiska forskningen, är det centralt att reflektera kring huruvida forskaren haft möjlighet att nå en djup förtrogenhet med miljön. Har forskaren fått tillträde till de personer och de delar av miljön som är relevanta i det aktuella fallet? Har forskaren vistats i miljön under en tillräckligt lång tid?

Om en forskare observerat ett klassrum under förhållandevis kort tid finns en risk att hen inte gör rättvisande tolkningar av det som observerats. De processer som forskaren observerat kan till exempel vara utslag av en extraordinär händelse, och om forskaren tillbringat mer tid i klassrummet hade hen kanske sett att de aktuella skeendena inte var representativa för hur det vanligtvis såg ut i den aktuella klassen (Esaiasson m.fl., 2017, s. 318).

3.2.3 Transparens

Eftersom det inte finns tydliga mallar och utarbetade strukturer för hur datainsamling och dataanalys ska gå till inom etnografisk forskning, blir det extra viktigt med utförliga beskrivningar av hur forskaren gått tillväga för att samla in och analysera sitt material. Läsare av denna typ av forskning måste få tydlig insyn i alla steg i såväl insamling som analys av studiens data. Det är viktigt att forskaren inte framställer det som att resultaten har kommit fram av sig själva. I stället bör forskaren säkerställa att läsaren kan följa de olika stegen i studien och bedöma om dessa steg varit rimliga. Förstår läsare var olika begrepp kommer ifrån? Har de olika mönstren som lyfts fram i materialet tydligt belagts med citat eller andra hänvisningar till materialet? Detta är exempel på frågor som kan vara bra att fundera krig när man läser en studie av denna typ.

Intervjustudier

För att nå den djupa förståelsen som den kvalitativa forskningen är intresserad av kan forskare behöva kombinera olika kvalitativa material och analysmetoder. Ofta kombineras till exempel observationer med intervjuer. I diskussionen om etnografi är en central utgångspunkt att även icke-verbal data kan fokuseras i observationer, men denna kan självfallet kompletteras med ett fokus på hur exempelvis barn eller elever diskuterar eller beskriver det som forskaren är intresserad av. I dessa fall är intervjun en användbar metod.

I Skolforskningsinstitutets översikt om feedback i skrivundervisning (2018:01) använder forskarna i flera av de inkluderade studierna en kombination av observationer och intervjuer. I studierna har forskarna dels följt och observerat den skrivundervisning som skett under förhållandevis lång tid, dels intervjuat elever och lärare kring hur de uppfattat att få, respektive ge, feedback.

I denna typ av intervjustudier handlar kunskapsintresset om att förstå svarspersonerna – respondenterna – och deras tankar. Sådana intervjustudier kan vara rimliga att använda om en forskare exempelvis vill veta hur elever tänker kring sitt eget inflytande i undervisningen, eller hur elever uppfattar demokratibegreppet. Den här metoden används alltså om man som forskare är intresserad av att kartlägga människors uppfattningar på ett område, för att därigenom kunna utveckla begrepp eller definiera kategorier.

Om målet med denna typ av intervjuer är att fånga in och kartlägga olika uppfattningar, innebär det samtidigt att metoden inte är lämplig för att besvara forskningsfrågor som rör frekvenser. Det handlar alltså inte om att beskriva hur vanligt förekommande något är. Man vill istället gå på djupet med att försöka förstå människors syn på ett visst fenomen, och det är dimensioner av människors förståelse av fenomenet som är resultatet av denna typ av studier.

Hur går man då tillväga för att förstå intervjupersonerna och deras uppfattningar av de fenomen som undersöks? Föga förvånade ställer man frågor till intervjupersonerna, men i vilken utsträckning dessa frågor är bestämda på förhand, och i vilken utsträckning det finns utrymme att revidera de förutbestämda frågorna under intervjuns gång varierar. Det brukar beskrivas som att intervjuerna kan vara standardiserade i olika grad, och att det kan finnas olika grad av interaktivitet i intervjuerna.

Om intervjufrågornas utformning och ordning är tydligt bestämda på förhand kan intervjuarens påverkan å ena sidan reduceras i så hög grad som möjligt. Om intervjuerna är mer öppna och snarast utgår från några övergripande teman som forskaren någon gång under intervjun vill diskutera, finns å andra sidan möjligheten att ställa följdfrågor eller följa upp oväntade men intressanta svar. Ett sådant mer öppet förfaringssätt innebär dock att man som intervjuare blir mer delaktig i skapandet av datamaterialet.
För att kunna reflektera över dessa aspekter av möjlig forskarpåverkan kan det vara klokt att som läsare av en intervjustudie titta på den intervjuguide som forskaren använt. Intervjuguiden är den förteckning över teman som diskuterats och brukar finnas som en bilaga till vetenskapliga intervjustudier. Att kritiskt granska intervjuguiden kan också vara ett bra sätt satt bilda sig en uppfattning om huruvida de teman som behandlats under intervjun varit rimliga och heltäckande för att fånga in kunskap kring det som varit studiens fokus.

3.2.4 Intervjuareffekter

Intervjuer är som konstaterats ett typ av samspel mellan den som intervjuar och den som besvarar frågorna, och i detta samspel finns det risker för oönskade effekter. En möjlig sådan effekt är att intervjuaren riskerar att påverka – medvetet eller omedvetet – personen som intervjuas. Men det kan också ske en anpassning från den intervjuades sida. En sådan problematik kan inte minst tänkas bli aktuell när det handlar om intervjuer med barn eller elever. I sådana situationer bör man vara medveten om att barn på grund av inneboende maktrelationer mellan barn och vuxna kanske svarar det som de tror att intervjuaren vill höra (Eriksson-Zetterquist & Ahrne, 2011, s. 51).

Ett sätt att försöka skapa en jämnare maktfördelning mellan den vuxna intervjuaren och barnen som intervjuas kan vara att genomföra intervjuerna i miljöer där barnen eller eleverna känner sig hemma. Har intervjuer tvärtom genomförts i klassrumssituationer kan man fundera på om detta skapat incitament hos eleverna att leverera ”rätt svar”. Ett annat sätt att utjämna maktrelationerna mellan barn och intervjuaren kan vara att genomföra gruppintervjuer snarare än individuella intervjuer. I sådana intervjuer, som också kallas fokusgruppsintervjuer, kan barnen ta stöd och hjälp av varandra för att tillsammans visa hur de exempelvis tänker kring ett visst fenomen. En fördel som brukar lyftas upp med denna intervjuform är att intervjuarens roll blir mindre styrande, men man måste samtidigt vara medveten om att denna styrande roll i stället kan övertas av någon individ i gruppen som ska intervjuas. Det kan uppstå en gruppdynamik som gör att få deltagare i gruppen är aktiva. Då kommer inte allas synsätt fram, eller så kan vissa individer bli påverkade av grupptryck i sina svar.

3.2.5 Kvantifieringar av kvalitativ data

Det huvudsakliga kunskapsintresset inom de kvalitativa studierna är alltså inte mängder eller antal. I kvalitativa studier är forskarna intresserade av att undersöka förekomsten av olika sätt att se på världen, inte hur många personer som tolkar den på det ena eller andra sättet (Esaiasson m.fl., 2017, s. 166).

Vid läsningen av en intervjustudie bör man vara uppmärksam på om studien trots sina kvalitativa ambitioner och små urval diskuterar sina resultat i termer av vad de flesta eller majoriteten av respondenterna lyft fram. Det är inte särskilt relevant information att 8 av 10 respondenter gav uttryck för den ena eller andra uppfattningen. Det huvudsakliga intresset i denna typ av forskning rör frågor om på vilka sätt något diskuteras eller förstås, och med de små urval man ofta utgår ifrån inom denna forskning kommer kvantifieringarna inte att kunna presentera resultat som är statistiskt generaliserbara. Även om majoriteten av de intervjuade lärarna i en mindre intervjustudie lyfter fram samma svårigheter med att arbeta med ett visst arbetssätt, så kan man utifrån detta inte dra slutsatsen att det är de vanligaste uppfattningarna för lärare i stort.

3.2.6 Tolkning och tillförlitlighet

Dataanalyssteget i intervjustudier bygger, liksom vid observationsstudier, på forskarens klassificeringar, grupperingar och tolkningar av det empiriska materialet. Eftersom analysarbetet i de kvalitativa studierna inte följer en färdig mall på samma sätt som studier där forskarna använder sig av vedertagna statistiska analysmodeller, är det viktigt att läsaren får inblick i hur forskaren gått till väga för att analysera materialet. Vilka analytiska begrepp används? Är valet av dessa rimligt och är de tillräckligt väl definierade?

Med hänsyn till användningen av analytiska begrepp kan man vidare konstatera att analysarbetet i någon grad är inspirerat av teori. Ett vanligt förfarande är att forskaren kommer fram till sina kategorier och begrepp i ett växelspel mellan sin teoretiska utgångspunkt och sitt material. En central fråga blir dock hur styrande det teoretiska perspektivet ska vara i detta förfaringssätt. Om det teoretiska perspektivet tillåts bli alltför styrande riskerar forskaren att bli så färgad eller inspirerad av de egna utgångspunkterna att alla empiriska exempel ses som ett uttryck för de aspekter som den aktuella teorin sätter i förgrunden.

För att exemplifiera hur en sådan problematik skulle kunna se ut kan vi vända oss till en av studierna i den systematiska översikten om att stödja och stimulera barns sociala förmågor genom lek (2019:01). I den aktuella studien beskrivs att förskollärare kan inta fyra olika roller i barns lek: scenansvarig och facilitator, medlare, deltagare samt observatör och registrator (Ashiabi, 2007). Dessa kategorier kan å ena sidan utgöra en god grund för framtida studier som vill studera liknande frågor, å andra sidan bör forskare som vill utgå ifrån dessa kategorier vara vaksamma på om detta raster tillåts bli alltför styrande. I dessa möjliga framtida studier bör man alltså säkerställa att agerande som ligger utanför dessa kategorier inte faller bort, nedprioriteras eller omtolkas. Man måste vara uppmärksam på att inte alla observerade ageranden uteslutande tolkas i enlighet med de existerande kategorierna, trots att andra kategorier bättre skulle ha fångat de observerade handlingarna.

Läsare av denna typ av analyser bör också bedöma om det finns risk för misstolkningar eller övertolkningar; att forskaren gör mer långtgående tolkningar än materialet ger stöd för. När det gäller frågan om huruvida slutsatsernas koppling till materialet är tillräckligt belagda bör läsaren reflektera över om slutsatserna har stöd i det material som presenteras, och huruvida läsaren kan se var i materialet forskaren anser sig ha stöd för en viss slutsats. Viktiga frågor är här alltså huruvida studiens tolkningar motiveras och hålls inom rimliga ramar. Verkar tolkningarna rimliga med hänsyn till det material läsaren får se? Har man valt representativa citat för att belägga de ståndpunkter som förs fram? Diskuteras de olika citaten? Får man som läsare möjlighet att se tillräckliga och övertygande exempel på utdrag från intervjuerna? En annan central aspekt vad gäller insynen i materialet är att citaten som presenteras inte anses vara självförklarande. Alla citat i studien ska grundligt diskuteras och inte bara staplas på varandra.

3.2.7 Variation och motsägelsefulla resultat

I linje med resonemangen i det tidigare avsnittet, om riskerna med övertolkningar eller alltför teoriberoende tolkningar, är det viktigt att forskaren även redovisar och diskuterar data som motsäger de egna slutsatserna. Forskaren bör alltså kunna kritisera och granska sina resultat. Snarare än att uteslutande försöka passa in materialet i sina kategorier eller begrepp, är det viktigt att forskaren försöker utmana sina egna tolkningar och explicit diskuterar andra möjliga sätt att resonera om intervjuutsagorna.

3.2.8 Urval inom kvalitativ forskning

All kvalitativ forskning förknippas med ett begränsat urval, eftersom den fokuserar på att förstå ett mer komplext fenomen i den specifika kontexten ur specifika individers perspektiv. I den kvalitativa forskningen som vi mött har ofta bekvämlighetsurval, snöbollsurval och strategiskt urval använts vid val av respondenter.

När forskaren väljer sina respondenter och deltagare på grund av tillgänglighet och frivillighet att delta, kallas det för bekvämlighetsurval. Om dessa respondenter eller deltagare i sin tur kan tipsa om andra potentiella deltagare kallas urvalet ofta för snöbollsurval (Bryman, 2011). Risken med dessa typer av urval är att deltagarna kan ha liknande erfarenheter och att forskaren missar lämpliga deltagare som kan bidra med andra relevanta erfarenheter till studien.

Strategiskt urval är ett ytterligare sätt att välja sina respondenter eller deltagare. Här väljer forskaren individer eller förskolor, skolor eller klassrum som har vissa egenskaper som passar för studiens syfte. En intervjustudie kan till exempel bygga på ett strategiskt urval av lärare i en viss årskurs och med viss erfarenhet. Med denna typ av urval riskerar man dock att välja de personer som stödjer forskarens teori. Det är därför viktigt att forskaren reflekterar över sin egen subjektivitet i valet av respondenter. För att studien ska vara trovärdig krävs en noggrann beskrivning av hur urvalet av respondenter har skett, deras bakgrund, erfarenheter och kompetenser.

En annan typ av strategiskt urval är när forskaren har som ambition att täcka in samtliga synsätt eller huvuduppfattningar om ett visst fenomen. Forskaren brukar då sträva efter att maximera variationen mellan de personer som observeras eller intervjuas. Genom att vända sig till personer som är så olika som möjligt i en rad avseenden som kan tänkas ha betydelse för frågeställningen, har forskaren bättre förutsättningar att samla in samtliga relevanta perspektiv. Om man är intresserad av att undersöka hur svensklärare uppfattar eller hanterar ett ämnesspecifikt dilemma kan forskaren välja att variera till exempel deltagarnas socioekonomiska bakgrund, kön, utbildningsort, år som yrkesverksam lärare och huvudman, för att härigenom öka möjligheten att täcka in samtliga uppfattningar och handlingssätt som gruppen svensklärare besitter eller använder. Att arbeta på det här sättet återkopplar till nedanstående diskussioner om att maximera olikheterna i ett urval för att nå generaliserbar kunskap.

3.2.9 Generaliserbarhetsanspråk inom kvalitativ forskning

Som vi tidigare diskuterat skiljer sig generalisering inom kvalitativa studier från statistisk generalisering. Om man hanterat frågor om till exempel urval på ett tillfredställande sätt i interventions- och korrelationsstudier, anses resultatet från undersökningsgruppen också vara giltigt för en större population. Inom den kvalitativa forskningen kan man inte på samma sätt använda sig av exempelvis slumpmässiga urval för att kunna generalisera resultaten till hela populationen, men det betyder inte att man avvisar generaliseringsanspråk, eller att man anser att resultat från observationer och intervjuer uteslutande är bundna till specifika kontexter och tidpunkter. Även kvalitativ forskning kan sträva efter att uttala sig om något som går utöver det unika eller det specifika. Inom den kvalitativa forskningen är det dock andra aspekter som avgör om resultaten kan anses vara generaliserbara eller ej. Larsson (2009) har gett tre förslag på alternativa synsätt på vad generalisering kan innebära inom den kvalitativa forskningen:

1. Att genom att maximera variationen i sitt urval skapa en djupare förståelse av alla möjliga utfall.
2. Generaliserbarhet genom liknande kontext.
3. Generaliserbarhet genom ”igenkännande av mönster”.

Det första förslaget handlar om att skapa maximal variation inom den grupp man studerar, för att på så sätt kunna samla in alla handlingsmönster eller uppfattningar som kan förekomma. En möjlig svårighet med denna strategi är att forskaren inte alltid vet vilka egenskaper hos den aktuella gruppen som kan påverka handlingsmönster och uppfattningar, och vilka egenskaper inom gruppen det alltså är som bör maximeras.

Det andra förslaget handlar om att generalisera genom liknande kontext, alltså att en studies resultat går att överföra till en liknande kontext, även om den skiljer sig något från den kontext som studien genomförts i. Den nya kontexten bedöms då vara tillräckligt lik den ursprungliga för att studiens resultat ska kunna vara överförbara. Ett potentiellt problem är hur man ska avgöra vad som är tillräckligt lika. Om det inte är helt fastslaget exakt hur den aktuella kontexten påverkat studiens resultat, kan det vara svårt att veta vad som skulle vara väsentliga skillnader och likheter i andra kontexter.

Det tredje förslaget handlar om att generalisera genom igenkännande av mönster, vilket innebär att forskningens tolkningar i form av teorier, begrepp och beskrivningar känns igen i andra sammanhang.
Det är i enlighet med det tredje förslaget man ska förstå resultatens användning i Skolforskningsinstitutets översikt om klassrumsdialog i matematikundervisningen (2017:01). I översikten beskrivs exempelvis skillnader i elevers engagemang i matematiska samtal med begreppen utforskande, disputerande och kumulativa samtal. Det är begreppslig kunskap som kan hjälpa lärare att känna igen och förstå det som sker i elevernas samtal i lärarnas egna klassrum. Viktigt att tänka på är att det är en process – samtalsmönster – som generaliseras, inte en situation (Larsson, 2009). Fokus ligger på själva gestaltningen av processen, alltså på begreppen och inte på situationen. Användningen av denna kunskap förutsätter sålunda inte att sammanhangen liknar varandra utan att läraren känner igen mönster i det som sker i elevernas samtal, genom de begrepp som forskningen erbjuder.

En viktig fråga är i vilken utsträckning dessa mer abstrakta kategorier eller begrepp är kontextoberoende eller om deras giltighet fortfarande kräver viss kontextlikhet. Kan till exempel begreppen utforskande, disputerande och kumulativa samtal överföras till undervisning i andra ämnen, även om studierna är genomförda i matematikklassrum?

3.3 Att tänka på

Med utgångspunkt i de beskrivna skillnaderna kring olika studiers syften och upplägg bör man som läsare av vetenskapliga texter vara uppmärksam på om en aktuell studie har använt sig av ett upplägg och en metod som harmonierar med de kunskapsanspråk som studien utgår ifrån. Detta betyder att om en studie till exempel uttalar sig om huruvida ett visst arbetssätt är effektivt eller inte, bör studien vara upplagd på ett sätt som innebär att denna fråga verkligen har blivit undersökt på ett tillförlitligt sätt. I relation till figur 1 bör man ha valt en metod som stämmer överens med det aktuella kunskapsintresset, och man bör ha hanterat de centrala aspekterna inom den aktuella metoden på ett tillförlitligt sätt.
Om forskare i en studie frågat elever om de upplevt att ett visst arbetssätt varit givande, genom att till exempel intervjua elever eller be dem fylla i en enkät, bör man vara medveten om att forskarna därmed fångat in elevernas uppfattningar om arbetssättet. Dessa kan vara högst relevanta och givande för lärare att få syn på, men det är inte nödvändigtvis samma sak som att vi nu har vetenskaplig kunskap om arbetssättets faktiska effektivitet vad gäller lärandeaspekter.

En annan vanlig glidning när det gäller studiers kunskapsanspråk rör skillnaden mellan korrelation och orsakssamband. Att man kan se att två variabler samvarierar, till exempel att användning av ett visst arbetssätt samvarierar med högre kunskapsresultat, betyder inte nödvändigtvis att det finns orsakssamband mellan dessa. Att vi kan se ett samband mellan två variabler innebär inte att vi – enbart utifrån detta samband – kan veta vilken av de två variablerna som påverkar den andra, eller om det finns andra variabler som påverkar båda de aktuella variablerna.

Avslutningsvis vill vi även lyfta en aspekt som är värd att beakta just i relation till så kallade mixed method-studier. Som vi tidigare varit inne på finns det studier som kombinerar olika metoder för att svara på olika typer av frågor. I sådana studier kan forskarna vara intresserade av att förtydliga och beskriva vad som kännetecknar ett visst sammanhang, för att sedan testa om en viss typ av undervisning är effektiv i just det sammanhanget. I mötet med sådana studier är det viktigt att vara vaksam på om rätt fråga besvaras med hjälp av rätt metod. Sammanhanget bör beskrivas och förklaras med exempelvis observationer eller intervjuer. Om forskarna därefter vill pröva effektiviteten av en viss typ av undervisning bör detta göras genom någon typ av kvantitativ undersökning av olika elevgruppers kunskapsresultat. I Skolforskningsinstitutets översikter återfinns denna typ av mixed method-studier bland annat i en systematisk översikt om individanpassad vuxenutbildning (2019:03). I denna översikt har man inkluderat ett antal praktiknära studier som med hjälp av olika metoder besvarade olika forskningsfrågor.

4. Avslutning

Vi hoppas att denna skrift har bidragit till en mer kritisk inställning gentemot tvärsäkra uttalanden om vad ”forskningen säger”. Forskningen erbjuder inga slutgiltiga sanningar, och forskningen kan många gånger säga många saker samtidigt. Detta är heller inte förvånande, eftersom forskare har olika kunskapsanspråk och använder sig av olika metoder för att besvara en viss fråga. Alla svar är dock inte nödvändigtvis lika giltiga utan giltigheten beror på hur man hanterat ovanstående metodologiska frågor.

Att kunskap aldrig är slutgiltig inom vetenskapen betyder dock inte att den inte kan ge oss vägledning. Tvärtom tror vi att så länge vi kan förhålla oss till styrkor och svagheter hos den forskning som vi möter, kan den vetenskapliga kunskapen bidra med värdefulla insikter om undervisning och lärande som kan berika lärares och förskollärares praktik. Utbildningsvetenskaplig kunskap kan utifrån detta synsätt bli en källa till ”intelligent problemlösning” i de verksammas praktik, även om den aldrig kan föreskriva exakt hur en enskild lärare eller förskollärare ska agera i en specifik situation (Biesta, 2007, s. 20). När lärare och förskollärare inkorporerar insikter som de fått genom vetenskaplig kunskap och sammanfogar dem med beprövad och individuell erfarenhet, finns goda möjligheter för en undervisning som främjar utveckling och lärande och en undervisning som vilar på vetenskaplig grund.

Referenser

Ahrne, G., & Svensson, P. (2011). Handbok i kvalitativa metoder. Malmö: Liber.

Alvunger, D., & Wahlström, N. (redaktörer). (2018). Den evidensbaserade skolan: svensk skola i skärningspunkten mellan forskning och praktik. Stockholm: Natur & Kultur.

Ashiabi, G. S. (2007). Play in the Preschool Classroom: Its Socioemotional Significance and the Teacher’s Role in Play. Early Childhood Education Journal, 35(2), 199–207. doi:10.1007/s10643-007-0165-8

Biesta, G. (2007). Why “What Works” won’t work: Evidence-based practice and the democratic deficit in educational research. Educational Theory, 57(1), 1–22. doi:10.1111/j.1741-5446.2006.00241.x

Bryman, A. (2011). Samhällsvetenskapliga metoder. Malmö: Liber.

Bryman, A. (2018). Samhällsvetenskapliga metoder. Stockholm: Liber.

Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2 utg.). Hillsdale: Erlbaum Associates.

Eriksson-Zetterquist, U., & Ahrne, G. (2011). Intervjuer Handbok i kvalitativa metoder (sid. 36–57). Malmö: Liber.

Esaiasson, P., Gilljam, M., Oscarsson, H., Towns, A., & Wängnerud, L. (2002). Metodpraktikan: konsten att studera samhälle, individ och marknad: Wolters Kluwer.

Esaiasson, P., Gilljam, M., Oscarsson, H., Towns, A., & Wängnerud, L. (2017). Metodpraktikan: konsten att studera samhälle, individ och marknad: Wolters Kluwer.

Grönlund, Å., Kempe, A.-L., & Wiklund, M. Myten om pennan, eller varför man inte ska ”tro” på forskning utan läsa det finstilta. Retrieved from https://www2.diu.se/framlar/nyheter/myten-om-pennan-eller-varfor-man-inte-ska-tro-pa-forskning-utan-lasa-det-finstilta/

Hyldgaard, K. (2008). Vetenskapsteori – En grundbok för pedagogiska ämnen. Stockholm: Liber.

Larsson, S. (2009). A pluralist view of generalization in qualitative research. International Journal of Research & Method in Education, 32(1), 25–38. doi:10.1080/17437270902759931

Persson, S., Sveriges Kommuner och Landsting, & Kommunförbundet Skåne. (2017). Forskningslitteracitet – en introduktion till att förstå, värdera och använda vetenskaplig kunskap. Forskning i korthet, 1(1), 1–38.

Rosnow, R. L., & Rosenthal, R. (1989). Statistical Procedures and the Justification of Knowledge in Psychological Science American Psychologist 44(10), 1276–1284.

Seel, H. (1999). Didaktik as the professional science of teachers. I Hudson, B., Buchberger, F., Kansanen, P., & Seel, H. (red.), Didaktik/Fachdidaktik as the Science(-s) of the Teaching Profession? (sid. 85–94). Umeå: Thematic Network of Teacher Education in Europe Publications.

Serder, M. (2020). Vad kan forskningen (inte) bidra med? Retrieved from https://www.skolporten.se/fou/margareta-serder-vad-kan-forskningen-inte-bidra-med/

SFS. (2018). Skollagen (2010:800): med lagen om införande av skollagen (2010:801). Stockholm: Norstedts juridik.

Skolforskningsinstitutet. (2017). Digitala lärresurser i matematikundervisningen. Delrapport skola. Systematisk översikt 2017:02 (1/2). Solna: Skolforskningsinstitutet.

Skolforskningsinstitutet. (2017). Klassrumsdialog i matematikundervisningen – matematiska samtal i helklass i grundskolan. Systematisk översikt 2017:01. Solna: Skolforskningsinstitutet.

Skolforskningsinstitutet. (2018). Feedback i skrivundervisningen. Systematisk översikt 2018:01. Solna: Skolforskningsinstitutet.

Skolforskningsinstitutet. (2019). Att genom lek stödja och stimulera barns sociala förmågor – undervisning i förskolan. Systematisk översikt 2019:01. Solna: Skolforskningsinstitutet.

Skolforskningsinstitutet. (2019). Individanpassad vuxenutbildning – med fokus på digitala verktyg. Systematisk översikt 2019:03. Solna: Skolforskningsinstitutet.

Skolforskningsinstitutet. (2019). Läsförståelse och undervisning om lässtrategier. Systematisk översikt 2019:02. Solna: Skolforskningsinstitutet.

Skolinspektionen. (2019). Vetenskaplig grund och beprövad erfarenhet – förutsättningar och arbetsformer i grundskolan [Elektronisk resurs]. Stockholm: Skolinspektionen.

Skolverket. (2020). Att ställa frågor och söka svar – Samarbete för vetenskaplig grund och beprövad erfarenhet. Stockholm: Skolverket.

Tikly, L. (2015). What works, for whom, and in what circumstances? Towards a critical realist understanding of learning in international and comparative education. International Journal of Educational Development, 40(C), 237–249. doi:10.1016/j.ijedudev.2014.1

Wickman, P.-O., Hamza, K., & Lundegård, I. (2018). Didaktik och didaktiska modeller för undervisning i naturvetenskapliga ämnen. NorDiNa, 14(3), 239–249.

Wiliam, D. (2019). Some reflections on the role of evidence in improving education. Educational Research and Evaluation, 25(1–2), 127-139. doi:10.1080/13803611.2019.1617993

Åsberg, R. (2001). Det finns inga kvalitativa metoder – och inga kvantitativa heller för den delen. Det kvalitativa-kvantitativa argumentets missvisande retorik. Pedagogisk Forskning i Sverige, 6(4), 270–292.