Kapitel:
Forskningssammanställningar
Forskningssammanställningar
Systematisk forskningssammanställning
Skolforskningsinstitutet har i uppdrag att göra forskningssammanställningar som rör undervisningsnära frågor. Det gör vi bland annat i form av så kallade systematiska översikter. Uppdraget knyter an till skollagens krav på att förskolans och skolans utbildning ska vila på vetenskaplig grund.
Digitala lärarresurser i matematikundervisningen är institutets andra översikt och har producerats parallellt med den första. Tillsammans bryter de ny mark beträffande vilken typ av forskningsbaserade underlag som erbjuds svenska förskollärare och lärare som stöd i deras viktiga arbete. Många fler kommer att följa.
Översikten är baserad på 85 studier vilket är att betrakta som mycket i dessa sammanhang. Vi har valt att presentera den i två delar, en för förskolan och en för skolan.
Att producera systematiska forskningsöversikter är ett omfattande arbete. Många personer med olika kompetenser är involverade. Att göra något första gången erbjuder också särskilda utmaningar. Jag vill därför börja med att tacka samtliga mina medarbetare som alla på olika sätt bidragit i detta arbete. Särskilt tack naturligtvis till projektgruppen med Johan Wallin som projektledare. Och till de tre externa forskarna i projektgruppen, Agneta Gulz, Lunds och Linköpings universitet, Ola Helenius, Göteborgs universitet och Anette Jahnke, Göteborgs universitet, som medverkat i alla led som rör det vetenskapliga arbetet: urval, granskning, analys och syntesarbete, samt författande. Institutet är helt beroende av gott samarbete med externa forskare knutna till varje översikt. Stort tack för att ni steg ombord på detta projekt och följde med hela vägen!
Utöver dessa vill jag tacka Björn Berg Marklund, Högskolan i Skövde och Johan Lithner, Umeå universitet, för granskning och många kloka synpunkter på ett manus som då började närma sig en färdig översikt.
Vi har också haft god hjälp av följande lärare som varit referenspersoner: Nicholas Geber, Annika Linell, Annika Perlander, Johanna Rahm och Magnus Sjölander. Ni ingår också i Skolforskningsinstitutets Försöksverksamhet och kommer med tiden att pröva delar av översikten i era egna verksamheter. Det blir spännande att följa.
Det är roligt att denna översikt kommer i anslutning till regeringens digitaliseringsstrategi för skolväsendet där man bland annat lyfter fram vikten av att lärare ska ha kunskap och mandat att avgöra när och hur digitala verktyg ska användas för att stärka lärandet.
Min förhoppning är att just denna översikt ska ge förskollärare och lärare, men även andra som på olika sätt är involverade i barns och elevers matematikutveckling, både karta och kompass i en terräng som kanske är svåröverskådlig men där spännande möjligheter kan dölja sig under varje sten och bakom varje träd!
Skolforskningsinstitutet, november 2017
Lena Adamson , myndighetschef
Arbetet med en systematisk översikt innebär att sammanställa och analysera stora mängder forskning inom ett väl avgränsat område i syfte att besvara en på förhand specificerad frågeställning. Resultatet ska utgöras av den bästa tillgängliga internationella forskningen på området vid den tidpunkt då översikten framställs.
En systematisk översikt utmärks av öppet redovisade och strukturerade metoder för att identifiera, välja ut och sammanställa forskningsresultaten. Syftet är att minimera risken för att slump eller godtycklighet ska påverka resultaten. Det ska också vara möjligt att följa och värdera arbetet som lett fram till urvalet av forskning och sammanställningen av resultaten. Den som läser en systematisk översikt ska själv ha möjlighet att ta hänsyn till ytterligare forskning som eventuellt har tillkommit efter att översikten har genomförts, och som kan komplettera slutsatserna.
Skolforskningsinstitutets systematiska översikter är i första hand till för förskollärare och lärare. De riktar sig naturligtvis också till skolledare och alla andra beslutsfattare som på olika sätt kan främja goda förutsättningar för att bedriva skolans undervisning på vetenskaplig grund.
Begreppet vetenskaplig grund syftar på resultaten från vetenskapliga studier. Det kan handla om ämnesinnehåll, men också om vad den senaste forskningen säger om hur man bäst undervisar inom just detta ämnesområde. Det är det sistnämnda som är Skol forskningsinstitutets uppdrag. Våra systematiska översikter ska bidra till forsknings baserad kunskap inom undervisning som kan underlätta för de verksamma att
Här är det viktigt att påpeka att institutets översikter inte är manualer som ska föl jas till punkt och pricka. Forskningsbaserad kunskap är ett viktigt redskap för hög kvalitet i undervisningen, men det är alltid bara ett av flera beslutsunderlag. En lokal anpassning måste alltid ske när dessa resultat integreras i den egna undervisningen. Här är den enskilde förskollärarens eller lärarens kunskaper, erfarenheter och bedömningsförmåga, tillsammans med behoven hos barn eller elever, de två andra grundläggande och nödvändiga komponenterna för att undervisningen ska bli av högsta kvalitet. Värt att minnas är också att metoder och arbetssätt, som även om de visat sig vara mycket välfungerande i många studier, alltid är beroende av den allmänna undervisningskvaliteten.
Skolforskningsinstitutets översikter kommer att ha olika karaktär beroende på vilken sorts forskning som ligger till grund. Därmed kan användningen också se olika ut.
I vissa översikter finns generella slutsatser som sammanfattar det fullständiga forskningsläget. Då måste vi ha i åtanke att även om en viss undervisningsmetod har visat sig ge goda effekter i en forskningsstudie är det inte alls säkert att resultaten blir lika goda när de ska användas i ett annat sammanhang. Vi måste också tänka på att när ett medelvärde i en grupp höjs, så är det just ett medelvärde där några ligger över och några ligger under. Klassen kan alltså höja sitt medelvärde inom ett kunskapsområde med det nya arbetssättet, men enskilda elever kan fortfarande behöva andra insatser. Detta berör spänningsfältet mellan gruppen och individen i lärarens uppdrag. Att använda ett väl beforskat arbetssätt, som i studier visat sig fungera för många elever, kan föra gruppen framåt samtidigt som läraren får mer tid för att enskilt anpassa undervisningsmetoder för det fåtal elever som behöver detta.
I andra översikter kan resultaten snarare likna en mosaik där många studier tillsammans ger en fördjupad förståelse inom ett visst undervisningsområde, samtidigt som någon av de enskilda ingående studierna kan ge mer konkreta exempel på hur ett moment kan behandlas.
I ytterligare andra översikter kan resultaten bidra till utvecklingen av det professionella språket inom ett visst undervisningsområde, vilket i sin tur kan bidra till en mer avancerad kommunikation i kollegiet.
Slutligen, god undervisningskvalitet bör i grunden bestå av precis samma grundläggande komponenter som god forskning, alltså ha tydliga mål för vad som ska uppnås, relevanta metoder, kritisk reflektion och kollegial granskning; allt för att veta mer om vilka resultat – elevernas utveckling och lärande – som uppnås, varför dessa uppnås och hur man kan utveckla och förbättra dessa resultat.
Figur 1. Arbetsgång
Nedan beskriver vi de olika stegen i arbetsgången kortfattat. För en ingående beskrivning av metod och genomförande för denna systematiska översikt, se kapitel 5 Metod och genomförande.
Syftet med behovsinventeringarna är att ringa in undervisningsnära ämnesområden där behovet av vetenskapligt grundad kunskap bedöms vara stort. Identifierade områden utreds sedan vidare inom ramen för förstudier.
Utifrån resultaten från förstudien och i samråd med de ämnesexperter som knyts till projektet formuleras översiktens frågeställning. För att precisera denna och ge vägledning för de kommande databassökningarna formuleras tydliga kriterier som måste uppfyllas av de studier som inkluderas i översikten.
Sökningen efter forskningslitteratur görs framför allt i internationella forskningsdata baser, med hjälp av söksträngar. En söksträng är den instruktion, i form av en kombination av ord, som matas in i en databas. Söksträngarnas utformning avgör vilka studier som fångas och utgör därför en nyckelfaktor för översiktens kvalitet.
De studier som fångas bedöms mot bakgrund av översiktens frågeställning. Först bedöms relevansen, dvs. om studierna anses kunna bidra till att besvara översiktens frågeställning eller ej. Därefter granskas studiernas vetenskapliga kvalitet. Endast studier som bedöms vara relevanta och som håller tillräckligt hög kvalitet i förhållande till översiktens frågeställning inkluderas i översikten.
De ingående studiernas resultat extraheras och analyseras.
Här sammanställs de ingående studiernas resultat till en helhet för att ge en djupare förståelse. Tillvägagångssätten kan variera bland annat beroende på översiktens frågeställning och vilken typ av forskning som ingår i översikten. Utifrån sammanställningen dras sedan slutsatser. Dessa svarar på översiktens frågeställning och ska kunna ligga till grund för professionella bedömningar i praktiken.
Arbetet bedrivs i projekt i vilka flera olika kompetenser finns representerade. Målet är att presentera så opåverkade svar på översiktens frågeställning som möjligt. Arbetet kännetecknas av utpräglad systematik och transparens.
Denna systematiska översikt sammanställer forskning om digitala lärresurser för att utveckla barns och elevers kunskaper i matematik. Forskningen spänner över förskolan till och med gymnasieskolan och anknyter specifikt till matematikundervisningen. I denna rapport redovisas översiktens resultat för förskolan.
De digitala lärresurser som studeras erbjuder alla en interaktivitet. Det betyder att barnen är aktiva i relation till lärresursen i själva undervisningssituationen.
De frågor som besvaras i rapporten är:
Översikten har sin bakgrund bland annat i frågor om huruvida undervisning med hjälp av digitala lärresurser kan påverka barns kunskapsutveckling.
Det vetenskapliga underlaget består av tio studier och barnen som har deltagit är mellan fyra och sex år gamla. Alla digitala lärresurser som har studerats har tydliga inslag av lek och spel. Den matematik som berörs handlar främst om grundläggande matematiska begrepp som rum, form, läge och riktning samt mängder, antal och ordning. Med hjälp av lärresurserna får barnen träna sin förståelse för vad dessa begrepp innebär genom att möta dem i konkreta situationer och få dem representerade på olika sätt (t.ex. med ord, prickar, streck, linjer eller siffror). Några lärresurser innehåller även räkneövning ar (t.ex. 2+2=4). De flesta av lärresurserna är tänkta att användas mer eller mindre självständigt av barn enskilt eller i smågrupper. Det saknas studier från Sverige, men den matematik som berörs stämmer väl med den svenska läroplanen för förskolan.
Välkonstruerade digitala lärresurser kan erbjuda ett bra stöd för att utveckla barns tidiga matematik, i synnerhet om pedagogernas1 tidigare erfarenheter av att jobba med olika matematikaktiviteter är begränsade. Det går att nå goda resultat även med tidsmässigt korta insatser på några pass per vecka under ett antal veckor.
1 Vi har i rapporten valt att använda pedagog som ett samlingsbegrepp för förskollärare och annan personal med sådan utbildning eller erfarenhet att barnens utveckling och lärande främjas.
För barn som bedöms riskera att halka efter i sin matematikutveckling kan arbete med stöd av digitala lärresurser fungera förberedande inför skolstarten och ha en kompensatorisk betydelse. Det gäller barn som kan misstänkas ha låg exponering för matematik både i förskolan och hemma.
De lärresurser som har undersökts är till sitt matematikinnehåll konstruerade för att passa barn i förskolan. Även själva undervisningen som har getts med stöd av lärresurserna är utformad på ett genomtänkt sätt i relation till barn i förskolan.
Det är svårt att dra några tydliga slutsatser om egenskaper som kan utmärka en välkonstruerad digital matematiklärresurs för barn i förskolan. Men det tycks vara gynnsamt om arbetssätten uppmuntrar till samtal mellan barn och med pedagogerna, på så sätt kan barnen stimuleras till att benämna och använda matematiska begrepp. En nyckelfaktor är att de matematikuppgifter som barnen arbetar med har en karaktär som inbjuder till samtal om själva uppgifterna. Att samtala om uppgifterna betyder att barnen får dela idéer, prata om lösningar och förklaringar samt ge och be om hjälp i relation till matematikinnehållet. Det kan åstadkommas genom såväl samarbetsinriktade arbetssätt som individuellt arbete i en gemenskap.
Av nära 10 000 publikationer som identifierades i litteratursökningen har vi gått igenom drygt 700 studier i fulltext. Av dessa bedömdes totalt 85 studier kunna bidra till att besvara den systematiska översiktens frågor, varav 75 avser grund- och gymnasieskolan och 10 avser förskolan. I den här rapporten redovisas resultaten från de 10 studier som avser förskolan.
Alla studierna är kontrollerade experiment, vilket innebär att forskarna har jämfört två eller flera undervisningsinsatser med varandra. Alla studier mäter också i vilken grad barns kunskaper i matematik påverkas av undervisningen. Den undervisning som har undersökts är upplagd på ett sätt som syftar till att passa förskolematematiken. Det betyder bland annat att undervisningen behandlar matematikinnehåll som valts på ett medvetet sätt i relation till målgruppen.
Ingen av de digitala lärresurser som har studerats i förskolan finns på svenska. De är i allmänhet inte heller öppet tillgängliga. Även om detta medför att lärresurserna inte kan användas direkt i ett svenskt sammanhang ger översikten kunskap om hur digitala lärresurser kan se ut till innehåll och funktion samt hur de kan användas i förskolans undervisning för att ge effekter på kunskapsutvecklingen i matematik.
I detta kapitel redovisar vi översiktens syfte och frågeställning samt ger en bakgrund till översikten.
Denna systematiska översikt sammanställer forskning om digitala lärresurser för att utveckla barns och elevers kunskaper i matematik[1]. Forskningen spänner över förskolan till och med gymnasieskolan och de arbetssätt som undersöks kopplar specifikt till matematikundervisningen. I den här rapporten redovisas översiktens resultat för förskolan.
De frågor som besvaras i rapporten är:
Alla studier som ingår har undersökt om barns kunskapsutveckling i matematik påverkas på ett mätbart sätt av en undervisning med stöd av någon specifik digital lärresurs. Det vetenskapliga underlaget består enbart av experimentella jämförande studier som med hjälp av för- och eftertester har undersökt förvärvade kunskaper inom något relevant matematikområde.[2]
Såväl verksamma som organisationer inom området vittnar om ett behov av tillförlitlig kunskap om undervisning med stöd av digitala lärresurser har effekter på barns kunskapsutveckling i matematik och hur olika lärresurser kan användas på ett genomtänkt sätt i ett pedagogiskt sammanhang.
Sverige är en utpräglad IT-nation, och för de allra flesta av oss ingår datorer, datorplattor och smarttelefoner[3] med uppkoppling till internet som en naturlig del i vardagen. Med ökad tillgång till IT-utrustning ökar också användningen av digitala resurser och tjänster. IT-användningen genomsyrar i dag för de flesta privatlivet, samhällsdeltagandet, utbildningen och arbetslivet (Davidsson & Findahl, 2016).
Ett skäl till att digitalisera förskolan är att förbereda barn för ett allt mer digitaliserat samhälle. Med detta menas bland annat att förskolor ska ge barnen möjligheter att möta och förhålla sig till den moderna digitala teknik som de omges av. Regeringen har därför gett Skolverket i uppdrag att inom ramen för en översyn av läroplanen för förskolan även beakta frågan om hur barnens digitala kompetens kan stärkas i förskolan (Skolverket, 2016b; Sveriges regering, 2017b).
Ett annat skäl till att digitalisera förskolan är att möjliggöra användningen av digitala lärresurser för att stimulera utvecklingen av barns ämneskunskaper. Det är tänkbart att digitala lärresurser kan stödja undervisningen och lärandet, och därmed måluppfyllelsen i förskolan. I regeringens digitaliseringsstrategi beskrivs det övergripande målet att också förskolan ska vara ledande i att använda digitaliseringens möjligheter på bästa sätt för att uppnå en hög digital kompetens hos barn och för att främja kunskapsutvecklingen och likvärdigheten (Sveriges regering, 2017a).
Att kunna räkna hör till självklara vardagskunskaper som är centrala i samhällslivet. Men matematik som ämne handlar inte bara om räkning, utan också om såväl logik, abstraktion och problemlösning som att kunna resonera, argumentera och kommunicera. Dessa förmågor är viktiga för att kunna utvecklas till en deltagande samhällsindivid. Inom den forskning som ingår i den här översikten, liksom inom forskningsområdet i stort, poängteras betydelsen av tidiga insatser för att alla barn ska utveckla goda förutsättningar för sin matematikutveckling när de senare börjar skolan. Dessa tankar har funnits länge, långt innan digitala lärresurser för matematik i förskolan blev aktuella. Ofta hänvisas till hur barns förmågor i tidig matematik vid skolstart i hög grad kan förutsäga hur det kommer att gå för dem i skolan.
Vanliga begrepp inom forskningen om förskolans matematik är tidig matematik (early math), förberedande matematikförmågor (preparatory skills) och taluppfattning (number sense). Det finns olika definitioner av taluppfattning, men gemensamt är att det handlar om att utveckla den begreppsliga grunden för att kunna förstå vad tal innebär. En utvecklad taluppfattning innebär att kunna relatera icke-symboliska kvantiteter, som mängder av föremål, till såväl halv-symboliska, till exempel mängder av streck eller prickar, som till de helt symboliska siffrorna. Det handlar också om att förstå hur antal förhåller sig till begrepp som längre/kortare, högre/lägre, större/ mindre för att ge innebörd åt tal och deras funktioner. Taluppfattning kan alltså sägas handla om att introducera talbegreppet genom att sätta det i sammanhang som kopplar till rum, form, läge och riktning samt mängder och ordning.
Det finns olika sätt att stödja matematikundervisningen i förskolan med hjälp av digitala lärresurser och det är tänkbart att sådana arbetssätt kan ha betydelse för barns kunskapsutveckling. Alla digitala lärresurser för förskolan som ingår i den här översikten har tydliga inslag av lekfullt lärande och spelande.
[1] Vi har valt att använda begreppet kunskaper som ett samlingsbegrepp för olika kunskapsformer. I resultatsammanställningen redovisas både vilket matematikinnehåll som berörs i studierna och vilka matematikförmågor som studierna har haft som mål att utveckla genom undervisningen.
[2] I kapitel 4 Metod och genomförande finns mer information om vad vi har bedömt som viktigt att tänka på när den här sortens forskning ska tolkas. Där redovisas också mer detaljerat hur vi har resonerat när vi har bedömt studierna.
[3] Termerna som används är de som rekommenderas av Svenska datatermgruppen, www.datatermgruppen.se.
[4]Digitala lärresurser användas ibland som samlingsbegrepp för allt som är digitalt och till nytta i undervisning och lärande. Det vi i den här översikten menar med digitala lärresurser i matematikundervisningen är digitala resurser som specifikt anknyter till matematik, erbjuder en interaktivitet och används i syfte att förmedla ett ämnesinnehåll. För en detaljerad beskrivning, se kapitel 4 Metod och genomförande.
Den systematiska översikten omfattar forskning från förskolenivå upp till gymnasienivå. Vi har valt att publicera översiktens resultat i två separata rapporter, en för förskolan och en för grund- och gymnasieskolan. I denna rapport redovisas resultaten för förskolan.
Den internationella forskningen om digitala lärresurser i matematikundervisningen är omfattande. De krav vi har ställt på vilken typ av digitala lärresurser som ska ha undersökts, och vilken typ av resultat som ska ha rapporterats ledde till ett slutligt urval om 85 studier. Av dessa avser 75 grund- och gymnasieskolan och 10 avser förskolan. I denna rapport redovisas resultaten från de 10 studier som avser förskolan.
Flödesschemat visar hur många studier som har valts ut i de olika stegen i urvalsprocessen. Efter att dubbletter[5] räknats bort genererade litteratursökningarna 9 515 träffar. Efter gallring i två steg utifrån information i titlar och sammanfattningar gick projektgruppen igenom 733 publikationer i fulltext[6]. Av dessa bedömdes sammanlagt 648 stycken inte vara användbara för att besvara översiktens frågor. Bland de 806 referenser som kvarstod efter relevansgranskning 2 ingår 73 referenser som inte var möjliga att rekvirera i fulltext. En detaljerad beskrivning av arbetsgångens alla steg och hur vi har resonerat när vi har bedömt studierna finns i kapitel 4 Metod och genomförande.
Figur 2. Flödesschema: litteratursökning och urval
Projektet har drivits utifrån ambitionen att finna all forskning med relevans för den systematiska översikten inom de ramar som är definierade, varför urvalet av forskning inte avgränsats med avseende på ursprungsländer. När det gäller förskolan finns forskning från Belgien, Chile, Frankrike, Israel och USA representerad i urvalet. Det saknas studier från Sverige och övriga Norden.
Förskoleverksamheten i flera av de länder där forskningen har genomförts kan skilja sig från den svenska förskolan, med inslag som är mer skolliknande än i Sverige. Bland annat används ofta begrepp som klassrum, lektioner och kursplaner. Det ska dock noteras att den matematik som berörs i studierna stämmer väl överens med den svenska läroplanen för förskolan.
I kapitel 1 ger vi en beskrivning av de frågor som rapporten besvarar och redovisar bakgrunden till varför en översikt om digitala lärresurser är angelägen. I kapitel 2 (detta kapitel) redovisas hur många studier som litteratursökningarna genererade och hur många studier som blev kvar efter urvalsprocessen. Resultat och slutsatser redovisas i kapitel 3. I kapitel 4 ges en detaljerad beskrivning av metoder och genomförandet av den systematiska översikten. I kapitel 5 tar vi upp översiktens begränsningar i relation till valda metoder och analyser.
Till översikten hör slutligen ett antal bilagor. Här finns kompletterande information om bland annat litteratursökningar, verktyg som har använts i arbetet och beräkningar. Bilagorna publiceras digitalt på webbplatsen www.skolfi.se.
Resultatkapitlet inleds med en kort sammanfattning av det vetenskapliga underlaget. Därefter följer slutsatserna. För att underbygga slutsatserna redovisas sedan resultatbeskrivningen. Under rubriken Sammanfattning av resultaten redovisas först de ingående studiernas effektresultat. Därefter relateras studierna och deras resultat till varandra i syfte att underbygga framträdande mönster när det gäller hur de uppmätta effekterna kan förklaras. Här belyser vi även det vetenskapliga underlaget ur ett relevansperspektiv.
Under rubriken Beskrivning av ingående studier beskrivs studierna med avseende på de undersökta lärresursernas uppbyggnad och funktion och hur de har använts i undervisningen. Detta för att ge förståelse för vad som faktiskt har hänt i studierna. Här belyser vi också hur resultaten kan tolkas kopplat till studiernas olika forskningsupplägg. Studierna analyseras bland annat i termer av styrkor och svagheter som påverkar tolkningen av resultaten, dvs. de effekter som har uppmätts.
I resultatkapitlet ingår en tabell över forskningslitteraturen som utgör det vetenskapliga underlaget. Här finns bland annat uppgift om vilket matematikinnehåll som har varit aktuellt och vilka förmågor forskarna har haft som mål att utveckla genom undervisning med stöd av digitala lärresurser.
Utgångspunkten för arbetet har varit att försöka avgöra om användning av digitala lärresurser i matematikundervisningen bidrar till barns kunskapsutveckling i matematik på ett mätbart sätt. Resultatbeskrivningen innehåller därför ett så kallat skogsdiagram (forest plot)[8].
Skogsdiagrammet illustrerar de effekter på de deltagande barnens kunskaper i matematik som har rapporterats i de ingående studierna. Diagrammet visar också hur de olika studiernas resultat förhåller sig till varandra. För att kunna presentera resultaten i skogsdiagram har vi gjort vissa beräkningar[9]
Figur 3. Exempel på skogsdiagram
Bilden visar ett exempel på ett skogsdiagram. Studie 1 visar ett resultat till fördel för experimentgruppen. Studie 4 visar ett resultat som är till fördel för jämförelsegruppen. Studie 2 och studie 3 visar resultat där det inte är någon statistiskt säkerställd skillnad mellan experiment- och jämförelsegrupperna. Detta kan man utläsa av att den linje som representerar konfidensintervallen korsar mittlinjen. Konfidensintervallens bredd illustrerar det talområde som troligen inkluderar respektive studies medelvärde. SMD = standardiserad skillnad i medelvärde; 95 % KI = 95 % konfidensintervall.
En effekt är alltid sammansatt av många olika orsaker, det vill säga att det är många faktorer som bidrar till den effekt som följer av en undervisningsinsats.
När det handlar om undervisning med stöd av digitala lärresurser är vår bedömning att tänkbara orsaksfaktorer mycket övergripande kan delas in i tre olika kategorier:
Orsaksanalyserna syftar till att finna framträdande mönster i hur effektresultaten kan förklaras genom att jämföra hur de olika studierna och deras resultat förhåller sig till varandra. I det arbetet har vi använt skogsdiagrammet som ett analytiskt verktyg. Genom att studiernas effektresultat visualiseras i diagrammet underlättas möjligheten att upptäcka skillnader och likheter, dvs. hur studiernas resultat relaterar till varandra.
[5] Dubblett innebär två exemplar av samma referens. Dubbletter uppkommer vanligen som en följd av att samma referens fångas upp från två eller flera databaser. Det förekommer också att en och samma studie rapporteras (ibland delvis omskriven) i fler än en källa. Dessa dubbletter upptäcks vanligen av projektgruppen senare i urvalsprocessen.
[6] Bland de 806 referenser som kvarstod efter relevansgranskning 2 ingår 73 referenser som inte var möjliga att rekvirera i fulltext.
[7] Se kapitel 4 Metod och genomförande för en mer utförlig beskrivning.
[8] Namnet har sitt ursprung i uttrycket ”inte se skogen för alla träd” med innebörden att det kan vara svårt att se helheten på grund av för stor anhopning av detaljer.
[9] I bilaga 3 finns en detaljerad beskrivning av de beräkningar som ligger till grund för skogsdiagrammen, se www.skolfi.se.
Det vetenskapliga underlaget består av tio studier och barnen som har deltagit är mellan fyra och sex år gamla. Alla digitala lärresurser som har studerats har tydliga inslag av lek och spel. Den matematik som berörs handlar främst om grundläggande matematiska begrepp som rum, form, läge och riktning samt mängder, antal och ordning. Med hjälp av lärresurserna får barnen träna sin förståelse för vad dessa begrepp innebär genom att möta dem i konkreta situationer och få dem representerade på olika sätt (t.ex. med ord, prickar, streck, linjer eller siffror). Några lärresurser inne håller även räkneövningar (t.ex. 2+2=4). De flesta av lärresurserna är tänkta att användas mer eller mindre självständigt av barn enskilt eller i smågrupper.
Översikten som helhet inbegriper också grund- och gymnasieskolan och det kan noteras att digitala lärresurser för skolan kan delas in i fem olika huvudkategorier. Uppgifter: lärresurser som levererar matematikuppgifter tillsammans med olika former av vägledning eller individanpassning; objekt: lärresurser med vilka matematik och matematiska objekt, t.ex. geometriska former, kan representeras genom att utnyttja det digitala mediet; spel: lärresurser som utnyttjar spelmekanismer för att förmedla ett ämnesinnehåll, såsom berättelser som innehåller uppdrag, utmaningar, lekfullhet och utforskande samt belöningar och tävlingsmoment; verktyg: programvara som har tagits fram i ett annat syfte än för att bedriva undervisning, men som kan användas för att utföra matematiska aktiviteter; kurspaket: lärresurser av ett mer omfattande slag som kan innehålla flera funktioner och beröra många matematikområden[10].
Det saknas studier om digitala lärresurser i förskolan från Sverige, men den matematik som berörs stämmer väl överens med den svenska läroplanen för förskolan.
Skogsdiagrammet nedan illustrerar de effekter på barns kunskaper i matematik som har uppmätts i de ingående studierna[12]. Diagrammen visar också hur studiernas resultat förhåller sig till varandra.
Figur 4. Skogsdiagram över ingående studier
Skogsdiagrammet visar beräknade effektstorlekar med konfidensintervall för de ingående studierna. SMD = standardiserad skillnad i medelvärde; 95 % KI = 95 % konfidensintervall.
Hälften av studierna undersöker effekter av förhållandevis begränsade insatser sett i investerad tid för barn och pedagoger. Det handlar då om korta pass på 10–20 minuter per vecka under några veckor. Den andra hälften av studierna innebär mer omfattande insatser, om upp till totalt 60 timmar. Omfattningen i tid har en del konsekvenser. Dels är det praktiskt sett lättare att genomföra aktiviteter som inte kräver så mycket tid, dels är det mindre sannolikt att dessa aktiviteter riskerar att ersätta andra matematikaktiviteter i en förskola, vilket en mer omfattande insats riskerar att göra.
Av de studier som handlar om undervisning med digitala lärresurser som inte tar så mycket tid i anspråk ger fyra stöd för en positiv effekt på barns kunskapsutveckling i matematik. Samtidigt ska man komma ihåg att det relativt sett är lättast att nå märkbara effekter när någon exponeras för ett innehåll som är nytt, jämfört med ett område som redan är bekant. En sådan situation är förhållandevis lätt att åstadkomma med barn i förskolan.
De flesta av lärresurserna som undersöks erbjuder självständiga aktiviteter för enstaka barn eller mindre grupper av barn. De vuxnas (pedagogers, forskares eller assistenters) involvering är vanligen i huvudsak begränsad till att vid behov hjälpa till med tekniken och att finnas till hands.
Om lärresursen bygger på att flera barn samarbetar för att lösa uppgifter kan det dock krävas att pedagogerna tar en mer aktiv roll. Detta kan handla både om att ge återkoppling på själva lärinnehållet och att vägleda barnen i att samarbeta. Sådana arbetssätt kan kräva att pedagogerna får utbildning i hur de kan jobba med lärresurserna i verksamheten.
När en lärresurs kan användas självständigt av barn eller grupper av barn ökar möjligheterna. Exempelvis kan den då även användas i barngrupper i lägen där pedagogerna av olika skäl inte haft möjlighet att fördjupa sig inom barns tidiga matematikutveckling. På en förskoleavdelning eller förskola där det finns pedagoger som är intresserade av och har erfarenhet av att arbeta med tidig matematik finns många aktiviteter, med eller utan digitala inslag, att välja mellan. Men på förskolor där detta inte är fallet kan en välfungerande digital lärresurs, som barnen kan arbeta självständigt med, vara betydelsefull för barnens möjligheter att utveckla sina matematikkunskaper. I den meningen kan en sådan lärresurs ha viss kompensatorisk effekt och därmed göra skillnad.
Dessutom finns självklart möjligheten att kombinera självständiga aktiviteter med sådana där pedagoger är mer involverade. Det är rimligt att anta att det alltid innebär ett mervärde när pedagoger följer upp barnens aktiviteter och samtalar med barnen om det de gör.
Flera studier i underlaget har en inriktning på barn som riskerar att komma efter i den tidiga matematiken, utan att det för den delen handlar om barn med inlärningssvårigheter (Desoete & Praet, 2013; Schacter & Jo, 2016; Schacter m.fl., 2016; Wilson m.fl., 2009). I en del fall har dessa barn identifierats genom olika tester. I andra fall har man valt att genomföra studierna vid förskolor i socioekonomiskt svaga områden, där tidigare forskning visat att barnen tenderar att få låg grad av exponering för matematik både i hemmen och i förskolan.
Betydelsen av familjers socioekonomiska status[13] i relation till barns matematikutveckling är något som i synnerhet amerikanska forskare har uppmärksammat. Även om det behövs mer forskning om socioekonomiska och sociokulturella faktorers betydelse för barns tidiga matematik i ett svenskt sammanhang, är det rimligt att anta att det också i Sverige finns barn i förskolan som kan gynnas särskilt av fokuserade matematikinsatser som digitala lärresurser kan erbjuda. En grupp som vuxit under de senare åren är förskolebarn med annat modersmål än svenska, som parallellt med att de ska lära sig tidig matematik är sysselsatta med att lära sig ett nytt språk.
Förskolan i Sverige har inte fasta timplaner. Därmed blir det mindre relevant att betrakta olika insatser som konkurrerande eftersom barnen kan använda en viss lärresurs utan att andra matematikaktiviteter behöver väljas bort. Men om man som pedagog står inför att börja använda en digital lärresurs blir en fråga vilken man ska välja. Även om de flesta studier i underlaget påvisar positiva resultat visar genomgången samtidigt att skillnaderna i effekter på barns kunskaper i matematik varierar beroende på vilken lärresurs som används och hur den används. I det sammanhanget bör det understrykas att de lärresurser som har undersökts, med ett enstaka undantag, är konstruerade för att passa barns arbete med den tidiga matematiken i förskolan och utvärderade med avseende på detta. Även själva undervisningen som ges med stöd av lärresurserna har utformats på ett genomtänkt sätt i relation till målgrupperna.
En viktig fråga att bedöma är i vilken utsträckning den digitala lärresursen uppmuntrar till konstruktiva samtal mellan barn, och mellan barn och pedagoger. När det sker tycks det kunna stärka förutsättningarna för att barnen ska utveckla centrala förmågor i tidig matematik. En nyckelfaktor är att matematikuppgifterna har en karaktär som inbjuder till samtal om själva uppgifterna; det kan hjälpa barnen att utveckla sin förmåga att uttrycka och använda matematiska begrepp och samband mellan begrepp samt att utveckla sin förmåga att uttrycka tankar, ställa frågor, argumentera och kommunicera med andra.
Tre studier i underlaget som har fokus på barns samarbete i matematik med stöd av digitala lärresurser ger viktiga lärdomar. Två av studierna visar tydligt att samarbete med stöd av lärresurser kan vara fördelaktigt för barns matematikutveckling (Gómez m.fl., 2013; Kramarski & Weiss, 2007). I en av dessa (Kramarski & Weiss, 2007) fick alla barn jobba samarbetsinriktat men med stöd av olika sorters material, en grupp med en digital lärresurs och en grupp med traditionella material. I den andra (Gómez m.fl., 2013) jäm fördes barn som samarbetade med stöd av en digital lärresurs med barn som enbart fick följa förskolans ordinarie verksamhet. En rimlig tolkning är att arbetet med lärresursen skapade goda förutsättningar för barnen att samtala om matematikinnehållet snarare än att bara samtala i största allmänhet. Att samtala om innehållet betyder att barnen delar idéer, pratar om lösningar och förklaringar samt ger och ber om hjälp i relation till matematikuppgifterna.
I den tredje studien (Weiss m.fl., 2006) visas däremot att de barn som fick arbeta individuellt med lärresursen presterade bättre än de som fick arbeta samarbetsinriktat när det gäller mer utmanande uppgifter. Det kan tolkas som att det alltid är fråga om att finna en balans mellan att ge barnen möjlighet att samtala och att försäkra sig om att samtalen inte sker på bekostnad av ett fokus på att lösa uppgifterna.
Alla digitala lärresurser som har undersökts i förskolan har stora inslag av lek och spel. Lärresurserna är med enstaka undantag utvecklade av forskare för att stödja såväl begreppslig förståelse som färdighetsträning, även om balansen däremellan varierar. Fyra studier har fokus på barn som av olika skäl riskerar att komma efter i sin matematikutveckling (Desoete & Praet, 2013; Schacter & Jo, 2016; Schacter m.fl., 2016; Wilson m.fl., 2009). Sex studier undersöker undervisning med stöd av lärresurser som barn arbetar med individuellt (Desoete & Praet, 2013; Foster m.fl., 2016; Praet & Desoete, 2014; Schacter & Jo, 2016; Schacter m.fl., 2016; Wilson m.fl., 2009), medan tre studier har fokus på samarbetsinriktat arbete (Gómez m.fl., 2013; Kramarski & Weiss, 2007; Weiss m.fl., 2006).
Tabell 1. Information om studierna som ingår i översikten
| Digitala lärresurser | |||
| Studie | Matematikinnehåll | Matematikförmåga | Upplägg och effektstorlek |
| Schacter (2016), USA
Improving low-income preschoolers mathematics achievement with Math Shelf, a preschool tablet computer curriculum |
Grundläggande mängd- och talbegrepp: matcha, uppskatta, ordna, räkna, en-till-en-relationer, representationer, positionssystemet
Talområde 1–3, 1–6, 1–9 |
Begrepp Procedur | KE
15 veckor Ca 200 barn 4–5 år 1,07 (0,70–1,43) |
| Schacter (2016), USA
Math Shelf: A randomized trial of a prekindergarten tablet number sense curri- culum |
Grundläggande mängd- och talbegrepp: matcha, uppskatta, ordna, räkna, en-till-en-relationer, representationer, positionssystemet
Talområde 1–3, 1–6, 1–9 |
Begrepp Procedur | RCT
6 veckor Ca 100 barn 4–5 år 0,63 (0,23–1,03) |
| Wilson (2009), Frankrike
Effects of an Adaptive Game Intervention on Accessing Number Sense in Low-Socioeconomic-Status Kindergarten Children |
Grundläggande mängd- och talbegrepp: uppskatta, matcha, jämföra, räkna, relationer mellan representationer
Tallinje Addition, subtraktion Talområde 1–10 |
Begrepp Procedur | KE cross-over 14 veckor
Ca 55 barn 4–6 år * |
| Desoete (2013), Belgien
Inclusive Mathematics Education: the Value of a Computerized Look-ahead Approach in Kindergarten. A Randomized Controlled Study |
Grundläggande mängd- och talbegrepp: uppskatta, jämföra, matcha, räkna, relationer mellan representationer
Tallinje Addition, subtraktion Talområde 1–10 |
Begrepp Procedur | RCT
5 veckor + fördröjt eftertest efter 6 mån Ca 40 barn 5–6 år 1,13 (0,44–1,81) |
| Praet (2014), Belgien
Children’s arithmetic skills through non-intensive, computerised kindergarten interventions: A randomised controlled study |
Grundläggande mängd- och talbegrepp: uppskatta, matcha, jämföra, räkna, relationer mellan representationer
Tallinje Addition, subtraktion Talområde 1–10 |
Begrepp Procedur | RCT
5 veckor + fördröjt eftertest efter 6 mån Ca 130 barn 5–6 år 0,63 (0,25–1,02) |
| Foster (2016), USA
Improving Mathematics Learning of Kindergarten Students Through Computer- Assisted Instruction |
Grundläggande mängd- och talbegrepp: uppskatta, jämföra, ordna, sammansätta, klassificera, räkna
Addition, subtraktion Multiplikation, division |
Begrepp Procedur | RCT
21 veckor Ca 210 barn 5–6 år 0,11 (-0,16–0,38) |
| Kramarski (2007), Israel
Investigating preschool children’s mathematical engagement in a multimedia collaborative environment |
Grundläggande talbegrepp: identifiera, räkna, gruppera, jämföra, uppskatta, förklara, ställa frågor
Addition, subtraktion Talområde 1–10 |
Begrepp Procedur Problemlösning Kommunikation | RCT
20 veckor Ca 75 barn 4,5–5,5 år 0,69 (0,22–1,15) |
| Weiss (2006), Israel
Effects of Multimedia Environments on Kindergarten Children’s Mathematical Achievements and Style of Learning |
Grundläggande talbegrepp: identifiera, räkna, gruppera, jämföra, uppskatta, förklara, ställa frågor
Addition, subtraktion Talområde 1–10 |
Begrepp Procedur Problemlösning Kommunikation | RCT
20 veckor Ca 120 barn 4,5–5,5 år 0,81 (0,41–1,21) |
| Gómez (2013), Chile
Co-located single display col- laborative learning for early childhood education |
Tidsbegrepp
Storlek och form: klassificera, sortera, ordna, räkna Addition, subtraktion Talområde 1–10 |
Begrepp Procedur Problemlösning | KE
16 veckor Ca 225 barn 5–6 år 0,61 (0,34–0,89) |
| Mattoon (2015), USA
Examining Computational Skills in Prekindergarteners: The Effects of Traditional and Digital Manipulatives in a Prekindergarten Classroom |
Grundläggande talbegrepp: räkna vidare från olika tal, huvudräkning, dela lika Addition, subtraktion, division Talområde 1–20 | Procedurer Problemlösning | KE
6 veckor Ca 25 barn 4–5 år 0,30 (-0,53–1,12) |
KE = kvasiexperimentell studie; RCT = randomiserad kontrollerad studie; * = ej möjligt att extrahera ett samlat kunskapsmått
Två studier undersöker matematikspelet Math Shelf (Schacter & Jo, 2016; Schacter m.fl., 2016). Spelet är relativt omfattande och konstruerat för datorplatta. Barnet börjar med att inom talområdet 1–3 träna på att uppfatta små antal utan att räkna[14]. Därefter följer grundläggande procedurer som exempelvis en-till-en-räkning och matchning mellan mängder som representeras på olika sätt. Allt som allt innehåller lärresursen fler än hundra olika delspel, där de mest avancerade handlar om positionssystemet[15]. Systemet ger återkoppling och är individanpassat genom att uppgifterna blir allt svårare utifrån hur barnet presterar.
I den första studien redovisas en mycket tydlig effekt till fördel för att jobba med spelet (Schacter & Jo, 2016). Likt en hel del annan forskning, särskilt amerikansk forskning om att stödja förmågor i tidig matematik, fokuserar studien på barn som bedöms riskera att börja skolan med svaga förmågor i tidig matematik. Förskolorna som undersökts ligger därför i ekonomiskt svaga områden.
Effektstorleken på över 1 är betydande. Forskarna själva menar att insatsen kan ge barn motsvarande ett års försprång i matematikutveckling. Man bör dock vara medveten om vissa begränsningar i studien. De två barngrupper som jämfördes hörde till olika avdelningar på förskolan. Det kan ha medfört att grupperna inte hade likvärdiga förutsättningar. Det var också för få avdelningar som deltog för att kunna hantera olikartat inflytande från olika lärare och pedagoger. Vidare varnar forskarna för att överföra resultatet till förskolebarn från andra miljöer (t.ex. avseende föräldrars inkomster). Men en viktigare invändning är att jämförelsegruppen var passiv och endast följde den ordinarie matematikundervisningen på förskolan. Risken är därmed stor att resultatet till del kan förklaras av att experimentgruppen helt enkelt fick betydligt mer matematikundervisning än jämförelsegruppen. Det gör det svårt att avgöra betydelsen av just den digitala lärresursen. Forskarna är dock medvetna om studiens svagheter och avslutar sin rapport med att presentera en plan för en kommande studie där man i stället ämnar använda en jämförelsegrupp som får ta del av en alternativ matematikinsats.
I uppföljningsstudien fördelades barnen slumpmässigt till experiment- respektive jämförelsegrupp. Det gjordes för att grupperna skulle ha likvärdiga förutsättningar. I studien fick också alla barn använda förskolematematikspel på datorplatta. Barnen i experimentgruppen spelade Math Shelf medan de i jämförelsegruppen fick välja bland fem populära förskolematematikappar. Här valdes de mest nedladdade apparna under 2014 och de med bäst betyg på några populära amerikanska sajter[16] (Schacter m.fl., 2016).
För- och eftertesterna gjordes på datorplatta. Testerna var utvecklade för studien men innehöll väl beprövade uppgifter i tidig matematik. Även denna studie visar på en tydlig fördel för Math Shelf, om än av mindre storlek än i den första studien. Resultatet visar att det finns goda möjligheter att stödja utvecklingen av förskolebarns matematikkunskaper med hjälp av lämpliga digitala lärresurser, särskilt barn i så kallade riskgrupper. Även i denna studie var fokus på förskolor i socioekonomiskt svaga områden[17]. I studien saknas dock en långtidsuppföljning av resultaten, något som författarna också tar upp själva.
Tre studier undersöker lärspelet Number Race (Desoete & Praet, 2013; Praet & Desoete, 2014; Wilson m.fl., 2009). Spelet bygger på teorier om hur barn utvecklar numerisk kognition (numerical cognition). Fokus är på jämförelser, störst/minst, och syftar till att träna kopplingarna mellan olika sätt att representera matematiska begrepp, t.ex. med prickar, streck och siffror. Spelet är också anpassningsbart genom att svårighetsgraden ökar i takt med lärandet. Systemet ser till att barnet alltid ska klara av omkring 75 procent av uppgifterna. I Number Race arbetar barnen främst med att uppskatta ungefärliga mängder snarare än att fastställda exakta antal som benämns med tal.
I likhet med Math Shelfstudierna undersöker Wilson och kolleger (2009) förskolebarn från socioekonomiskt svaga områden. Här användes ett upplägg där grupperna i olika omgångar fick arbeta med Number Race respektive en lärresurs för läsning. Barnens matematikkunskaper testades innan studien startade, efter första fasen på 5–6 veckor och efter den andra fasen som avslutades cirka 13 veckor efter studiens start.
Forskarnas förväntningar var att gruppen som först fick jobba med matematik också skulle förbättra sina kunskaper i matematik mer än gruppen som först fick jobba med läsning under första fasen, medan den senare gruppen skulle förbättra sig i matematik mer än den förra under andra fasen. Resultatet visar betydande skillnader i testresultat mellan de två grupperna, på det sätt som forskarna förväntat sig. Effekten av Number Race var störst för barn som hade låga testresultat vid studiens start.
Studiens upplägg innebär låg sannolikhet för att förbättringen av matematikkunskaperna kan förklaras av andra faktorer än den digitala lärresursen, som t.ex. skillnader mellan individerna i de två grupperna, normal utveckling över tid utan insatser eller ökad testvana. Användningen av en aktiv jämförelsegrupp gör det även mindre troligt att resultatet kan förklaras av exempelvis ökad uppmärksamhet från vuxna[18]. Studieupplägget medger också att man kan undersöka hållbarheten i kunskaperna genom att jämföra den första gruppens resultat vid andra respektive tredje testtillfället. Därutöver ges en möjlighet att mäta en eventuell effekt på förutsättningarna för barnens fortsatta lärande. Om testresultaten efter båda faserna är bättre i gruppen som började med matematikinsatsen än i gruppen som började med lästräningen, kan det tolkas som att matematikinsatsen stärkt barnens förutsättningar för ett fortsatt lärande. Studien visar dock inte sådana effekter i form av stärkta förutsättningar för fortsatt lärande. Däremot ses en hållbarhet över tid på så sätt att barnen som först fick jobba med matematik klarade testerna lika bra vid det tredje som vid det andra testtillfället.
Forskarna påpekar att det vore önskvärt med fler utvärderingar av långtidseffekter, men att studien visar att det är möjligt att stödja barns utveckling i sin tidiga matematik med relativt begränsade insatser, i synnerhet när det gäller riskgrupper. Det ska dock noteras att studien inte har jämfört Number Race med någon annan matematikinsats.
I de andra två studierna undersöks förutom Number Race också ett annat matematiklärspel: Graphogame (Desoete & Praet, 2013; Praet & Desoete, 2014). I Gra phogame är fokus på exakta taljämförelser och talsymboler. I likhet med Number Race tränar Graphogame barnen på att avgöra vad som är störst och minst, men då i form av exakta antal. Benämningar av tal ingår från start i Graphogame.
De två studierna utgår från en gemensam datainsamling. Medan den ena (Praet & Desoete, 2014) bygger på hela materialet, har den andra (Desoete & Praet, 2013) fokus på den fjärdedel av barnen som hade svagast resultat på förtestet. Förutom för- och eftertester ingick också en långtidsuppföljning i dessa båda studier. De medverkande barnen testades också när de börjat skolan, cirka ett halvår efter det att studien avslutats. Alla tester baserades på ett standardiserat testpaket[19].
Studierna visar på tydliga effekter till fördel för spelen. Barnen i experimentgrupperna presterade bättre på såväl eftertestet som testet i årskurs 1 jämfört med barnen i kontrollgrupperna. För ett av testmåtten i årskurs 1, vilket handlade om huvudräkning, var effekten större för gruppen som använt Graphogame än för gruppen som använt Number Race. En av slutsatserna är att lågintensivt bruk i förskolan av digitala lärspel kan underlätta för barnen att lära sig matematik i årskurs 1.
När det gäller den svagaste fjärdedelen barn visas att användning av ett digitalt matematiklärspel kan ha stor betydelse för hur de lyckas i årskurs 1. Dessa barnpresterade i snitt lika bra som en blandad kontrollgrupp. Författarnas slutsats är att insatsen kan beskrivas som en form av förebyggande stöd för barn med, som de uttrycker det, utökade undervisningsbehov (additional educational needs). De poängterar också att insatsen fungerar inkluderande på så sätt att alla förskolebarn kan delta – det sker ingen exponering eller utpekande av barn som av olika skäl kan tänkas ha sådana utökade undervisningsbehov.
Även om dessa slutsatser kan vara rimliga måste man, på samma sätt som för studien av Wilson och kolleger (2009) där man också undersöker Number Race, komma ihåg att insatserna inte jämförs med någon motsvarande matematikundervisning. Därmed ger studierna inget säkert svar på frågan om lågintensiva former av pedagog-ledda insatser i tidig matematik kan vara likvärdiga. Det ska samtidigt noteras att den individuella återkoppling och svårighetsanpassning som de två lärspelen erbjuder kan vara central för effekterna. För att skapa motsvarande förutsättningar skulle det krävas en-till-en-undervisning eller undervisning i mycket små grupper. Då skulle det inte längre handla om lågintensiva praktiker.
I studien av Foster och kolleger (2016) undersöks en del av ett omfattande matematikmaterial som kallas Building Blocks. I materialet ingår bland annat handledningar, bedömningsverktyg, tryckt material och ett digitalt paket med olika spel. I den här studien är det endast de digitala spelen som undersöks. Spelen baseras på en modell av en slags optimal lärkurva för barns utveckling av sin tidiga matematikförståelse. Den digitala lärresursen innehåller ett stort antal spel som följer på varandra med ökande svårighetsgrad utifrån modellen.
En experimentgrupp fick arbeta med matematikspelen samtidigt som en jämförelsegrupp fick arbeta med ett lärspel för språkutveckling[20]. Alla barn arbetade individuellt i datorsal och med hörlurar på sig. Forskarassistenter var närvarande för att se till att tekniken fungerade, svara på frågor och se till att barnen arbetade. Det test som användes var standardiserat och gavs till barnen 1–2 veckor efter att insatserna hade avslutats.
Studien kan inte finna någon skillnad mellan grupperna när det gäller barnens matematikkunskaper[21]. Det är anmärkningsvärt med tanke på att det är fråga om en relativt omfattande matematikinsats. Det ska dock noteras att den del av Building Blocks som är av formen digital lärresurs endast utgör en mindre del av matematikmaterialet.
Tre studier i underlaget har fokus på att undersöka effekter av att barn får jobba samarbetsinriktat med stöd av digitala spel (Gómez m.fl., 2013; Kramarski & Weiss, 2007; Weiss m.fl., 2006). Två av studierna är gjorda av samma forskargrupp och avser ett icke namngivet lärspel utvecklat vid Israel’s Center of Educational Technology (Kramarski & Weiss, 2007; Weiss m.fl., 2006). Syftet med spelet är att ge barn stöd att utveckla begrepp och färdigheter kopplat till tal och procedurer, bland annat genom så kallat självreglerat lärande. Spelet består av tre nivåer för varje huvudområde. Första nivån berör taligenkänning och räkning inom talområdet 1–10 och andra nivån handlar om att gruppera och jämföra mängder. Sista nivån handlar om att uppskatta mängder samt att utföra addition och subtraktion. Systemet ger olika sorters feedback till barnen som uppmuntrar dem till att fundera över sina svar. Uppgifterna ges i form av sagor eller berättelser.
I den första studien (Weiss m.fl., 2006) jämförs tre grupper som alla fick under visning om samma matematikinnehåll i flera omgångar. Varje omgång inleddes med att en pedagog introducerade lärresursen för barnen under en halvtimme, och därefter ägnade barnen 3,5 timmar åt arbete i tre olika former. Två experimentgrupper fick jobba med matematikspelet, medan en annan grupp fick jobba med matematik utan tillgång till spelet. Skillnaden mellan de två experimentgrupperna var att barnen i det ena fallet arbetade individuellt och i det andra samarbetade i smågrupper.
Båda experimentgrupperna förbättrade sina resultat från för- till eftertesterna betydligt mer än jämförelsegruppen på alla undersökta matematikområden. Resultaten för de två experimentgrupperna var jämförbara vad gäller det sammanlagda testresultatet[22] och för områdena taligenkänning, gruppering och jämförelser. På deltester för områdena uppskattning, addition och subtraktion presterade däremot gruppen som arbetat individuellt med lärresursen bättre.
I den andra studien (Kramarski & Weiss, 2007) jämförs två grupper där barnen i båda fallen fick samarbeta – en med stöd av det digitala spelet och en utan. I studien utnyttjades spelets feedback-funktioner i syfte att på ett lekfullt sätt uppmuntra barnen till att samtala om sina olika lösningar. Den grupp barn som inte jobbade med spelet fick i stället använda exempelvis rittavlor, papper, pennor och kritor. Upplägget för studien liknar i övrigt det i den tidigare studien. Resultatet visar att gruppen som samarbetade med stöd av spelet presterade bättre än jämförelsegruppen.
Även i studien av Gómez och medarbetare (2013) är fokus på samarbete med hjälp av ett digitalt spel. Under fyra månader fick barn i en experimentgrupp arbeta tillsammans med tre olika lärspel, minst två gånger i veckan i pass om 45 minuter. Aktiviteterna ägde rum i en särskild datorsal där barnen fick arbeta i grupper om tre med en gemensam dator men med var sin datormus. Jämförelsegruppen fick ordinarie undervisning. Kunskapsutvecklingen i matematik, med fokus på logisk-matematiska färdigheter, mättes med för- och eftertester utvecklade av forskargruppen. Förbättringen från för till eftertest var betydligt större för experimentgruppen än för jämförelsegruppen.
Det sista studien (Mattoon m.fl., 2015) är den enda i underlaget som undersöker spel som inte utvecklats av forskare. Spelen som undersöks heter Math Express, Hungry Fish, Maths age 3–5, Dino Kids, Math Lite och Park Math.
Denna studie skiljer sig från de andra genom att den innebär betydligt mer aktivt arbete för förskolans pedagoger. I studien genomförde en av forskarna, som också är förskolepedagog, undervisningsinsatserna i två barngrupper vid en förskola som har samarbete med universitetet.
Syftet med studien var att jämföra barns arbete med virtuella respektive fysiska objekt när det gäller effekter på deras begreppsförståelse. En grupp fick arbeta med virtuella objekt på datorplatta (till exempel fiskar, blad, tärningar och bollar) medan den andra gruppen fick arbeta med fysiska föremål (till exempel tärningar, små plastbjörnar, gem och godishjärtan). Undervisningen genomfördes i smågrupper två gånger i veckan under sex veckor om en kvart per gång. Studien var upplagd med målsättningen att undervisningen i de två grupperna skulle vara så likartad som möjligt utöver att de fick jobba med de olika typerna av objekt. Varje pass inleddes med att pedagogen förklarade och gick igenom exempel varefter barnen fick lösa uppgifter tillsammans med pedagogen. Som för- och eftertester användes ett standardiserat test[23].
Båda grupperna visade betydande framsteg på eftertesten i förhållande till förtesten, men någon skillnad mellan grupperna kunde inte påvisas. Även om antalet barn var få är det en fördel att det var en och samma pedagog som genomförde undervisningen eftersom det gör att pedagogens inflytande blir detsamma i båda grupper. Studien är också övertygande i att pedagogen inte var påverkad av några särskilda förväntningar, dvs. föredrog den ena eller andra undervisningsinsatsen. Däremot lyfter författarna fram svårigheten att isolera insatserna, eftersom barn ofta exponeras för både fysiska och virtuella objekt i olika sammanhang under en dag. Det faktum att studien är liten medför även begränsade möjligheter att upptäcka skillnader som eventuellt kan finnas.
[10] Vi har i rapporten valt att använda pedagog som ett samlingsbegrepp för förskollärare och annan personal med sådan utbildning eller erfarenhet att barnens utveckling och lärande främjas. För mer information om kategoriseringen i grund- och gymnasieskola se delrapport Skola, s. 17-18.
[11] Vi har i rapporten valt att använda pedagog som ett samlingsbegrepp för förskollärare och annan personal med sådan utbildning eller erfarenhet att barnens utveckling och lärande främjas.
[12] I underlaget ingår en studie (Wilson 2009) där resultaten presenterats på ett sätt som gör att vi inte har kunnat använda dem i skogsdiagrammet, eftersom de data som behövs för våra beräkningar inte har funnits tillgängliga. Studiens resultat redovisas i 3.3 Beskrivning av ingående studier.
[13] Socioekonomisk status baseras på till exempel utbildningsnivå, inkomst och yrke.
[14] S.k. subitisering.
[15] Talsystem där talvärdet av en sifferföljd inte bara bestäms av siffrornas tilldelade värden utan även av deras positioner i följden.
[16] T.ex. sajterna Children’s Tech Review och Moms With Apps.
[17] S.k. Head-Start-förskolor.
[18] S.k. Hawthorne-effekter. Hawthorne-effekter är när ett utfall påverkas av att deltagare i forskning omedvetet ändrar sitt beteende just till följd av att de blir studerade. En mer detaljerad beskrivning finns i kapitel 4 Metod och genomförande.
[19] S.k. TEDI-MATH
[20] Ett lärspel som tränar barns s.k. fonologiska medvetenhet, t.ex. förmågan att urskilja stavelser i ord.
[21] Avser ett samlat resultat för alla utfall avseende matematikkunskaper som mäts i studien, vilket också är det resultat som visas i skogsdiagrammet.
[22] I skogsdiagrammet visas det sammanlagda resultatet för studiens två experimentgrupper i jämförelse med kontrollgruppen.
[23] TEMA-3
I det här kapitlet ges en detaljerad beskrivning av metoder och genomförandet av den systematiska översikten. Här redogörs också för de vägval som projektgruppen har gjort inom ramen för arbetet och motiven till dessa. Notera att kapitlet beskriver metod och genomförande för översikten som helhet, dvs. såväl förskola som grund- och gymnasieskola.
Figur 5. Arbetsgång
Skolforskningsinstitutet genomför löpande behovsinventeringar[24], vilket sker genom dialog med både verksamma och organisationer inom skolväsendet samt med forskare inom utbildningsvetenskap. Syftet med inventeringarna är att försöka ringa in angelägna undervisningsnära frågor där forskningssammanställningar i form av systematiska översikter kan utgöra viktiga underlag för att utveckla praktiken.
Materialet från behovsinventeringarna bearbetas av institutet genom analyser och förstudier. Förstudierna utgör sedan underlag för Skolforskningsnämnden som fattar beslut om de systematiska översikternas övergripande inriktningar. Syftet med förstudierna är att undersöka förutsättningarna för att genomföra översikter inom ett identifierat behovsområde. Det handlar då om att föreslå en inriktning som överensstämmer med institutets uppdrag och att bedöma om det finns tillräckligt med forskning på området.
I behovsinventeringarna har framkommit att lärare, förskollärare och andra verksamma har många frågor om digitalisering i skolan och vilket vetenskapligt stöd det finns för olika användningsområden. De flesta frågor har varit av mer generell karaktär, men det har också uttryckts funderingar kring digitala lärresurser i undervisningen och om de gynnar elevers kunskapsutveckling. Även flera av organisationerna vittnade om att det saknas tillgänglig kunskap om hur digitala lärresurser kan användas på ett genomtänkt sätt i ett pedagogiskt sammanhang.
I förstudien gjordes bedömningen att en systematisk översikt om digitala lärresurser i matematikundervisningen har en potential att vara till nytta för många i skolan och förskolan. Förstudien identifierade exempelvis undersökningar som tyder på att digitala lärresurser nyttjas sparsamt på matematiklektionerna i Sverige och att IT-användningen i skolorna varierar stort (Skolverket, 2016a, 2016d).
En systematisk översikt grundar sig på den forskning som identifieras och väljs ut. För att skapa förutsättningar för litteratursökningen och urvalet av studier behöver den övergripande inriktningen preciseras.
De preciserade frågorna tas fram av projektgruppen. Många överväganden behöver göras för att precisera frågorna. Om de blir för breda och övergripande kan det innebära att översikten blir mycket omfattande och komplex. Blir de däremot alltför snäva kan det innebära en risk att resultatets användbarhet i praktiken blir begränsad.
Två frågor ställs i den här översikten:
För att underlätta arbetet med att ta fram en sökstrategi och tydliga principer för hur urvalet av litteratur ska göras används så kallade inklusions- och exklusionskriterier.
Skolforskningsinstitutet använder en modell där vi med hjälp av inklusionskriterier bestämmer vilka som ska ha deltagit i studierna, vilka arbetssätt/metoder som ska ha tillämpats, vilken typ av resultat som ska ha rapporterats samt i vilket sammanhang forskningen ska vara gjord. För att en studie ska tas med i översikten behöver alla fyra inklusionskriterier vara uppfyllda.
Forskning som ingår i den här översikten ska avse
En rad tekniska villkor behöver också formuleras för att kunna genomföra en systematisk översikt. Det kan handla om inom vilken tidsperiod litteratursökningen ska göras, vilka publikationsformer som ska accepteras eller vilka språk forskningen ska vara rapporterad på för att kunna bedömas av projektgruppen.
Forskning som ingår i den här översikten ska vara
Forskning som inte ska tas med i en översikt följer i många fall som en konsekvens av inklusionskriterierna eftersom forskning som inte uppfyller kriterierna exkluderas. Ofta finns dock behov av att även formulera ett antal exklusionskriterier, dvs. kriterier som förtydligar exempelvis forskningsinriktningar som inte kommer att beaktas i översikten.
Forskning som ingår i den här översikten ska inte avse
Deltagare
Ett vanligt sätt att begränsa en systematisk översikts omfattning är att avgränsa vilka skolformer som tas med. Vi har bedömt att det inom det här området är viktigt att ta med forskning om såväl förskola som grund- och gymnasieskola, men vi har valt att inte ta med vuxenutbildning.
Typ av digitala lärresurser
En hel del forskning om digitalisering i skola och förskola har haft sitt fokus på tillgång till IT-utrustning, internet och IT-system. Med ett sådant fokus skyms lätt frågor om hur IT kan användas i undervisningen samt vilka konsekvenser användningen kan ha för barns och elevers lärande och deras kunskapsutveckling (Grönlund, 2014; Liabo m.fl., 2016; Skolverket, 2016c).
Vår bedömning har varit att översiktens fokus ska vara på digitala lärresurser som specifikt anknyter till matematik. Även om det finns många exempel på hur IT i de flesta skolämnen kan användas som mer generella verktyg, har vi bedömt det som angeläget att sammanställa forskning om digitala lärresurser som är avsedda för matematik. Vi har formulerat kravet som att lärresurserna ska vara antingen utformade för matematikundervisning eller utvecklade för att hantera matematik. Den första formuleringen hänvisar till digitala lärresurser som har skapats i syfte att användas i ett pedagogiskt sammanhang. Ett exempel kan vara så kallade virtuella manipulativer, alltså digitala lärresurser där matematiska objekt, t.ex. en kub, visas och kan manipuleras på skärmen. Med den andra formuleringen avses digitala lärresurser som har tagits fram i ett annat syfte än för att bedriva undervisning, men som kan användas för att utföra matematiska aktiviteter. Ett exempel på det senare kan vara ett kalkylprogram.
En konsekvens av inklusionskriteriet är också att digitala lärresurser som inte uttryckligen fokuserar på matematikundervisning inte tas med i översikten. Det kan exempelvis gälla såväl digitala lärresurser vars huvudsyfte inte är att användas i matematikundervisning som undervisning i andra ämnen än matematik. Detta trots att relevanta aspekter av matematiken kan beröras i båda fallen. Exempel kan vara äventyrs- och byggspel eller programmeringsaktiviteter.
Vår utgångspunkt har också varit att de lärresurser eller arbetssätt som ingår ska ha en direkt koppling till själva undervisningen och att lärresurserna som studeras ska erbjuda någon form av interaktivitet. Interaktiviteten medför att användaren behöver vara aktiv i relation till den digitala lärresursen i själva undervisningssituationen. Därmed har vi inte tagit med exempelvis arbetssätt som enbart omfattar användning av medier i digital form för att presentera ett innehåll eller lärresurser i syfte att vara till stöd för mer administrativa göromål.
Typ av resultat
Vi har ställt som krav att forskning som inkluderas ska ha studerat och rapporterat resultat avseende någon aspekt på kunskapsutvecklingen i matematik. Kravet medför en tydlig riktning för vilken typ av forskning som kan ingå och därmed för urvalet av studier. Många gånger har det exempelvis lyfts fram att digitala lärresurser bör kunna öka barns och elevers intresse och engagemang, och att mer engagerade barn och elever också bör tillskansa sig mer kunskaper (Hamari m.fl., 2016). Även om det kan vara rimligt att anta att en sådan koppling borde finnas har vi tyckt att resultat avseende motivationsaspekter inte är tillräckligt för att studien ska accepteras.
Ordinarie verksamheter
Metoder och arbetssätt som ingår ska vara avsedda att kunna användas inom ramen för skolans eller förskolans ordinarie verksamheter. En tanke med kravet har varit att inte inkludera så kallade virtuella skolor eller renodlade program och kurser för mer varaktig distansutbildning. En annan tanke har varit att inte ta med forskning om digitala lärresurser eller arbetssätt som kan anses alltför svåra att nyttiggöra i en nära framtid. Det kan röra sig om avancerade lärresurser eller komplexa arbetssätt som exempelvis förutsätter specialutrustning, stora fortbildningsinsatser eller särskild teknisk support. Därutöver har vi bestämt att inte ta med forskning som rör extraordinära undervisningsaktiviteter utanför skoltid ämnade för specifika grupper eller tillfällen, t.ex. studiecirklar för särskilt matematikintresserade eller övningsprogram inför examensprov.
Övriga överväganden
Det finns en rad digitala lärresurser som kan användas i syfte att stödja undervisning av barn och elever i behov av olika former av särskilt stöd för att de ska nå uppställda mål eller krav. Det finns också tekniska hjälpmedel som har skapats för att underlätta undervisning av barn och elever med funktionsnedsättning. Vår bedömning har varit att systematiska översikter inom dessa områden är angelägna, men att de bör genomföras som separata uppdrag. Vi har därför valt att inte ta med forskning med en huvudinriktning på barn och elever i behov av särskilt stöd.
För att kunna bedöma forskningsresultat måste vi ta hänsyn till hur forskningen har genomförts. Den forskningsfråga som ställs i en studie har en avgörande betydelse för vilken ansats som är mest lämplig för att kunna ge ett svar. I det här fallet kan viktiga aspekter vara de som har att göra med t.ex. studieupplägg, studiestorlek, val av jämförelser, val av instrument för att utvärdera resultaten och uppföljningstid. Vår bedömning har varit att sådana överväganden är väsentliga för att kunna bedöma den identifierade forskningens kvalitet.
Vi har vidare bedömt att det inte finns skäl att på förhand avgränsa översikten med avseende på studieursprung. Vi har snarast tyckt att det kan ses som en styrka i det här fallet om den forskning som identifieras har sitt ursprung från olika delar av världen. Däremot har vi bedömt det som viktigt att utforma litteratursökningen på ett sätt som ger goda förutsättningar att fånga upp den skandinaviska forskning som kan finnas. Där det bedömts som relevant har faktorer som kan ha betydelse för överförbarheten till ett svenskt sammanhang diskuterats.
En systematisk översikt kännetecknas av en omfattande sökning av forskningslitteratur. En nyckelfaktor är strategin som används för att identifiera relevant forskning. För att utforma strategin behöver hänsyn tas bland annat till vilka källor sökningen ska utföras i samt vilka sökord och vilken logik som ska användas för att identifiera forskning i olika databaser.
I de flesta databaser görs en sökning med hjälp av en söksträng. Söksträngen är de kombinationer av ord som matas in i databasen.
Sökstrategin utformades för att finna all relevant forskning om digitala lärresurser i matematikundervisning inom de definierade ramarna. Med tanke på områdets tvärvetenskapliga karaktär valde vi att söka i internationella vetenskapliga ämnesdatabaser med varierad innehållslig inriktning. Kompletterande sökningar gjordes i skandinaviska databaser för att förbättra förutsättningarna att identifiera forskning som genomförts i ett sammanhang som liknar det svenska. Litteratursökningen gjordes i följande typ av källor:
Databassökningarna utformades genom att först identifiera relevanta sökord inom kategorierna matematik, digitala lärresurser samt skola/utbildning. Detta gjordes genom efterforskningar av nyckelbegrepp som används inom forskningsfältet samt med hjälp av de externa forskarnas ämneskunskaper. Söksträngen konstruerades så att endast forskningslitteratur som innehöll minst ett sökord från respektive ordkategori skulle fångas. Sökorden skulle påträffas i publikationernas titlar eller sammanfattningar, eller som nyckelord.
Utöver databassökningarna med söksträng användes även andra tekniker för att identifiera relevant forskning. genomfördes För att finna forskning som inte finns publicerad i databaserna och för att fånga studier som inte hittats med hjälp av söksträngen gjorde vi en manuell genomsökning av tillgängliga konferenssamlingar och vetenskapliga tidskrifter inom forskningsfältet. De tidskrifter som handsöktes valdes ut baserat på vilka som genererat flest relevanta träffar efter den inledande relevansgranskningen. De konferenssamlingar som handsöktes valdes ut baserat på de externa forskarnas bedömningar av tänkbart viktiga konferenser inom fältet.
För en detaljerad beskrivning av sökstrategin inklusive vilka källor, sökord och begränsningar som använts, se bilaga 1 på webbplatsen www.skolfi.se.
Figur 6. Utformning av sökstrategi
En extra kontrollsökning genomfördes i augusti 2017 i syfte att undersöka att relevanta studier inte missats. Söksträngen utformades då specifikt för att hitta experimentella studier. Ett antal ytterligare vetenskapliga tidskrifter handsöktes vid samma tillfälle. Urvalet av tidskrifter baserades på rekommendationer från forskare inom ämnesfältet. Kontrollsökningen redovisas separat i bilaga 1 på webbplatsen www.skolfi.se.
Den litteratur som identifieras genom litteratursökningarna behöver gallras, sorteras och bedömas mot bakgrund av inklusions- och exklusionskriterierna. Urvalet syftar till att sålla bort de studier som bedöms inte kunna bidra till att besvara den fråga som den systematiska översikten har som mål att besvara. Hur noggrant litteratursökningen än görs kommer en stor del av den identifierade litteraturen att utgöras av brus, dvs. studier som saknar relevans för översiktens frågor.
I ett nästa steg kvalitetsgranskas den forskning som bedöms uppfylla översiktens inklusionskriterier. Det är endast forskning som bedöms vara relevant och av tillräcklig kvalitet, för vår frågeställning, som får ingå i översikten. Kvalitetsgranskningen är det sista steget i urvalsprocessen för att avgöra vilken litteratur som ska ingå i den systematiska översikten.
Som första steg i relevansgranskningen gjorde medarbetare vid Skolforskningsinstitutet en första gallring av titlar och sammanfattningar tillhörande alla referenser som identifierats i litteratursökningen. Den litteratur som inte motsvarade de uppställda kriterierna gallrades bort. För att inte riskera att missa relevant litteratur tillämpades principen hellre fria än fälla, vilket innebar att alla publikationer som inte säkert kunde bedömas gick vidare till nästa steg i urvalsprocessen.
I nästa steg gick projektgruppens externa forskare igenom de titlar och sammanfattningar som kvarstod efter den första gallringen. Inför detta steg delades forskarna in i läspar och relevansgranskningen genomfördes av två forskare oberoende av varandra. Det innebar att litteratur som minst en av forskarna bedömde uppfylla kriterierna, eller då tillräcklig information saknades för att göra en bedömning, gick vidare till nästa steg. Forskarna fick även tillgång till en förteckning av samtliga referenser som gallrats ut i första steget.
Slutligen genomfördes relevansgranskning i fulltext. I detta steg bedömdes publikationerna i sin helhet. Två av projektgruppens externa forskare, oberoende av varandra, genomförde även fulltextläsningen. Den som efter läsning i fulltext bedömde att en publikation borde exkluderas fick också ange skälen för detta.
Litteratur som exkluderades efter bedömning i fulltext sorterades bort av något eller flera av följande skäl: fel deltagare, metod/arbetssätt, typ av resultat, sammanhang, språk eller publikationstyp; bakgrundsmaterial som forskningsöversikter, debattinlägg, reflektioner, tips och trix eller liknande; eller dubblett[26]. Antalet publikationer som sorterats under respektive kategori av exklusionsorsaker redovisas dock inte. Anledningen är att publikationerna kan ha brustit i överensstämmelse med översiktens fråga av flera olika skäl. Vid bedömningen har principen varit att exkludera studier som inte uppfyller översiktens relevanskriterier så snart någon bristande överensstämmelse påträffades. En redovisning av dessa frekvenser skulle därför kunna bli missvisande.
De oenigheter som uppstod, dvs. när forskarna inom ett läspar hade bedömt en och samma publikation olika, löstes genom ett konsensusförfarande enligt följande: den forskare som inkluderat en publikation som den andra forskaren hade exkluderat fick relevansbedöma en extra gång, då med information om den exklusionsorsak som den andra forskaren angett i steget innan. Vid behov fördes en diskussion för att enas om ett gemensamt beslut.
Oavsett vilken typ av empirisk forskning som värderas handlar kvalitetsgranskningen om att avgöra studiernas trovärdighet, tillförlitlighet och överförbarhet. Det innebär att värdera i vilken utsträckning man i en studie verkligen har undersökt det man avsåg att undersöka, hur precist eller fullödigt resultatet är samt om, och i så fall på vilket sätt, resultatet kan överföras till andra sammanhang. Bedömningen kan enbart utgå ifrån det som rapporteras i publikationerna, dvs. hög kvalitet i själva rapporteringen är avgörande för att en studie ska kunna bedömas rättvist[27] (Gough m.fl., 2013).
Att kvalitetsbedöma forskningslitteratur kräver ofta många överväganden. För att en studie ska kunna anses ha tillräcklig kvalitet behöver en rad olika aspekter vara tydligt redovisade och vissa krav måste vara uppfyllda. Utgångspunkter, val av metod för att samla in och analysera data, resultat och tolkningar samt i vilket sammanhang forskningen är gjord ska tydligt framgå. Forskningsfrågorna och avgränsningarna ska vara väldefinierade och det ska finnas ett resonemang kring hur formuleringen av dessa relaterar till tidigare forskning och/eller om det finns någon teorianknytning. Vidare bör det finnas en noggrann redovisning för hur data och resultat relaterar till varandra, eventuella analysproblem och en diskussion om resultatens överförbarhet kopplat till urval och sammanhang. Mer allmänt måste en studie också leva upp till krav på begriplighet och logisk struktur. Att beskrivningar och resonemang är enkla att förstå och att själva forskningsprocessen går att följa är väsentligt för att över huvud taget kunna göra en bedömning (Gough m.fl., 2013; Higgins & Green, 2011; Petticrew & Roberts, 2006; Statens beredning för medicinsk utvärdering (SBU), 2014).
Resultatet av litteratursökningen, relevans och kvalitetsbedömningen redovisas i ett flödesschema[28], i vilket det går att följa hela processen.
Systematik i bedömningen
Alla studier som passerade relevansgranskningen tilldelades ett unikt löpnummer och förtecknades i en tabell. Studierna delades sedan upp slumpvis mellan granskarna för bedömning. Kvalitetsgranskningen genomfördes av projektets externa forskare och projektledaren.
För att alla studier skulle behandlas på ett systematiskt och likvärdigt sätt användes ett bedömningsstöd som i ett antal frågor tar upp olika aspekter som kan påverka en studies kvalitet (se bilaga 2 på webbplatsen www.skolfi.se). Förutom att ge vägledning för kvalitetsgranskningen utgjorde stödet underlag för redovisningen av granskarnas resonemang. Bedömningsstödets funktion var dock enbart att ge en övergripande vägledning för granskningen. Projektgruppen förde därför löpande diskussioner för att specificera aspekter på vetenskaplig kvalitet i relation till den systematiska översiktens fråga[29].
Därefter delades resultaten av kvalitetsbedömningarna inom projektgruppen. Vid osäkerheter om enskilda bedömningar fördes diskussioner om studien kunde anses ha tillräcklig kvalitet för att ingå i översikten[30].
Typ av forskning som kan besvara översiktens fråga
I den här översikten är fokus på att utvärdera hur undervisning med stöd av digitala lärresurser påverkar barns och elevers kunskapsutveckling i matematik. Det har fått konsekvensen att den forskning som ingår i översikten består av experimentella jämförande studier.
I avsnitten nedan går vi igenom vad vi har ansett är viktigt att tänka på när experimentella jämförande studier ska tolkas, och hur vi har resonerat när vi kvalitetsbedömt studierna.
Vad som karaktäriserar ett experiment
Ett experiment karaktäriseras av att något görs under kontrollerade förhållanden för att påverka ett utfall. Syftet är att studera ett samband mellan två eller flera variabler samtidigt som alla andra tänkbara variabler är konstanta. Även om den experimentella studien har tydliga fördelar när man som forskare är ute efter att studera effekter och orsakssamband finns också nackdelar. Ibland är experiment svåra att genomföra av praktiska, juridiska eller etiska skäl. En annan nackdel är att dessa studier kan ha begränsningar gällande möjligheterna att överföra resultaten till verkliga situationer. Medan experimentsituationen karakteriseras av en hög grad av kontroll, är verkligheten i själva verket ofta mycket olikartad. Överförbarheten påverkas också av andra saker, såsom i vilken utsträckning den grupp som studeras är representativ för andra grupper, eller om det sammanhang en studie genomförs i liknar andra sammanhang (Bryman, 2016; Cohen m.fl., 2011).
Jämförelsegrupp är viktigt när effekter ska studeras
I effektstudier behövs en jämförelsegrupp för att kunna skilja effekten av en insats från en normalt förväntad kunskapsutveckling som följer av att i någon form delta i undervisning. För att undersöka effekter räcker det inte att bara studera dem som får ta del av en viss typ av undervisning. En viktig anledning är att det är rimligt att anta att en relevant undervisningsinsats alltid i någon mån förbättrar kunskapsutvecklingen, oavsett om den är bättre eller sämre än någon annan (Bryman, 2016; Higgins & Green, 2011; Statens beredning för medicinsk utvärdering (SBU), 2014).
Som jämförelsegrupp använder man ofta elever som deltar i ordinarie undervisning. Den undervisningen kan naturligtvis se olika ut i olika sammanhang. När det gäller forskning om digitala lärresurser i matematik är ordinarie undervisning vanligen någon form av analogt arbetssätt för att studera ett visst ämnesinnehåll, såsom att använda tryckt material samt papper och penna.
Det är också möjligt att jämföra användning av två eller flera digitala lärresurser med varandra. Ibland kan det handla om att en och samma lärresurs används på olika sätt, t.ex. att elever antingen får samarbeta eller arbeta enskilt. Sådana studier kan ge information om vilket av jämförda arbetssätt som i något avseende fungerar bäst, men säger inte hur de står sig i jämförelse med en ordinarie undervisning utan en digital lärresurs.
Att delta i ett forskningsprojekt kan skapa förväntningar
För att avgöra om ett utfall verkligen följer som en konsekvens av en viss insats måste villkoren för experiment- och jämförelsegrupperna vara likartade (utöver själva insatsen) allteftersom studien fortlöper. Annars finns risk för att eventuella skillnader i resultat mellan grupper som jämförs i själva verket förklaras av något annat än den insats som ska studeras. I praktiken medför detta att forskarna behöver inhämta information om studiedeltagarna och tillämpa metoder som gör att det går att skapa jämförbara grupper. Nedan tar vi upp några viktiga aspekter att vara medveten om när man ska tolka och värdera experimentstudier.
En sak att uppmärksamma i ett experiment är att det kan finnas en risk för vad som brukar benämnas för Hawthorneeffekter[31]. Hawthorneeffekter är när ett utfall påverkas av att deltagare i forskning omedvetet ändrar sitt beteende till följd av att de blir studerade. Det innebär att själva experimentsituationen kan medföra att såväl elever som lärare skärper till sig lite extra under studiens gång. Det är ytterligare ett skäl till varför det är viktigt att ha en jämförelsegrupp och att även deltagarna i jämförelsegruppen upplever att de är med i en studie. Annars finns risken att en viss insats tolkas som bra, trots att resultatet egentligen bara är en konsekvens av att man deltar i ett forskningsprojekt (Bryman, 2016; Higgins & Green, 2011; Statens beredning för medicinsk utvärdering (SBU), 2014).
Hawthorneeffekter är nära besläktade med vad som kan kallas förväntanseffekter. Förväntanseffekter är helt enkelt effekter till följd av en tro på att en viss insats ska leda till ett visst resultat. Det är förstås inget fel med att ha förväntningar på att exempelvis ett nytt sätt att undervisa är bra, men det kan leda till ett ändrat förhållningssätt i fråga om andra saker än bara att ett nytt arbetssätt används. Det kan naturligtvis också vara tvärtom, att det nya förväntas vara sämre. Ett sätt att minska risken för att förväntningar ska påverka utfallet är att försöka skapa en undervisningssituation i jämförelsegruppen som liknar den i experimentgruppen, men som saknar det innehåll som antas vara gynnsamt för kunskapsutvecklingen i matematik[32]. Det kan till exempel handla om att jämförelsegruppen har fått arbeta med samma digitala utrustning som experimentgruppen, men med något annat än en matematikapplikation.
Det är även viktigt att vara medveten om att den som leder eller ansvarar för undervisningen, t.ex. en lärare eller förskollärare, kan ha en viktig betydelse för resultatet. Beroende på hur en studie i övrigt är upplagd kan det finnas såväl fördelar som nackdelar med att det är antingen en och samma eller olika lärare som leder de olika insatserna som ska jämföras. Finns anledning att misstänka att risken för förväntanseffekter, såväl positiva som negativa, är stor hos läraren, kan det vara bättre att låta olika lärare undervisa i de olika grupperna. Om dessa risker bedöms vara mindre eller på något sätt kunna hanteras i studien, kan det snarare vara en fördel om det är samma lärare som undervisar eftersom villkoren i grupperna då blir mer likartade.
Slumpmässigt urval har många fördelar
En typ av upplägg för att studera effekter är den så kallade randomiserade kontrollerade studien (RCT[33]). I en randomiserad studie fördelas deltagarna slumpmässigt till de insatser som ska jämföras. Den största fördelen med att lotta är att grupperna som ska jämföras med slumpens hjälp kan balanseras avseende okända faktorer eller egenskaper. På så sätt minimeras risken för att grupper ska skilja sig åt gällande sådant som man saknar kunskap om, men som kan påverka studiens utfall (Jadad & Enkin, 2007).
Ett randomiserat upplägg ger goda förutsättningar för att isolera själva insatsen. Det är det säkraste sättet att avgöra om ett utfall verkligen orsakas av insatsen och inte är en konsekvens av andra saker, dvs. att det som faktiskt har hänt inte skulle ha hänt utan insatsen. Om lottningen går rätt till är sannolikheten för en deltagare att hamna i den ena eller andra gruppen oberoende av dennas individuella egenskaper. Därmed undviks en systematisk snedfördelning av individuella faktorer som kan påverka utfallet. En viktig tumregel när man lottar är att de enheter som ska studeras är de enheter som lottas. Det betyder att om det är elevresultat som ska utvärderas i en studie så är det i första hand eleverna som lottas (Higgins & Green, 2011; Jadad & Enkin, 2007).
Lotta grupper av elever i stället för individer
Ibland gör man så kallad grupprandomisering. Det betyder att man lottar grupper, t.ex. skolklasser i stället för elever, till olika insatser. Anledningen till att nöja sig med att lotta grupper är vanligen att det är lättare att genomföra. Men grupprandomisering kan också vara ett bra sätt, till exempel om det är just gruppskillnader man vill studera, eller om det finns starka skäl att tro att individer som befinner sig i samma miljö skulle påverka varandra på ett sätt som gör det svårt att isolera insatserna.
Individer som ingår i en och samma grupp tenderar ofta att påverkas av en insats på ett likartat sätt. Enskilda individers resultat kan därför inte betraktas som oberoende. Det är relativt vanligt att man i grupprandomiserade studier ändå önskar beräkna resultaten i förhållande till antalet individer. Det finns då särskilda beräkningsmetoder att använda som tar hänsyn till de fel som kan uppstå vid ett sådant upplägg. Används inte sådana justeringar ökar risken för att en insats kan tolkas ha effekt trots att den egentligen inte har det, något som på engelska brukar benämnas unit-of-analysis error. Felet kan uppstå när man frångått regeln att det är de enheter som ska analyseras som är de enheter som ska ha randomiserats (Borenstein m.fl., 2009; Higgins & Green, 2011).
Ofta är det svårt att göra ett slumpmässigt urval
Ett annat sätt att göra ett experiment är att använda ett så kallat kvasiexperimentellt upplägg. Det betyder att individerna som studeras fördelas till olika grupper enligt någon annan princip än genom slumpmässig fördelning. Studieupplägget är vanligt i sammanhang då det kan vara praktiskt svårt att tillämpa slumpmässig fördelning. När det gäller undervisning kan det många gånger vara svårt att exempelvis splittra klasser. I stället kan forskarna vara hänvisade till att låta klasserna vara intakta.
Grupper som jämförs måste vara likvärdiga vid studiestart
En nackdel med kvasiexperimentella studier är risken att de grupper som jämförs skiljer sig åt på ett betydelsefullt sätt när studien sätts igång. Det kan exempelvis vara så att en viss klass råkar ha en högre andel högpresterande barn eller elever som av något skäl har bättre förutsättningar än barn eller elever i en annan klass. Sådana skillnader kan vara avgörande för studiens resultat. Därför är det väsentligt att man, efter att fördelningen har gjorts, kan visa att det inte finns några viktiga skillnader mellan de grupper som ska studeras innan själva insatsen påbörjas. I vårt fall är det centralt att forskarna på ett övertygande sätt har visat att det inte finns några initiala skillnader i genomsnittlig kunskapsnivå när det gäller de matematikkunskaper som ska prövas. Men det är bra att vara medveten om att det trots detta kan finnas skillnader mellan grupper som man saknar vetskap om men som ändå kan påverka resultatet.
Alla får ta del av en insats
Ett konventionellt cross-overupplägg innebär att en studie startar med att först tilldela en experimentinsats till den ena av två grupper och jämförelseinsatsen till den andra, för att sedan byta plats på grupperna. Upplägget medför att alla deltagare får ta del av båda insatserna, men under olika tidsperioder. Cross-over går att tillämpa i såväl randomiserade som kvasiexperimentella studier.
Traditionellt brukar cross-overupplägg anses lämpliga främst ifall insatsens effekter är övergående. Men om effekter hänger kvar (carry over) i den gruppen som fick experimentinsatsen först påverkar det möjligheterna att jämföra gruppernas resultat efter den andra studieperioden. När det gäller undervisning är det naturligtvis så att målet är att en insats ska ge bestående effekter på kunskapsutvecklingen. Upplägget medför dock också vissa fördelar. Bland annat kan varje deltagare fungera som sin egen kontroll, vilket minskar variationen mellan deltagare samt att antalet deltagare kan minskas utan att förutsättningarna för att påvisa en effekt försämras. Det kan också finnas etiska skäl till att välja cross-over eftersom upplägget medger att alla som deltar får ta del av samma undervisning, om än under olika tidsperioder av en studie (Higgins & Green, 2011).
Studielängd och uppföljningstid
Hur länge en studie tillåts pågå beror ofta i första hand på vilken sorts ämnesinnehåll som studeras. Medan viss undervisning med stöd av en digital lärresurs kan ha som syfte att barn eller elever ska få träna på ett mycket specifikt innehåll, kan andra lärresurser ha ett mycket omfattande innehåll i syfte att komplettera matematikundervisningen under exempelvis en hel årskurs.
Ett övergripande mål är att undervisningen i skolan ska medföra så bestående effekter på kunskapsutvecklingen som möjligt. Ett sätt att i ett vetenskapligt sammanhang försöka undersöka beständigheten i resultaten är att tillämpa en uppföljande undersökning av prestationer en tid efter att själva undervisningsinsatsen har avslutats, dvs. att använda ett fördröjt eftertest. Ett annat sätt kan vara att utvärdera hur elever presterar på ett standardiserat test som inte kopplar direkt till själva studien (jämför nationellt prov).
Vi har ställt som krav att en studie, för att få ingå i översikten, ska ha jämfört minst två grupper där minst en av grupperna har fått undervisning med stöd av en digital lärresurs. Som jämförelser har vi accepterat både studier som har använt någon form av ordinarie undervisning och studier som använt en annan digital lärresurs. De senare kan ha använt en jämförelse som skiljer sig mer eller mindre från den som studeras. Jämförelseinsatsen kan också ha utformats i syfte att fungera som en aktiv kontroll.
När det gäller gruppindelning har vi valt att inkludera såväl randomiserade och grupprandomiserade som kvasiexperimentella studier. Vi har stor respekt för att det kan vara svårt att genomföra studier där barn eller elever fördelas slumpmässigt till olika grupper.
Vi har ställt krav på att man i studierna har sett till att villkoren för experiment- och jämförelsegrupperna har varit rimligt likartade. I synnerhet har vi krävt att det i publikationerna finns en tydlig redovisning av genomsnittlig kunskapsnivå inom grupper som jämförs före experimentets start.
När det gäller studielängd har vi haft två veckor som ett riktmärke för att en studie ska få ingå i översikten. Men bedömningen har varit att det inte skulle vara rättvist att tillämpa ett strikt krav på studielängd då det i sig inte kan vara avgörande för kvaliteten. Därför har vi gjort en samlad bedömning med hänsyn till undervisningens syfte, ämnesinnehållets omfattning och insatsens intensitet. I de fall det saknas uppgift om studielängd har vi fått värdera om övrig information om upplägget tyder på att en insats kan anses ha haft en rimlig omfattning.
Vi har valt att inte ställa som krav att studierna ska ha tillämpat fördröjda eftertester eller andra långtidsuppföljningar av resultaten. Men vi har haft för avsikt att tydligt lyfta fram sådana resultat i de fall de förekommer.
Data- och resultatextraktion innebär att relevanta fakta plockas ut från varje studie som ska ingå i översikten[34]. Det kan handla om både administrativ information och exempelvis uppgifter om studieupplägg, deltagare, arbetssätt, resultaten och hur dessa genererats i de olika studierna. Syftet är att beskriva studierna som ingår i urvalet, med avseende på använda metoder och resultat. Även andra aspekter som projektgruppen har bedömt som relevanta kan registreras för att skapa förutsättningar för olika sätt att kartlägga det vetenskapliga underlaget.
Alla studier som passerade kvalitetsgranskningen sammanfattades i arbetstabeller över inkluderade studier. I tabellerna registrerades bland annat uppgifter om
En systematisk översikt stävar efter att bringa samman resultaten från flera studier till en helhet. Tillvägagångssätten kan variera bland annat beroende på översiktens fråga och vilken typ av forskning som ingår i översikten. Oavsett vilken typ av forskningsresultat som sammanställs är det sällan självklart vilka tillvägagångssätt som kan vara mest lämpliga.
Den första grupperingen var att dela på studierna som avser förskolan respektive grund- och gymnasieskolan. Skolans och förskolans styrdokument skiljer sig bland annat när det gäller målen med undervisningen.
Studierna som avser grund- och gymnasieskolan har vi vidare valt att gruppera i årskurs 1–3, årskurs 4–6 samt årskurs 7–9 och gymnasieskolan. Vid grupperingen har vi i första hand tagit hänsyn till uppgifter om studiedeltagarnas ålder. I andra hand har vi utgått ifrån uppgifter om vilka årskurser studierna har berört. Med hjälp av information om ursprungsland har vi sedan i dessa fall försökt göra en rimlig översättning till ett svenskt sammanhang. Gränserna är dock inte alltid skarpa och det finns exempel på studier som delvis överlappar mellan årskursintervallen. Det kan exempelvis bero på att man inom ramen för en och samma studie har gjort undersökningar i flera olika årskurser.
Anledningen till uppdelningen är att det matematikinnehåll som har varit aktuellt i studierna skiljer sig beroende på elevernas ålder. I syfte att kunna analysera studierna med avseende på de undersökta digitala lärresursernas uppbyggnad och funktion och hur de har använts i undervisningen innehåller resultatredovisningarna relativt detaljerade beskrivningar av matematikinnehållet. Uppdelningen medger att den som främst undervisar i lägre årskurser inte behöver sätta sig in i ett matematikinnehåll som avser högre årskurser och vice versa, dvs. uppdelningen innebär att läsningen kan koncentreras till de årskurser som upplevs mest relevanta.
Värt att notera vad gäller gränsdragningen är att det kan skilja sig mellan länder avseende det precisa ämnesinnehåll som behandlas i de olika årskurserna. Det finns bland annat exempel på studier som i lägre årskurser berör ett matematikinnehåll som normalt undervisas om i högre årskurser i ett svenskt sammanhang (t.ex. studier som i motsvarande högstadiet behandlar en algebra som tillhör gymnasieskolan i Sverige). Vi har inte försökt göra någon djupare analys av ämnesinnehållet vid grupperingen, men det berörs i resultatbeskrivningarna där det bedöms som relevant.
En kunskapsutveckling i matematik innefattar många olika aspekter och kan mätas på olika sätt, men ofta används någon form av test. Testerna kan skilja sig åt sinsemellan, men har ofta gemensamt att resultaten uttrycks som numeriska värden i form av provpoäng på en kvotskala. Det innebär att det finns ett min- och ett maxvärde och man antar att sambandet är linjärt mellan antal poäng på testet och prestationsnivå. Ju högre poäng en deltagare får, desto högre bedöms deltagarens prestationsnivå vara.
Vad som avses med effekter
En effekt är ett mått på skillnaden mellan två grupper som jämförs i något avseende. I en enskild studie redovisas vanligen uppnådda medelvärden i experiment- respektive jämförelsegruppen med tillhörande spridningsmått, oftast i form av standardavvikelse (SD). Men för att olika studier ska kunna jämföras behöver dessa mått först räknas om.
När effekten av en insats har utvärderats med olika skalor (olika test), men där utfallet avser representera samma sak (kunskapsutvecklingen i matematik), kan man använda uttrycket standardiserad skillnad i medelvärde (SMD, standardized mean difference) för att olika studiers resultat ska bli jämförbara[35] (Higgins & Green, 2011; Polanin & Snilstveit, 2016).
Som vägledning till hur värdet på en effektstorlek kan tolkas refereras ofta till Cohen, se tabellen nedan (Cohen, 1969).
Tabell 2. Tolkning av effektstorleken (Cohen)
| d (eller SMD) | Storlek | Tolkning |
| 0,2 | Liten | En effekt i denna storleksordning är antagligen inte märkbar |
| 0,5 | Medelstor | En effekt i denna storleksordning är sannolikt märkbar |
| 0,8 | Stor | En effekt i denna storleksordning är sannolikt påtaglig |
Metaanalys och skogsdiagram
Metaanalys innebär i de flesta fall att man med hjälp av en uppsättning statistiska metoder räknar fram ett slags genomsnitt avseende flera studiers resultat för att skatta en enda sammanvägd effektstorlek (Borenstein m.fl., 2009).
Ett sätt att grafiskt illustrera en metaanalys är att använda skogsdiagram. Skogsdiagrammet visar skattade effektstorlekar med konfidensintervall för varje studie som ingår i analysen. Konfidensintervallet ska tolkas som att det är ett talintervall som, med viss angiven sannolikhet, innefattar det sanna värdet för t.ex. ett medelvärde. För att uttrycka det statistiskt kan man säga att konfidensintervallet innehåller alla tänkbara värden som inte kan förkastas. I regel anges övre och nedre gränsen för ett konfidensintervall som har 95 procents sannolikhet. I skogsdiagrammet illustreras konfidensntervallen av horisontella linjer och en punkt i mitten av varje linje visar en studies skattade effektstorlek. En metaanalys presenterad med ett skogsdiagram innehåller också ofta en sammanvägd effektstorlek med konfidensintervall som brukar illustreras med en romb (Andersson, 2003; Borenstein m.fl., 2009; Higgins & Green, 2011).
Jämföra äpplen och päron
Metaanalyser kritiseras ofta för att de jämför äpplen och päron. I många fall kan kritiken vara berättigad. Men i vilken utsträckning det kan vara problematiskt att lägga samman resultat från flera studier skiljer sig stort mellan olika metaanalyser. Det finns inte två studier som är exakt lika i alla avseenden, utan två eller flera studier kan vara mer eller mindre jämförbara. Om det är lämpligt eller inte att göra en metaanalys är därför alltid en bedömningsfråga (Borenstein m.fl., 2009).
Metaanalys och skogsdiagram utan sammanvägning
En metaanalys har inte som enda syfte att ta fram en sammanvägd effektstorlek för de studier som ingår. Den är även ett verktyg för att analysera och presentera studiernas resultat. Pekar alla studier åt samma håll? Är det stor variation mellan studierna? Finns studier som tydligt sticker ut? Finns skäl att försöka finna förklaringar till skillnader i resultat mellan olika studier? Metaanalysen, i synnerhet när den kombineras med ett illustrativt diagram, kan därmed också ses som ett analytiskt och pedagogiskt instrument (Higgins & Green, 2011; Statens beredning för medicinsk utvärdering (SBU), 2014).
Vi har valt att göra metaanalyser och presentera de ingående studiernas resultat när det gäller kunskapsutvecklingen i matematik i skogsdiagram, men då utan att redovisa sammanvägda effektstorlekar. Vår bedömning är att olikheterna är för stora för att det ska vara meningsfullt att väga samman resultaten. Eftersom underlaget är komplext skulle en sammanvägning kunna ge intrycket att de ingående studierna är mer likartade än vad som är fallet och att resultaten är säkrare än vad förutsättningarna tillåter.
För att kunna presentera resultaten i skogsdiagram har vi behövt göra vissa beräkningar. I underlaget ingår dock också studier där resultaten presenterats på ett sätt som gör att vi inte har kunnat använda dem i ett skogsdiagram. Dessa studier är inte med i diagrammen utan redovisas på annat sätt i översikten. För en detaljerad beskrivning av hur vi har resonerat och de beräkningar vi har gjort, se bilaga 3 på www.skolfi.se.
Tolka skogsdiagram
I skogsdiagrammen markerar mittlinjen (0 på x-axeln) ett resultat där de två grupperna som jämförs är exakt lika. Om hela konfidensintervallet ligger på höger sida om mittlinjen så är den studerade insatsen statistiskt säkerställt bättre än jämförelsen. Ligger konfidensintervallet helt på vänster sida om mittlinjen så är insatsen statistiskt säkerställt sämre[35]
36. Om konfidensintervallet korsar mittlinjen saknas en säkerställd skillnad mellan alternativen som jämförs. I dessa fall är tolkningen att det inte går att avgöra om det är någon skillnad mellan jämförda grupper. Strecket i mitten av konfidensintervallen märker ut de enskilda studiernas skattade genomsnittliga effekter (Borenstein m.fl., 2009; Higgins & Green, 2011).
36 Ibland kan experimentgruppens resultat i stället placeras till vänster och jämförelsegruppens resultat till höger om mittlinjen. Det har ingen betydelse vilken av varianterna som väljs.
Diagrammen visar hur de ingående studiernas resultat förhåller sig till varandra. Om konfidensintervallen tydligt överlappar kan man säga att studierna är samstämmiga. Men om konfidensintervallen inte överlappar alls eller endast i liten omfattning så tyder det på att det finns viktiga skillnader mellan studierna. Det kan bero på många olika saker. Det kan i vårt fall handla om olikheter i deltagargrupper (t.ex. att elever i olika studier har olika förutsättningar), arbetssätt (t.ex. skillnader i fråga om de digitala lärresursernas konstruktion eller hur de har använts i undervisningen) eller resultatmått (t.ex. att man har mätt olika aspekter av matematikkunskaper).
Skogsdiagram som verktyg för orsaksanalyser
En effekt är alltid sammansatt av många olika orsaker, dvs. det är många faktorer som bidrar till den effekt som följer av en undervisningsinsats med stöd av digitala lär resurser. Den effekt som uppmäts i en enskild studie är i det här fallet avhängig vad för lärresurs man har använt och hur man har använt den, men också på många detaljer i själva forskningsupplägget. Vi har därför gjort orsaksanalyser.
En styrka med att göra orsaksanalyser av effektstudier är att orsakerna med nödvändighet hänger samman med de effekter som har uppmätts. Det betyder att vi kan anta att en studies effektresultat är en konsekvens av det som har hänt i just den studien.
Egenskaper hos digitala lärresurser liksom olika sätt att arbeta med dem i undervisningen kan på olika sätt studeras utan att mäta några effekter. Men alternativet att försöka kombinera information från sådana studier med studier som har mätt effekter kan medföra stor osäkerhet i fråga om det verkligen är samma undervisning som har studerats. Det gäller i synnerhet om den undervisning som undersöks är komplex.
Vår bedömning är att relevanta orsaksfaktorer inom det här området mycket övergripande kan delas in i tre olika kategorier:
Varje kategori rymmer många tänkbara orsaksfaktorer. Det är också rimligt att anta att faktorerna samspelar, såväl sådana som faller inom en och samma kategori som faktorer som ryms inom de olika kategorierna. Orsaksfaktorerna kan bidra på olika sätt och olika mycket till en viss effektstorlek och det är en svår uppgift att försöka skilja dem från varandra.
Orsaksanalyserna har gjorts på följande sätt: I ett första steg har vi analyserat de enskilda studierna i syfte att försöka finna viktiga bidragande förklaringar till effekterna. Analyserna har genomförts på ett iterativt sätt, dvs. genom att upprepade gånger och på ett cykliskt sätt analysera studiernas rapporterade effekter i relation till forskningsuppläggen, information om de digitala lärresursernas inneboende egenskaper och hur de har använts i undervisningen.
I ett andra steg har vi försökt finna mönster genom att analysera hela eller större delar av underlaget på ett samlat sätt. I det arbetet har vi använt skogsdiagrammen som analytiska verktyg. Genom att studiernas effektresultat visualiseras i diagrammet underlättas möjligheten att upptäcka skillnader och likheter, dvs. hur studiernas resultat avseende effekter förhåller sig till varandra.
Slutsatserna svarar på den systematiska översiktens frågor. I den här översikten underbyggs svaren med hjälp av skogsdiagrammen respektive orsaksanalyserna. Skogsdiagrammen visar både riktning och storlek avseende uppmätta effekter på barns eller elevers kunskaper i matematik av den matematikundervisning med digitala lärresurser som har studerats. Orsaksanalyserna syftar till att finna framträdande mönster när det gäller hur de uppmätta effekterna kan förklaras. I slutsatserna redovisas också identifierade forskningsbehov.
[24] Skolforskningsinstitutet behovsinventeringar bedrivs som egna projekt. Här ges enbart en mycket kortfattad beskrivning.
[25] En extra kontrollsökning genomfördes i augusti 2017, se avsnitt 4.3 Litteratursökning.
[26] Dubblett innebär två exemplar av samma referens. Dubbletter uppkommer vanligen som en följd av att samma referens fångas upp från två eller flera databaser. Det förekommer också att en och samma studie rapporteras (ibland delvis omskriven) i fler än en källa. Dessa dubbletter upptäcks vanligen av projektgruppen senare i urvalsprocessen.
[27] Projektgruppen har inte möjlighet att kontakta forskare för kompletterande uppgifter som eventuellt inte har redovisats i en publikation.
[28] Se kapitel 2 Om denna översikt.
[29] Att en studie har exkluderats i detta steg innebär att den saknar vissa kvaliteter eller karaktärsdrag som skulle ha behövts för att den skulle kunna bidra till att besvara översiktens frågor. Det betyder dock inte nödvändigtvis att den har bedömts hålla en låg kvalitet rent allmänt, i förhållande till sitt eget syfte.
[30] Exkluderade studier redovisas i bilaga 5.
[31] Begreppet myntades efter en analys av undersökningar av hur ljusstyrka påverkade arbetares produktivitet i fabriksanläggningen Hawthorne Works i USA under 1900-talets första hälft.
[32] Att jämföra med placebo/sockerpiller som ofta används vid forskning på läkemedel.
[33] Från engelska Randomized Controlled Trial.
[34] Dataextraktion benämns ibland kodning efter engelskans coding.
[35] Standardiserad skillnad i medelvärde är ett uttryck för effektstorlek. Om värdet på SMD är +1,0 betyder det att en genomsnittlig deltagare i experimentgruppen presterar motsvarande en standardavvikelse bättre än en genomsnittlig deltagare i jämförelsegruppen. Det finns flera något olika tekniker för att beräkna den standardavvikelse som ska användas i formeln ovan. Ett ofta använt uttryck för effektstorlek inom utbildningvetenskaplig forskning är Cohens d (eller bara d) uppkallat efter dess upphovsperson Jacob Cohen. Cohens d är en variant av SMD där standardavvikelsen beräknas på ett visst sätt. Men det finns också andra varianter av SMD. I praktiken har det i det här sammanhanget inte någon stor betydelse vilken av de etablerade tekniker som finns för att beräkna standardavvikelsen. För den som är intresserad av att fördjupa sig på området hänvisar vi till litteratur i statistik och metaanalys (t.ex. Borenstein 2009).
[35] Ibland kan experimentgruppens resultat i stället placeras till vänster och jämförelsegruppens resultat till höger om mittlinjen. Det har ingen betydelse vilken av varianterna som väljs.
Den forskning som ingår i översikten har valts ut på grundval av tydliga villkor. Ramarna medför alltid en risk att relevanta studier kan missas. Det kan bero på olika saker, t.ex. att litteratur inte täcks av de databaser och övriga sökningar som görs, att titel och/eller sammanfattningar antingen innehåller skralt med information eller saknar de sökord som har använts.
All forskning publiceras inte. I synnerhet kan forskning som visar på negativa eller nollresultat i högre utsträckning förbli opublicerad. Skälen varierar säkert, men en förklaring kan vara att både forskare och tidskriftsredaktörer ser sådana resultat som mindre intressanta. En konsekvens kan bli att sammanställningar av publicerade experimentella studier överskattar effekter (Thornton & Lee, 2000). Det är viktigt att vara medveten om denna risk, även om forskningssammanställning av praktiska skäl oftast är hänvisad till publicerade studier.
Studiernasomredovisasirapportenharhaftsomsyfteattjämföraivilkenutsträckning arbetssätt med olika digitala lärresurser påverkar barns kunskaper i matematik på ett mätbart sätt. Det är viktigt att hålla i minnet att de resultat som hänvisas till avser genomsnittliga effekter inom en grupp. Även om studierna ger viktig information om den potentiella nytta ett arbetssätt kan ha på gruppnivå behöver man vara medveten om att individers förutsättningar är olika. Man kan argumentera för att rapportering av medelvärden ofta ger en missvisande bild av vad som kan förväntas. Även om vi har valt att redovisa medelvärden, instämmer vi i en ambition att lyfta fram den osäkerhet medelvärden är behäftade med. Vid tolkning av skogsdiagrammen bör man även tänka på att medelvärdena dessutom kan antas ligga någonstans inom de konfidensintervall som redovisas.
I vilken utsträckning studiernas resultat är överförbara och kan antas gälla för andra grupper och i andra sammanhang än de som har studerats är alltid en central fråga inom den här sortens forskning. Det handlar då om i vilken grad de barn som har deltagit i studierna är representativa för en vidare population. I analyserna har vi försökt ta hänsyn till och beskriva faktorer som kan tänkas påverka överförbarheten.
Ingen av de digitala lärresurser som har studerats i förskolan finns på svenska. De är i allmänhet inte heller öppet tillgängliga. Även om detta medför att lärresurserna inte kan användas direkt i ett svenskt sammanhang ger översikten kunskap om hur digitala lärresurser kan se ut till innehåll och funktion samt hur de kan användas i undervisningen för att ge effekter på barns kunskaper i matematik.
Det är en brist att inte det inte görs, och har gjorts, mer forskning i Sverige om digitala lärresursers eventuella betydelse för förskolebarns kunskapsutveckling i matematik. Även om det sannolikt finns svensk forskning om digitala matematiklärresurser som ställer andra frågor än vad vi har gjort, är en slutsats att det här är ett forskningsområde som ännu inte fått stort genomslag i Sverige.
De tester som har använts för att utvärdera kunskapsutvecklingen i matematik i de olika studierna skiljer sig åt på flera olika sätt. Medan man i vissa studier har använt tester som relativt direkt kopplar till det ämnesinnehåll eller arbetssätt som har undersökts, har man i andra studier använt sig av generella och mer standardiserade prov. I vilken utsträckning testerna prövar kunskaper på ett sätt som överensstämmer med målen i förskolans styrdokument har inte varit möjligt att analysera inom ramen för denna översikt. Det gäller såväl i relation till de styrdokument som har varit aktuella i de sammanhang studierna har genomförts, som i relation till de svenska styrdokumenten. Testernas utformning och kvalitet kan ha betydelse för vilka slutsatser man kan dra av att en grupp barn i ett test uppnått ett visst resultat (jfr. Skolverket, 2006). Det ska däremot poängteras att testernas utformning inte påverkar eventuella uppnådda skillnader i resultat mellan experiment-och jämförelsegrupper.
Digitala lärresurser ämnade för matematikundervisning är under ständig utveckling. Samtidigt som de lärresurser som finns förfinas tillkommer också hela tiden nya. Det medför en utmaning när det gäller att jämföra olika typer av digitala lärresurser över tid. Den kunskap som genereras kan därför inte på något enkelt sätt adderas. Ny teknik och nya arbetssätt innebär ofta också förväntningar, såväl positiva som negativa. Det innebär i sig en forskningsmässig utmaning i och med att det blir särskilt viktigt att hantera förväntanseffekter (Morgan m.fl., 2016).
Projektgrupp:
Johan Wallin, fil.dr (projektledare)
Elín Hafsteinsdottír, fil.dr
Johan Samuelsson, docent
Eva Bergman
Maria Bergman
Sara Fundell
Agneta Gulz, professor, filosofiska institutionen vid Lunds universitet och institutionen för datavetenskap vid Linköpings universitet (extern forskare)
Ola Helenius, fil.dr, Nationellt centrum för matematikutbildning vid Göteborgs universitet (extern forskare)
Anette Jahnke, fil.dr, Nationellt centrum för matematikutbildning vid Göteborgs universitet (extern forskare)
(Ola Helenius och Anette Jahnke har deltagit som en part i arbetet med att granska forskningslitteratur i de delar där krav på oberoende har ställts.)
Externa granskare:
Björn Berg Marklund, fil.dr, institutionen för informationsteknologi, Högskolan i Skövde
Johan Lithner, professor, institutionen för naturvetenskapernas och matematikens didaktik, Umeå universitet
Grafisk form: FamiljenPangea och Skolforskningsinstitutet
Omslagsfoto: Anna Hedman
Tryck: Lenanders Grafiska AB, Kalmar, 2018
ISBN: 978-91-984382-9-1 (nyutgåva)
ISBN: 978-91-984383-1-4 (nyutgåva elektronisk resurs)
Citera denna rapport: Skolforskningsinstitutet. Digitala lärresurser i matematikundervisningen. Delrapport förskola. Systematisk översikt 2017:02 (2/2). Solna: Skolforskningsinstitutet. ISBN: 978-91-984382-9-1.
©Skolforskningsinstitutet
www.skolfi.se
Andersson, G. (2003). Metaanalys. Metoder, tillämpningar och kontroverser. Lund: Studentlitteratur.
Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R. (2009). Introduc- tion to Meta-Analysis. Chichester: Wiley.
Bryman, A. (2016). Social Research Methods (femte utg.). Oxford: Oxford University Press.
Cohen, J. (1969). Statistical Power Analysis for the Behavioral Sciences. New York: Academic Press.
Cohen, L., Manion, L., & Morrison, K. (2011). Research Methods in Education. London: Routledge.
Davidsson, P., & Findahl, O. (2016). Svenskarna och internet 2016. Undersökning om svenskarnas internetvanor. Stockholm: .SE (Stiftelsen för internetinfrastruktur).
Desoete, A., & Praet, M. (2013). Inclusive mathematics education: The value of a computerized lookahead approach in kindergarten. A randomized con trolled study. Erdélyi Pszichológiai Szemle, 103119.
Foster, M. E., Anthony, J. L., Clements, D. H., Sarama, J., & Williams, J. M. (2016).
Improving Mathematics Learning of Kindergarten Students Through ComputerAssisted Instruction. Journal for Research in Mathematics Education, 47(3), 206232.
Gómez, F., Nussbaum, M., Weitz, J. F., Lopez, X., Mena, J., & Torres, A. (2013). Colocated single display collaborative learning for early childhood education. International Journal of Computer-Supported Collaborative Learning, 8(2), 225244.
Gough, D., Oliver, S., & Thomas, J. (2013). An Introduction to Systematic Reviews. London: Sage Publications Ltd.
Grönlund, Å. (red.) (2014). Att förändra skolan med teknik: bortom en dator per elev. Örebro: Örebro universitet.
Hamari, J., Shernoff, D. J., Rowe, E., Coller, B., Asbell-Clarke, J., & Edwards, T. (2016). Challenging games help students learn: An empirical study on engagement, flow and immersion in gamebased learning. Computers in Human Behavior, 54, 170179.
Higgins, J. P. T., & Green, S. (redaktörer). (2011). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]: The Cochrane Collaboration. Hämtad från http://handbook.cochrane.org.
Jadad, A. R., & Enkin, M. (2007). Randomized controlled trials: questions, answers, and musings. Oxford: Blackwell Publishing.
Kramarski, B., & Weiss, I. (2007). Investigating preschool children’s mathematical engagement in a multimedia collaborative environment. Journal of Cognitive Education and Psychology, 6(3), 411432.
Liabo, K., Langer, L., Simon, A., DanielGittens, K.A., Elwick, A., & Tripney, J. (2016). Protocol for a Systematic Review: Provision of Information and Communications Technology (ICT) for Improving Academic Achievement and School Engagement in Students Aged 4-18: The Campbell Collaboration.
Mattoon, C., Bates, A., Shifflet, R., Latham, N., & Ennis, S. (2015). Examining Computational Skills in Prekindergarteners: The Effects of Traditional and Digital Manipulatives in a Prekindergarten Classroom. Early Childhood Research & Practice, 17(1).
Morgan, K., Morgan, M., Johansson, L., & Ruud, E. (2016). A systematic mapping of the effects of ICT on learning outcomes. Oslo: Knowledge Center for Education.
Petticrew, M., & Roberts, H. (2006). Systematic Reviews in the Social Sciences: A Practical Guide. Oxford: Blackwell Publishing.
Polanin, J. R., & Snilstveit, B. (2016). Campbell Methods Policy Note on Converting Between Effect Sizes. Oslo: The Campbell Collaboration.
Praet, M., & Desoete, A. (2014). Enhancing young children’s arithmetic skills through non-intensive, computerised kindergarten interventions: A randomised controlled study. Teaching and Teacher Education, 39, 5665.
Schacter, J., & Jo, B. (2016). Improving low-income preschoolers mathematics achievement with Math Shelf, a preschool tablet computer curriculum. Computers in Human Behavior, 55, 223229.
Schacter, J., Shih, J., Allen, C. M., DeVaul, L., Adkins, A. B., Ito, T., & Jo, B. (2016). Math Shelf: A randomized trial of a prekindergarten tablet number sense curriculum. Early Education and Development, 27(1), 7488.
Skolverket. (2006). Med fokus på matematik och naturvetenskap. En analys av skillnader och likheter mellan internationella jämförande studier och nationella kursplaner. Stockholm: Skolverket.
Skolverket. (2016a). IT-användning och IT-kompetens i skolan. Skolverkets IT- uppföljning 2015. Stockholm: Skolverket.
Skolverket. (2016b). Redovisning av uppdraget om att föreslå nationella IT-strategier för skolväsendet, Dnr U2015/04666/S. Stockholm: Skolverket.
Skolverket. (2016c). TIMSS 2015. Svenska grundskoleelevers kunskaper i matematik och naturvetenskap i ett internationellt perspektiv. Rapport 448. Stockholm: Skolverket.
Statens beredning för medicinsk utvärdering (SBU). (2014). Utvärdering av metoder i hälso- och sjukvården. En handbok. Stockholm: Statens beredning för medicinsk utvärdering (SBU).
Sveriges regering. (2017a). Nationell digitaliseringsstrategi för skolväsendet. Stockholm: Regeringskansliet.
Sveriges regering. (2017b). Uppdrag om en översyn av läroplanen för förskolan. Stockholm: Regeringskansliet.
Thornton, A., & Lee, P. (2000). Publication bias in meta-analysis: its causes and consequences. Journal of Clinical Epidemiology, 53(2), 207216.
Weiss, I., Kramarski, B., & Talis, S. (2006). Effects of Multimedia Environments on Kindergarten Children’s Mathematical Achievements and Style of Learning. Educational Media International, 43(1), 317.
Wilson, A. J., Dehaene, S., Dubois, O., & Fayol, M. (2009). Effects of an Adaptive Game Intervention on Accessing Number Sense in Low-Socioeconomic-Status Kindergarten Children. Mind, Brain, and Education, 3(4), 224234.
Bilaga 1 Sökstrategi_digitala lärresurser (pdf)
Bilaga 2 Kvalitetsbedömning av primärstudier_digitala lärresurser (pdf)
Bilaga 4 Studier som inte kunnat rekvireras i fulltext_digitala lärresurser (pdf)
Bilaga 5 Studier som har exkluderades i sista granskningssteget_digitala lärresurser (pdf)
Uppdaterad: 2023-03-07 13:47
