Adaptiviteit van Digitale Leermiddelen

In dit onderzoeksrapport is de invloed van digitale leermiddelen met adaptieve kenmerken en mogelijkheden op het leren van leerlingen onderzocht d.m.v. een kwalitatief, exploratief onderzoeksdesign.

In het licht van de invoering van Passend onderwijs in augustus 2014 en de hoge verwachtingen van de rol die ICT daarbij zou kunnen spelen, probeert dit rapport inzichten te bieden in de mate waarin bepaalde adaptieve kenmerken en mogelijkheden van digitale programma’s een gunstige uitwerking kunnen hebben op het leren van leerlingen.

Het onderzoek is uitgevoerd bij 37 leerlingen verdeeld over midden- en bovenbouw van het primair onderwijs en klas 2 havo/vwo van het voortgezet onderwijs.

Er hebben 12 meisjes en 25 jongens deelgenomen aan het onderzoek. Wat de digitale leermiddelen betreft, is gekozen voor een viertal digitale leermiddelen / programma’s en leertaken op het gebied van Taal/Nederlands.

Vraagstelling

De algemene probleemstelling van het onderzoek luidt als volgt:
Welke invloed hebben adaptieve kenmerken en mogelijkheden van digitale leermiddelen op het leren van leerlingen?

Vanuit de conclusies m.b.t. het theoretisch kader zijn de volgende onderzoeksvragen geformuleerd:

Feedback
1a. Welke invloed hebben verschillende vormen van feedback in digitale leermiddelen op het leerproces van de leerling?
1b. Wat vinden leerlingen en docenten van de feedbackmogelijkheden die digitale leermiddelen bieden?

Reflectie
2a. Welke invloed hebben reflectieve mogelijkheden in digitale leermiddelen op het leerproces van de leerling?
2b. Wat vinden leerlingen en docenten van de reflectieve mogelijkheden die digitale leermiddelen bieden?

Controle
3a. Welke invloed hebben verschillende vormen van controle in digitale leermiddelen op het leerproces van de leerling?
3b. Wat vinden leerlingen en docenten van de controlemogelijkheden die digitale leermiddelen bieden?

Leerresultaten
4. Waarin verschillen leerprocessen van leerlingen die een leertaak succesvol hebben afgerond van die van leerlingen die dat niet gelukt is?

Conclusie

M.b.t. het theoretisch kader zijn de volgende conclusies getrokken:

• Er is nog weinig bekend over de effecten van adaptieve digitale leermiddelen
• De effecten lijken er vooral te zijn bij het verwerven van kennis van sterk gestructureerde kennisdomeinen en minder bij het verwerven van abstracte en complexe competenties
• Een vorm van shared control lijkt de voorkeur te hebben boven volledige learner control of volledige program control
• Onderwijsgevenden hechten belang aan adaptieve leersystemen waarbij leerlingen zelfstandig kunnen werken en waarbij feedback en reflectie als belangrijke instructiedoelen gezien worden
• Vooral ***elaborated feedback lijkt daarbij effectief te zijn

Ad 1a:
Concluderend kunnen we stellen dat de leerlingen nauwelijks tot niets doen met de gegeven feedback in de programma’s. De bijdrage van de feedback die in deze programma’s gegeven wordt, blijkt niet bij te dragen aan het leerproces van de leerlingen.

Ad 1b:
Concluderend kunnen we stellen dat leerlingen vooral graag **KCR-feedback en ***elaborated feedback willen krijgen, en dan voornamelijk tussentijds, niet aan het eind van een leertaak. De feedback moet er vooral op gericht zijn dat leerlingen snel tot een goed antwoord en een geschikte strategie kunnen komen zodat ze niet gefrustreerd raken. Die kans is groter als ze die strategie ook leren begrijpen. En: positieve feedback motiveert.

Ad 2a:
Concluderend kunnen we stellen dat de leerlingen de weinige reflectiemogelijkheden die de programma’s bieden nauwelijks gebruiken. Teksten worden niet gelezen, percentages goed zetten niet aan tot strategievorming. Leerlingen vertonen veel trial and errorgedrag. Slechts de wat oudere leerlingen (CambiumNed) maken gebruik van (in dit geval) de hintknop.

Ad 2b:
Concluderend kunnen we stellen dat in zijn algemeenheid leerlingen en docenten vinden dat explicieter moet worden aangegeven wat de bedoeling van een leertaak is. Daardoor kunnen ze hun resultaten beter duiden, wat de motivatie ten goede komt. Het lijkt erop dat de wat oudere leerlingen (CambiumNed) vaker gebruik maken van de reflectieve mogelijkheden van het programma dan de andere leerlingen.

Ad 3a:
Concluderend kunnen we stellen dat een juiste mix van controlevormen een positieve bijdrage kan leveren aan het leerproces van leerlingen. Maar er zijn ook nogal wat voorwaarden waar die controlevormen dan aan moeten voldoen.

Ad 3b:
Concluderend kunnen we stellen dat leerlingen en leerkrachten een combinatie willen van verschillende controlevormen. Zelf keuzes maken is belangrijk omdat dit motiveert waardoor leerlingen langer aan de leertaak willen blijven werken. Naast het zelf keuzes maken wordt er ook van het programma wat verwacht. Het moet leerlingen doorsturen als het te gemakkelijk is en het moet leerlingen meer oefenstof bieden als het te moeilijk is. Ook moeten er dan duidelijk zichtbare hints/hulpmiddelen gegeven worden waar de leerling mee verder komt. Vooral leerlingen die veel fouten maken en moeite hebben met het succesvol afronden van de leertaak, hebben behoefte hieraan. Ook de leerkracht wordt als belangrijk gezien. Vooral jongere leerlingen vinden het belangrijk dat de leerkracht de leerinhoud en het niveau kiest als het programma dit niet doet.

Ad 4:
Concluderend kunnen we stellen dat er sterke aanwijzingen zijn dat succesvolle leerlingen systematischer werken, minder hulpmiddelen gebruiken en mede daardoor minder navigatiehandelingen nodig hebben. Dat kan overigens te maken hebben met het feit dat de betreffende leertaken voor de succesvolle leerlingen te gemakkelijk zijn waardoor ze geen hulp nodig hebben. Niet-succesvolle leerlingen vertonen daarentegen grilliger navigatiepatronen, gebruiken vaker hulpmiddelen en hebben daardoor meer navigatiehandelingen nodig. De feedbackmogelijkheden, en de mogelijkheden tot reflectie lijken nauwelijks verantwoordelijk te zijn voor het niet succesvol afronden van de leertaken. Desalniettemin lijken de minder succesvolle leerlingen meer behoefte te hebben aan KCR-feedback of elaborated feedback dan de succesvolle leerlingen. Voor niet-succesvolle leerlingen is een goede combinatie van program control met learner en/of shared control belangrijk. Zij zijn gebaat bij een goede controle door het programma waardoor ze bijvoorbeeld extra oefeningen krijgen en daarnaast moet het mogelijk zijn om een
beperkt aantal keuzes te krijgen waardoor ze gemotiveerd blijven.

Conclusies m.b.t. de algemene probleemstelling:
Wat het aspect feedback betreft hebben we geconstateerd dat alle programma’s *KR-feedback hebben. Twee van de vier programma’s hebben daarnaast **KCR-feedback en (beperkt) ***elaborated feedback. We hebben geconcludeerd dat de feedbackmogelijkheden niet of nauwelijks door de leerlingen zijn benut, mede waardoor feedback geen invloed heeft gehad op de navigatiepatronen van de leerlingen, ook niet als we die uitsplitsen in succesvolle en niet-succesvolle leerlingen. Wat het aspect reflectie betreft, hebben we geconstateerd dat geen van de programma’s de leerlingen expliciet aanzet tot het reflecteren op het resultaat of het proces. Alle programma’s hebben wel kenmerken die impliciet kunnen aanzetten tot reflecteren op het resultaat. Geen van deze kenmerken bleek de leerlingen inderdaad te hebben aangezet tot reflectie op het resultaat. Ook niet als we dat uitsplitsen in succesvolle en niet-succesvolle leerlingen.

Wat het aspect controle betreft, kent op het niveau van de leertaak alleen Ambrasoft adaptiviteit doordat leerlingen die de stof voldoende blijken te beheersen geen extra oefeningen hoeven te doen. Op dat niveau is bij Ambrasoft dus sprake van program control. De andere drie kennen alleen learner control, waarbij de leerling of de leerkracht bepaalt welke (volgende) leertaak de leerling moet gaan doen. Van adaptiviteit is geen sprake omdat die keuze niet wordt bepaald nadat de leerling een (voor)toets heeft gemaakt. Wel van adaptatie. Op het niveau binnen de leertaak, met name als het gaat om het bepalen van de volgorde waarin oefeningen gemaakt moeten worden, is in vrijwel alle gevallen sprake van shared control: gegeven de subset aan oefeningen kan de leerling zelf de volgorde van de oefeningen bepalen. Alleen bij Woordenhaai bepaalt het programma dat. Met name het controlekenmerk lijkt invloed te hebben op het leerproces van leerlingen. De navigatiepatronen van succesvolle leerlingen blijken bij alle programma’s te verschillen van die van de niet succesvolle leerlingen. De navigatiepatronen van de succesvolle leerlingen laten zien dat ze systematischer werken en minder handelingen nodig hebben, vooral omdat ze nauwelijks gebruik (hoeven te) maken van de aangeboden hulpmiddelen. Kortom: in ons onderzoek hebben we vooral vast kunnen stellen dat de vorm van controle die het programma kenmerkt van invloed is op het leerproces van leerlingen.

Voor de beide andere aspecten, feedback en reflectie, hebben we dat niet vast kunnen stellen, mede omdat die invloed er gewoon niet aangetoond is (*KR-feedback), maar vooral omdat de feedback- en reflectiemogelijkheden die de programma’s hebben daartoe ontoereikend zijn.

                                     ————————————————

*KR = knowledge of response: leerling wordt geïnformeerd of het gegeven antwoord goed of fout is zonder dat de leerling het juiste antwoord te horen krijgt

**KCR = knowledge of correct response: feedback waarbij de leerling te horen krijgt wat het juiste antwoord is.

***Elaborated feedback (EF) = feedback waarbij de leerling uitleg krijgt waarom het gekozen antwoord goed of fout is.