Blog 27: Learning Analytics in MOOCs & SPOCS

Learning Analytics (LA), een begrip dat nog niet zo bekend is, maar wat steeds vaker voorkomt. Wat is het, wat kunnen we ermee en wat kan het betekenen voor MOOCs/SPOCs? Wij van de MOOCFactory waren hier nieuwsgierig naar, dus ben ik (Arianne Breure) dit gaan onderzoeken tijdens mijn internship bij MOOCFactory.

arianne

LA is het meten, verzamelen, analyseren en rapporteren van data over de leerling/cursist en diens omgeving. Het doel hiervan is kort gezegd het begrijpen en optimaliseren van leren en de omgeving waarin het leren plaatsvindt. In deze blog zoom ik in op het gebruik van LA bij MOOCs/SPOCs.

In een MOOC/SPOC wisselen cursisten veel kennis en ervaring uit door online met elkaar in discussie te gaan. Daarnaast wordt in Curatr – de achterkant van een MOOC/SPOC – de activiteit van de cursisten gemeten. Kortom: er gebeurt veel in een MOOC/SPOC, maar tot op heden wordt er niks gedaan met deze informatie. Om  die reden ben ik in de MOOCs/SPOCs gedoken en heb ik de mogelijkheden voor LA onderzocht.

Voordat ik begon met de analyse heb ik de verwachtingen van het resultaat samengevat in een cyclisch kernproces, afgebeeld in figuur 1. Een MOOC/SPOC levert informatie op (zoals de activiteiten en reacties van cursisten), dat vervolgens middels datamining geanalyseerd kan worden, met als doel het uitbrengen van een advies aan de organisatie van wie de MOOC/SPOC is. Idealiter leidt dit vervolgens tot een innovatie, waarbij je weer uitkomt bij de MOOC/SPOC en de cyclus rond is. Met dit proces in gedachte ben ik gaan experimenteren met Curatr.

cyclisch-kernproces-van-la

Figuur 1. Cyclisch kernproces van Learning Analytics.

Tijdens de analyse heb ik gekeken naar mogelijkheden om een geautomatiseerde analyse te doen met behulp van het CSV bestand (welke aan de achterkant van Curatr gedownload kan worden) en Atlas.ti (een programma voor kwalitatieve datamining). Dit viel helaas tegen, voornamelijk omdat de context van de data (de reacties van cursisten) ontbreekt. De conclusie hiervan was dat het vooralsnog het beste is om in de MOOC/SPOC zelf mee te lezen met de discussie en van hieruit een kwalitatieve analyse te doen.

De analyse bracht mij een aantal nieuwe inzichten, resulterend in een uitbreiding van het cyclisch kernproces, zie figuur 2. Het advies dat uit de analyse kwam laat mogelijkheden voor innovatie op drie niveaus zien, namelijk: microniveau (gericht op het individu/de deelnemer, gepersonaliseerd leren), mesoniveau (gericht op onderwijsprocessen binnen de organisatie) en macroniveau (gericht op organisatieniveau, zoals visie/beleidsontwikkeling of marketing).

Daarnaast concludeerde ik dat een innovatie niet per definitie een verandering in de MOOC/SPOC inhoudt, maar ook kan leiden tot een nieuw proces in de organisatie (bijvoorbeeld een workshop of training) als een soort boost.

De laatste uitbreiding op het cyclisch kernproces betreft twee manieren waarop datamining plaats kan vinden. Ongestuurde datamining betekent dat er voorafgaand aan het maken van de MOOC/SPOC niet is nagedacht over LA en er geen specifieke vraag is om te analyseren. Gestuurde datamining daarentegen vindt plaats als er bijvoorbeeld reeds een (ongestuurde) analyse is gedaan en er nu een volgende gestuurde analyse wordt uitgevoerd om na te gaan of de ingevoerde verandering het gewenste effect heeft.

volledig-cyclisch-proces-van-la

Figuur 2. Het volledige cyclisch proces van Learning Analytics.

Deze bevindingen zijn slechts een begin om de mogelijkheden van LA met MOOCs/SPOCs te ontdekken. En hoewel dit volgens mij enkele interessante bevindingen laat zien, zijn er nog genoeg vragen voor de toekomst. Zo is toekomstig onderzoek naar wat LA precies kunnen bijdragen aan gepersonaliseerd leren interessant, of kan men bijvoorbeeld verder onderzoek doen naar groepsdiscussies. Bovendien blijf ik de ontwikkelingen op dit gebied op de voet volgen. Want hoewel ik de analyses (uiteindelijk) handmatig gedaan heb, duurt het volgens mij niet lang meer voordat hier een geautomatiseerde manier voor ontwikkeld wordt.

Tot slot nog enkele tips en trics voor het opstellen van vragen, wanneer je van plan bent gebruik te maken van LA:

  • Stel niet meer dan één vraag tegelijk per leerobject;
  • Hoe concreter de vraag, hoe makkelijker hier informatie uit te filteren is;
  • Betrek de stof/het materiaal welke behandeld is in het leerobject in de vraag;
  • Vragen naar ervaringen van de deelnemers kan interessant zijn, maar kan ook zeer uiteenlopende informatie opleveren waaruit je niet altijd relevante conclusies kunt afleiden. Wees je hiervan bewust (als je toch graag iets te weten wilt komen over specifieke ervaringen, maak de vraag dan wederom zo concreet mogelijk);
  • Bedenk van te voren wat je te weten wilt komen (micro-, meso-, macroniveau); wil je bijvoorbeeld weten welke afdeling het meest bekend is in de organisatie? Vraag dan specifiek naar namen van afdelingen; op deze manier is de vraag dusdanig specifiek dat bijvoorbeeld een woordweb al veel meer informatie kan geven;
  • Mijn laatste advies is om vooral creatief te zijn en te blijven experimenteren met vragen. Blijf daarnaast je ervaringen met elkaar delen.

Zie ook:

Leave a Comment:

* - required fields

© 2017