Alle onderwijsinstellingen, universiteiten, HBO en MBO, gaan de komende jaren over op en of andere vorm van programmatische toetsing. Zelfs het primair- en voortgezet onderwijs (PO en VO). Toegankelijkheid, Apps en de waarde van de data zijn de grote drijfveren daarachter.
Programmatisch toetsen
Ik hoor het een directeur van een grote Hogeschool zes jaar geleden nog zo zeggen. “Dat formatieve toetsen van het onderwijsproces dat jullie doen is veel te complex en zal nooit op grote schaal toegepast kunnen worden.” Tegelijkertijd was er iemand bij de Hogeschool Utrecht die precies het tegenovergestelde zei. En die had het bij het rechte eind, lijkt nu. Net als wij… 😉 gelukkig. We zijn ongeveer acht jaar geleden begonnen met het concept waarbij we cijfers voor een opdracht gingen fragmenteren naar deelgebieden en competenties. Je kreeg dan één cijfer voor een opdracht dat via een weging en berekeningen resulteerde in gedetailleerde en grote hoeveelheden PKOI scores op onderliggende vaardigheden en ‘soft-skills’.
Samen met de Hogeschool Utrecht al in 2011 op de OWD gepresenteerd: programmatisch toetsing 1.0
Dat data ook in onderwijs een cruciale rol gaat spelen, is evident. Dat is natuurlijk een redelijk veilige voorspelling. Maar het gaat nu wel heel snel. Hoe dat komt? Enerzijds door de oprukkende onderwijs Apps, anderzijds door de praktische toegevoegde waarde van data en het visueel maken daarvan voor studenten en instellingen. Het ‘opnemen’ van al die data tijdens het opleidingsproces doen we steeds meer met Apps. Apps die ervoor zorgen dat de voordelen van programmatisch toetsen of programmatic assessment groter zijn dan de nadelen.
Oprukkende onderwijs Apps
Ik plaatste enkele weken een plaatje van onze nieuwe Appstore die momenteel aan het proefdraaien is. Op LinkedIn werd dit plaatje met en tekstje over programmatisch toetsen enkele duizenden keren gedeeld. En geloof me, als ik artikeltje over een leuk event dat bij Parantion plaatsvindt op LinkedIn zet, wordt dit geen duizenden keren gedeeld.
Appstore met prototypes voor programmatisch toetsen.
Apps, zoals we deze hebben gemaakt in het Surf-project (waarin we met een aantal leveranciers een prototype hebben ontwikkeld van een individuele en flexibele leeromgeving met standaarden zoals xAPI, VOOT, SAML etc.). De Scorion Peer Evaluatie App (die ook technisch het zelfde werkt als de Team Based Learning App), wordt bij de TU-Delft gebruikt om in projectteams elkaar feedback te geven.
1440 datapixels met 1 simpele handeling
In een team met 12 studenten kunnen met behulp van Rubrics in één digitaal formulier alle teamleden elkaar van feedback voorzien. Het is mogelijk om feedback in je smartphone of tablet in te spreken. Het gemak waarmee dit team (vanuit de koppeling met het LMS) wordt gekozen en in één handeling 12×12=144 evaluaties in één formuliertje worden getoond is voor een gebruiker goed te doen. Als de feedback uit 9 rubrics vragen bestaat en 1 open vraag, verzamel je wel met één handeling 144 x 10=1440 datapixels. Natuurlijk moet de student wel in de App zijn peers van feedback voorzien, maar omdat dat in een teamproces toch al gebeurt, verstoort dit het proces nauwelijks. Het versterkt het proces eerder.
Datavisualisatie
Als je nagaat dat we bij een Medische Universiteit die nu vier jaar bezig is op deze manier 600.000 ingevulde ‘formulieren’ hebben verzameld. En dat dit 40 miljoen onderwijskundige datapixels oplevert, dan is het niet moeilijk om te bedenken dat dit interessante data oplevert. En dat daar mooie plaatjes van te maken zijn die weer leiden tot nieuwe inzichten. De Radboud Universiteit verzamelde in 2 jaar tijd 120.000 ingevulde formulieren voor één opleiding!
Medium data van toetsresultaten en spreiding uit Scorion gewoon met Excel
Ook levert het voor Universiteiten en Hogescholen een enorme hoeveelheid onderwijsdata op die niet meer met vragenlijsten, onderzoeken of andere manieren hoeven te worden verzameld.
“Gender Neutral Grading op basis van je Gender Neutrality Score die je als docent gewoon op je dashboard ziet is binnen handbereik”
Het is relatief eenvoudig om op een dashboard van een docent bijvoorbeeld de Gender Neutrality Score (GNS) weer te geven. Namelijk of er een significant scoreverschil is tussen mannelijke en vrouwelijke studenten in het oordeel van deze docent dat niet verklaard kan worden uit het feitelijke scoreverschil dat er mogelijk bestaat.
Je kunt ook de PNS scoren. De Personal Neutrality Score. Ofte wel wat is jouw variantie score als docent voor een specifieke student die niet verklaarbaar is ten opzichte van andere scores die door docenten zijn gegeven. Een persoonlijke voorkeur voor een student wordt dan dus zichtbaar. Je kunt je vast nog wel herinneren dat je op de middelbare school een docent had ‘die de pik op je had’. Dat dus.
Koppeling met Fitbit
In het Quantifiedstudent project zijn we aan het kijken of gedrag van studenten (studentbehaviour) gekoppeld kan worden met deze onderzoeksdata. Je krijgt dan aan de ene kant van het spectrum de Learning Analytics, waar vanuit de enorme hoeveelheid mogelijke variabelen die leren, leerresultaat of leer opbrengst kunnen beïnvloeden onderzoek wordt gedaan. In het midden de data die uit platforms voor programmatisch toetsen, zoals Scorion, komen. We noemen dit ook wel zogeheten ‘medium data’. En dan studentbehaviour die door de Apps (zie quantifiedstudent.nl) worden verzameld en iets zeggen over je energieverbruik tijdens je studie of je aan en afwezigheid. Mogelijk zelfs nog gecombineerd met informatie uit trackers of andere quantified-self opnemers.
Security
Met de komst van de nieuwe privacywetgeving die vanaf 25 mei 2018 van kracht wordt, zal privacy en security een steeds grotere rol gaan spelen. Het begrip ‘persoonsgegevens’ krijgt een heel nieuwe lading. Ook gegevens als IP-adres of MAC-adressen vallen onder persoonsgegevens. Dat betekent niet dat we niks meer kunnen. In tegendeel. Het is een uitgelezen kans om de voordelen van deze Medium-data analyses ten gunste van het onderwijs en studenten in het bijzonder te kunnen benutten.
De queeste naar het voorspellen studiesucces op basis van data barst in volle hevigheid los!
Interessant artikel. Jij gaat er nog van uit dat de mens “in the lead” is.
Dat is een mooi scenario.
Wat waneer de neurale netwerken “de baas” worden?
Overal zijn al sneaky trics ingebouwd die de privacy gewoon omzeilen, dus hoezo een wetgeving hierover? Naar buiten voldoen de bedrijven er aan, maar in het echt, nou ja we weten wel beter. Een boete van 1 of 2 miljard deert ze niet (na jaren juridische gevechten).
En studie succes is dat geen utopie wanneer je alle kennis real time aangereikt krijgt of over ruled wordt door het neurale netwerk?
Wat we nu nog meten hoeft straks niet meer gemeten te worden, toch?
Dank!
Met de nieuwe Scorion apps wordt het onderwijs als het ware ‘opgenomen’ als een soort recorder. Het doel is om deze data aan de student terug te leiden zodat deze beter is geinformeerd over (studie) gedrag. Voorwaarde bij ons is dat data veilig en van jou is.