Gesprekken met NVAO

Als voortzetting op de eerdere gesprekken heeft afgelopen mei een bijeenkomst plaatsgevonden met het NVAO (Nederlands Vlaams Accreditatieorganisatie) en Risbo, de VU was er dit keer ook bij aanwezig.

Het NVAO geeft aan dat ze openstaan voor nieuwe ontwikkelingen en belangrijk is ruimte te geven aan de ontwikkelingen in het onderwijs, omdat kaders kunnen beperken. De ontwikkelingen in het online onderwijs maakt dat bestaande benaderingen, zoals het vestigingsbeginsel en macrodoelmatigheid onder druk te staan. Het online onderwijs wordt vooral gezien als een aanvulling op het huidige onderwijs en het is bij wet bepaald dat een deel van het geaccrediteerde onderwijs een campus-based aspect in zich heeft. Opleidingen die geheel online worden aangeboden kunnen vooralsnog niet worden geaccrediteerd. Zelfs bij geaccrediteerde masters die worden aan geboden via MOOCs, vindt er toetsing plaats op campus; een MOOC wordt beschouwd als een minor onderwijsvorm.

Veranderingen aanbrengen in de huidige benadering is zeker mogelijk; wanneer instellingen aan de slag gaan met innovatieve initiatieven en er een groot draagvlak is, kan dit uiteindelijk leiden tot een verandering van aanpak en het accrediteren van het onderwijs.

Nieuwe programma’s en cursussen worden door commissies op geschiktheid beoordeeld. Het NVAO is zelf betrokken bij de beoordeling van opleidingen, in het geval van een vak of MOOC als onderdeel van het curriculum dat geaccrediteerd moet worden, kan dit via een externe visitatiecommissie zoals bijvoorbeeld Quanu. Het NVAO adviseert erop te letten dat de samenstelling van de commissie aansluit bij het te beoordelen vak.

Verder zijn erop Europees niveau gesprekken over de ontwikkelingen in het online onderwijs, hierover wordt waarschijnlijk dit jaar nog een rapport gepubliceerd. Vooralsnog verwijst het NVAO naar het TeSLA project http://tesla-project.eu/), voor ontwikkelingen in het online onderwijs in Europa.

Zowel Ribso als het NVAO blijven deze prettige samenwerking voorzetten en deze gesprekken te willen over de nieuwe ontwikkelingen in het online onderwijs te willen voortzetten. Zo is het OP4RE uitgenodigd voor deelname aan de e-learning dag; tijdens de aQAdemy in november wordt gedeeld over ontwikkelingen in online onderwijs – het OCW wordt ook hiervoor uitgenodigd.

Gesprekken met het NVAO betreffende accreditatie

Als aansluiting op voorgaande gesprekken hebben we in mei een ontmoeting gehad met de NVAO aan de Erasmus Universiteit Rotterdam, waarbij de VU via Skype aanwezig was. De NVAO is geïnteresseerd in de ontwikkelingen in het online onderwijs, vooral omdat daar de huidige verschuivingen vanuit het onderwijs een uitdaging vormen voor de bestaande gang van zaken van het instellingsprincipe en het macro-efficiencyprincipe. Online onderwijs wordt nog steeds gezien als een aanvulling op het campus onderwijs, zoals wettelijk is gedefinieerd door de wet. Volledig online aangeboden onderwijsprogramma’s kunnen in de tussentijd niet worden geaccrediteerd. Zelfs bij een online aangeboden masteropleiding via MOOC vindt het testen plaats op de campus.

Het is mogelijk om verandering te brengen in de huidige onderwijsaanpak. Als er voldoende draagvlak is bij onderwijsinstellingen die innovatieve initiatieven ontwikkelen, kunnen er veranderingen op onderwijsgebied plaatsvinden. Nieuwe programma’s en cursussen zijn goedgekeurd door commissies. Bij de opleiding is de NVAO betrokken, bij cursussen zijn externe partijen betrokken zoals Quanu. Het is raadzaam om te controleren of de expertise van de commissie de inhoud van de cursus verbindt.

Verder zijn er conventies over ontwikkelingen in het onderwijs op Europees niveau. In de loop van dit jaar zal waarschijnlijk een verslag van ENQUA worden gepubliceerd. Voorlopig stelt de NVAO voor dat het TeSLA-project bekijkt op actuele ontwikkelingen in Europa.

Zowel Risbo als de NVAO willen de prettige samenwerking continueren en de gesprekken over de actuele ontwikkelingen uit het onderwijsveld voortzetten. Daarom wordt OP4RE in november uitgenodigd op een e-learning dag, waar de ontwikkelingen in het online onderwijs worden besproken en het Nederlandse ministerie wordt uitgenodigd.

Penetratietest van de ProctorExam website

In maart 2018 heeft het projectteam van de Universiteit van Hertfordshire, met name Dr. Stilianos Vidalis en zijn collega’s, de middelen opgezet om eventuele illegale penetratie van de ProctorExam-website te testen.

In het oorspronkelijke Erasmus+-projectvoorstel dat in maart 2016 werd ingediend, hadden we deze activiteit aangewezen als een belangrijk gebied dat moest worden onderzocht in overeenstemming met de vaststelling van toekomstige richtlijnen die in het eindverslag over “Intellectual Output 2 Security” moesten worden opgenomen. Het doel van deze oefening was om aan te tonen of een typische online student in staat zou zijn om toegang te krijgen tot een onbeschermd deel van de ProctorExam-servers en illegaal enig aspect van het online beoordelingssysteem te penetreren. Het ProctorExam systeem werkt natuurlijk met een eigen beveiligd systeem dat is ontworpen om typische professionele aanvallen en andere willekeurige pogingen om in te breken op hun site tegen te gaan.

De uitvoeringsnorm voor Penetration Testing (PTES) werd samen met de methodologieën van het Open Web Application Security Project (OWASP) gebruikt als basis voor het uitvoeren van de tests door Stilianos.

Het proces vereist de eerste goedkeuring van typische use cases en scenario’s om voorbeeld persona’s te identificeren van degenen die waarschijnlijk willen aanvallen en hun motivatie, om ofwel te stelen of gegevens opgeslagen op de site te wijzigen of ernstig belemmeren legitieme activiteit. Gedurende een periode van 24 uur werden vervolgens intensieve en aanhoudende pogingen ondernomen om de ProctorExam-servers illegaal te benaderen. Ongeoorloofde toegang was niet mogelijk, de “denial of service”-aanval was niet succesvol en er werd geen informatielek vastgesteld.

In het eindverslag van het project moet worden opgemerkt dat alle organisaties die zich hebben opgezet als aanbieders van beveiligde online-evaluaties, bestand moeten zijn tegen een soortgelijke gesimuleerde aanval om toekomstige gebruikers en partners ervan te verzekeren dat de evaluaties worden uitgevoerd in een veilige omgeving waar persoonsgegevens en prestatiegegevens van studenten worden beschermd en niet toegankelijk zijn voor onbevoegde gebruikers.

Het VU studentenpanel

Op donderdag 12 april presenteerden Silvester Draaijer en Robin van der Wiel het OP4RE project en het concept van online tentamens op afstand aan het studentenpanel van de VU. Als inleiding op het onderwerp keken de studenten naar een video van ProctorExam om te begrijpen hoe het systeem werkt. Studenten begonnen al snel kritisch na te denken over online proctoring en stelden vragen als “wie gaat alle videobeelden bekijken?”, “hoe worden mijn videobeelden verwerkt?” en “waarom zijn toiletpauzes niet toegestaan tijdens deze tentamens? Nadat Silvester wat meer over het systeem had uitgelegd, werd de vloer geopend voor een discussie over privacy kwesties met betrekking tot het systeem.

De meeste studenten merkten op dat ze zich niet op hun gemak zouden voelen bij iemand die constant naar hun bewegingen keek. Op een universitaire examenlocatie is er één surveillant per ongeveer 20 studenten; één op één bekeken worden voelt dus nogal “extreem”. Studenten erkenden ook de positieve aspecten van het systeem. Studenten die zich in het buitenland bevinden of niet naar een universitaire locatie kunnen komen, kunnen op afstand tentamens maken. Uit het studentenpanel kan geconcludeerd worden dat het heel belangrijk is om studenten te informeren. Ze willen weten hoe het systeem werkt en hoe hun videobeelden worden verwerkt. Tijdens de rest van het OP4RE-project zal rekening worden gehouden met de opmerkingen van het studentenpanel.

Jury prijs @ FIED International colloquium

Op het internationale FIED-colloquium dat op 13 en 14 december 2017 in Parijs werd gehouden, werd het OP4RE-project gepresenteerd tijdens een round-table dat werd bijgewoond door Silvester Draaijer, Daniel Haven, Sabine Bottin-Rousseau en Pierre Beust.
Voorafgaand aan het colloquium werd een videowedstrijd georganiseerd met als titel “My innovation in distance learning”, waarvan de prijzen tijdens het colloquium werden uitgereikt. Het experimenteren met online proctoring in Caen in het kader van IO3 van OP4RE won de juryprijs van deze wedstrijd.
Bekijk de video hier.

Studenten voorbereiden op een online proctor examen

Naarmate het project vordert en er meer en meer examens via online proctoring gebeuren, doen we als projectmedewerkers zelf meer ervaring op. Een pijnpunt blijkt onder meer de communicatie naar studenten te zijn. Daarom ontwikkelde Fontys een kort videofragment waarbij in studententaal wordt toegelicht wat online proctoring is, hoe zo’n examen verloopt, welke beelden er worden opgenomen en hoe tentamens aan Fontys verlopen. Er worden tips en tricks, do’ en don’ts meegegeven. Daarnaast ontwikkelden ze ook een filmpje om studenten doorheen de opstartprocedure van ProctorExam te loodsen.

Bekijk de filmpjes hier (Nederlandse versie):

Update IO 5: Privacy

Overzicht van IO5

Om de privacy te garanderen in internationale online geproctorde examens op afstand (eerste voor experimenten, later ook voor Bachelor en Master), hebben we behoefte aan door juristen goedgekeurde, aan de EU conforme richtlijnen, contractsjablonen, zowel voor onderzoekers en gebruikers, en niet alleen om aan de eisen te voldoen maar ook om alle OP4RE-belanghebbenden, zoals accreditatiebureaus en gegevensbeschermingsfunctionarissen te overtuigen.

Huidige situatie

De eerste taak was om te achterhalen welke info (binnen welke documenten) we nodig hebben om onze doelen te bereiken. Daarom zijn er twee privacyeffectbeoordelingen uitgevoerd. De geïdentificeerde documenten zijn risicoaanvaardingsformulieren, gegevensclassificatie en verwerkingsovereenkomsten, privacybeleid. Verder zijn richtlijnen en sjablonen voor wettelijke kennisgeving, toestemmingsteksten en privacyverklaringen vereist.

De volgende stap was het verzamelen van dergelijke informatie uit verschillende bronnen, zoals gegevensbeschermingsdeskundigen, EU-regelgeving en reeds bestaand materiaal van alle OP4RE-partners als best practice templates. Nu zitten we midden in de fase van de infoconsolidatie.

Planning van jaar 2

Na het afronden van de documenten ter beoordeling volgt een afstemming door alle OP4RE partners. Tegelijkertijd zullen de experimenten beginnen. Het doel is het vergelijken van on- en offsite examens op papier (vooral thuis).

Stand van zaken IO 4

Afgelopen woensdag, 6 december 2017, werd aan de Vrije Universiteit Amsterdam het eerste grootschalige experiment voor een online geproctorde examens uitgevoerd. Het doel van de studie was om na te gaan in welke mate studenten de fasen van het opzetten van de studentencomputers thuis met succes zouden doorlopen en een proefexamen af te leggen in het licht van het optimaliseren van de studentenervaring.
De doelgroep bestond uit ongeveer 600 eerstejaars bachelorstudenten voor een cursus Statistiek. De groep werd willekeurig verdeeld in twee groepen. Groep één nam het proefexamen af in de centrale examenzaal van de universiteit. Groep twee nam thuis het proefexamen. De voorlopige resultaten van dit experiment tonen aan dat studenten hun hardware (computer, webcam, schermopname, microfoon, mobiele telefoon) in een zeer laat stadium voorbereiden voor het eigenlijke examen. Voor een aantal studenten leidt dit tot problemen tijdens het inloggen van de proctoring sessie. Omdat dit aantal vrij hoog was, bleek het moeilijk voor de VU-proctors om deze studenten te helpen via de geïntegreerde chat mogelijkheden van het platform. Vooral de korte periode waarin het examen gestart kon worden, zorgde er voor dat duidelijk communiceren, het probleem begrijpen en oplossingen aanreiken voor zowel studenten als proctors niet toereikend was. Het experiment toonde aan dat studenten in eerdere stadia begeleid en aangespoord moeten worden om hun apparatuur te controleren. Misschien moeten er richtlijnen worden ontwikkeld waarin de verantwoordelijkheid voor een technisch succesvol examen in een bepaald stadium voor een daadwerkelijk examen bij de studenten wordt gelegd. Dit experiment leverde het OP4RE-project al belangrijke leerervaringen op die het ontwerpen van doelgerichte richtlijnen en spelregels mogelijk maken.