Author Archives: admin

OP4RE in News Tank Exclusif

Category : Uncategorized

Silvester Draaijer en Daniel Haven spraken News Tank Exclusif over online proctoring en het OP4RE project.

Dit Erasmus+ onderzoeksproject is gewijd aan het bestuderen van oplossingen voor de monitoring van examens op afstand. “Dit Europese consortium maakt het mogelijk om de grenzen te verleggen: we maken documentatie over praktijken voor instellingen en de betrokken professionals.”

Silvester kadert de oorsprong van het project. “OP4RE is een Erasmus+ project dat in 2016 van start ging. Het doel ervan is de technologische vooruitgang te gebruiken om de toegang tot het hoger onderwijs te verbeteren en te streven naar modernisering van onderwijs en opleiding. In die zin draagt het surveilleren van examens op afstand bij tot een betere toegang tot een breed scala aan doelen voor bestaande en potentiële studenten, door hen de mogelijkheid te bieden om op afstand te studeren en hun examens op afstand af te leggen. Dit is het concept van “altijd en overal” voor het afleggen van een examen.

Proctor Exam was vanaf het begin betrokken bij dit project. Andere leden die het strategisch bestuur van dit project vormen, zijn: de Vrije Universiteit van Amsterdam, de Erasmus Universiteit van Rotterdam, Universiteit van Hertfordshire, Universiteit van Hasselt, Fontys University of Applied Sciences, Wilhelm Büchner University of Applied Sciences, FIED (Fédération interuniversitaire d’enseignement à distance), naast 20 Associated Partners uit heel Europa.

Daniel Haven stelt: “Het is duidelijk dat de landen met de meest geavanceerde markten de landen zijn waar een bedrijf is gevestigd dat een testmonitoringsdienst op afstand aanbiedt. Dat zien we aan het voorbeeld van Nederland, maar ook aan Spanje, dat Smowl heeft. Een bedrijf dat aanwezig is, werkt in op de markt, informeert over trends en volgt een communicatielogica om de structurering van het aanbod te ondersteunen. In Frankrijk is het een beetje anders, het is de FIED die deze rol speelt.”

ProctorExam is het enige Edtech bedrijf dat een strategische partner is van het Europese consortium OP4RE. Daniel is van mening dat de markt geconfronteerd wordt met de noodzaak om een langetermijnvisie op te bouwen die rekening houdt met digitale transformatie.

Het kost 10€ om een supervisor een uur lang toezicht te laten houden op het examen van een student. Daarom is het moeilijk om de investering te rechtvaardigen voor massaal gebruik. Denkt u niet dat het op afstand monitoren van examens bedoeld is om in een nichemarkt te blijven? Silvester Draaijer: “Dit is een vraag die in onze werkgroep aan de orde is gesteld, ook al heeft OP4RE niet de oplossing om dit probleem in de nabije toekomst op te lossen, omdat het ook afhankelijk is van de marktpartijen.”

Hoe zit het met fraude? Volgens Silvester Draaijer is het op afstand monitoren van examens door het controleproces zelf fraudebestendiger dan traditionele monitoring.  De gelijktijdige opname van de verschillende videokanalen, waaronder die van het computerscherm van de student, maakt het mogelijk om de activiteit van de kandidaat tijdens en na de test vast te leggen.

Een mogelijke barrière betreft de vertrouwelijkheid van de verwerking van persoonsgegevens. Dit is het onderwerp van het werkseminar van de groep in Parijs, op 05/10/2018. “Monitoring op afstand creëert de verwerking van persoonlijke en gevoelige gegevens die geanalyseerd en gecontroleerd moeten worden. In die zin zullen we samenwerken met deze specialisten op dit gebied, die zelf in contact staan met de Cnil. Stelt u zich alle scenario’s voor die worden gebruikt om de verwerkingsactiviteiten te definiëren. We hebben ook een consultant van PricewaterhouseCoopers uitgenodigd, die gespecialiseerd is in datawetgeving. De werkzaamheden op het gebied van effectbeoordelingen in het kader van de DGPS moeten het mogelijk maken om de praktijken in de Europese Unie te standaardiseren, rekening houdend met het feit dat we ook rekening moeten houden met bepaalde wettelijke bepalingen die specifiek zijn voor elke lidstaat vanwege de marge die overblijft sinds de inwerkingtreding van de Europese verordening.”

Een andere kwestie die in het kader van OP4RE aan de orde is, betreft de situatie op het gebied van het doorgeven van gegevens tussen landen binnen en buiten de EU, of met studenten van buiten Europa. Op dit moment moeten we ons alle mogelijke gebruiksscenario’s voorstellen om de aanpak zo nauwkeurig mogelijk te definiëren.

Binnen het Europese consortium is het mogelijk om nieuwe grenzen te ontwikkelen en documentatie over praktijken voor instellingen en de betrokken professionals te creëren.


Workshop op Peer learning event NVAO

Category : Uncategorized

Risbo is uitgenodigd door de NVAO om een workshop te verzorgen over Online Proctoring op het Peer learning Event in Antwerpen op maandag 12 november 2018. Er zijn ongeveer 30 beleidsmedewerkers aanwezig uit Nederland en Vlaanderen, het perfecte publiek om ons OP4RE project aan voor te stellen en feedback te vragen. In de workshop worden de volgende vraagstukken besproken met het publiek:

  • Welke EU en nationale wetgeving over privacy geldt voor online examen makers en surveillance instellingen?
  • Zijn er meer veiligheid procedures nodig voor een online examen in vergelijking met een gewoon examen?
  • Welke accreditatiekaders zijn er voor online learning en toetsing?
  • Wat zijn de meest praktische procedures om de accreditatie van online toetsing te bevorderen?
  • Voor welke doelgroep biedt online surveillance een praktische, waardevolle oplossing?
  • Wat hebben onderwijsinstellingen nodig om de toegankelijkheid en het gebruikersgemak van online proctoring te vergroten?

Online proctoring @ TEA conference, Amsterdam

Category : Uncategorized

Tijdens de volgende international Technology Enhanced Assessment conference 2018 (TEA2018) in Amsterdam zullen vier bijdrages vanuit het OP4RE-project worden voorgesteld.

Een eerste bijdrage is een praktijkposter door Gwendoline Somers en Silvester Draaijer over Coping with students’ anxiety and concerns when using online proctoring for the first time.  Een tweede praktijkposter door Silvester Draaijer, Arno Lodder, Jessica Hrudey en Youssef Fouad gaat over:  A lawful basis for online proctoring. Een derde poster  zal worden voorgesteld door Amanda Jefferies, Karen Barton, Andrew Pyper, Jonathan Meere, Amanda Yip, Stilianos Vidalis en Sulanie Peramunagama, over Support online distance learners taking assessments: reviewing the options for remote invigilation. Tot slot zal een studie door Nicolette van Halem, Chris van Klaveren and Ilja Cornelisz getiteld The effect of implementation barriers in remote online proctored examination: A randomized controlled trial in Dutch higher education worden gepresenteerd. De experimenten die worden uitgevoerd als onderdeel van het OP4RE-project resulteren geleidelijk in waardevolle resultaten voor de bredere wetenschappelijke en praktijkgerichte evaluatiegemeenschap. Registreren kan nog altijd via http://www.teaconference.org/


OP4RE @ TEA conference Amsterdam

Category : Dissemination

For the upcoming international Technology Enhanced Assessment conference 2018 (TEA2018), the OP4RE project had four succesful submissions. The first submission is a practice poster by Gwendoline Somers and Silvester Draaijer about Coping with students’ anxiety and concerns when using online proctoring for the first time. The second submission is a practice poster by Silvester Draaijer, Arno Lodder, Jessica Hrudey and Youssef Fouad A lawful basis for online proctoring. Further a practice paper by Amanda Jefferies, Karen Barton, Andrew Pyper, Jonathan Meere, Amanda Yip, Stilianos Vidalis and Sulanie Peramunagama Support online distance learners taking assessments: reviewing the options for remote invigilation. Finally, a study by Nicolette van Halem, Chris van Klaveren and Ilja Cornelisz titled The effect of implementation barriers in remote online proctored examination: A randomized controlled trial in Dutch higher education’ was accepted. We believe that the experiments that are conducted as part of the OP4RE project are gradually resulting in valuable outcomes for the wider scientific and practice assessment community. You can still register for the TEA2018 here http://www.teaconference.org/


Online proctoring aan Universiteit Hasselt

Category : Uncategorized

In juni werd in het kader van onderwijsinnovatie een kaderstuk in het UHasselt Magazine gewijd aan online proctoring: “Thuis online examens afleggen”.

UHasselt Magazine, juli 2018 (3).


Gesprekken met NVAO

Category : Uncategorized

Als voortzetting op de eerdere gesprekken heeft afgelopen mei een bijeenkomst plaatsgevonden met het NVAO (Nederlands Vlaams Accreditatieorganisatie) en Risbo, de VU was er dit keer ook bij aanwezig.

Het NVAO geeft aan dat ze openstaan voor nieuwe ontwikkelingen en belangrijk is ruimte te geven aan de ontwikkelingen in het onderwijs, omdat kaders kunnen beperken. De ontwikkelingen in het online onderwijs maakt dat bestaande benaderingen, zoals het vestigingsbeginsel en macrodoelmatigheid onder druk te staan. Het online onderwijs wordt vooral gezien als een aanvulling op het huidige onderwijs en het is bij wet bepaald dat een deel van het geaccrediteerde onderwijs een campus-based aspect in zich heeft. Opleidingen die geheel online worden aangeboden kunnen vooralsnog niet worden geaccrediteerd. Zelfs bij geaccrediteerde masters die worden aan geboden via MOOCs, vindt er toetsing plaats op campus; een MOOC wordt beschouwd als een minor onderwijsvorm.

Veranderingen aanbrengen in de huidige benadering is zeker mogelijk; wanneer instellingen aan de slag gaan met innovatieve initiatieven en er een groot draagvlak is, kan dit uiteindelijk leiden tot een verandering van aanpak en het accrediteren van het onderwijs.

Nieuwe programma’s en cursussen worden door commissies op geschiktheid beoordeeld. Het NVAO is zelf betrokken bij de beoordeling van opleidingen, in het geval van een vak of MOOC als onderdeel van het curriculum dat geaccrediteerd moet worden, kan dit via een externe visitatiecommissie zoals bijvoorbeeld Quanu. Het NVAO adviseert erop te letten dat de samenstelling van de commissie aansluit bij het te beoordelen vak.

Verder zijn erop Europees niveau gesprekken over de ontwikkelingen in het online onderwijs, hierover wordt waarschijnlijk dit jaar nog een rapport gepubliceerd. Vooralsnog verwijst het NVAO naar het TeSLA project http://tesla-project.eu/), voor ontwikkelingen in het online onderwijs in Europa.

Zowel Ribso als het NVAO blijven deze prettige samenwerking voorzetten en deze gesprekken te willen over de nieuwe ontwikkelingen in het online onderwijs te willen voortzetten. Zo is het OP4RE uitgenodigd voor deelname aan de e-learning dag; tijdens de aQAdemy in november wordt gedeeld over ontwikkelingen in online onderwijs – het OCW wordt ook hiervoor uitgenodigd.


Gesprekken met het NVAO betreffende accreditatie

Category : Uncategorized

Als aansluiting op voorgaande gesprekken hebben we in mei een ontmoeting gehad met de NVAO aan de Erasmus Universiteit Rotterdam, waarbij de VU via Skype aanwezig was. De NVAO is geïnteresseerd in de ontwikkelingen in het online onderwijs, vooral omdat daar de huidige verschuivingen vanuit het onderwijs een uitdaging vormen voor de bestaande gang van zaken van het instellingsprincipe en het macro-efficiencyprincipe. Online onderwijs wordt nog steeds gezien als een aanvulling op het campus onderwijs, zoals wettelijk is gedefinieerd door de wet. Volledig online aangeboden onderwijsprogramma’s kunnen in de tussentijd niet worden geaccrediteerd. Zelfs bij een online aangeboden masteropleiding via MOOC vindt het testen plaats op de campus.

Het is mogelijk om verandering te brengen in de huidige onderwijsaanpak. Als er voldoende draagvlak is bij onderwijsinstellingen die innovatieve initiatieven ontwikkelen, kunnen er veranderingen op onderwijsgebied plaatsvinden. Nieuwe programma’s en cursussen zijn goedgekeurd door commissies. Bij de opleiding is de NVAO betrokken, bij cursussen zijn externe partijen betrokken zoals Quanu. Het is raadzaam om te controleren of de expertise van de commissie de inhoud van de cursus verbindt.

Verder zijn er conventies over ontwikkelingen in het onderwijs op Europees niveau. In de loop van dit jaar zal waarschijnlijk een verslag van ENQUA worden gepubliceerd. Voorlopig stelt de NVAO voor dat het TeSLA-project bekijkt op actuele ontwikkelingen in Europa.

Zowel Risbo als de NVAO willen de prettige samenwerking continueren en de gesprekken over de actuele ontwikkelingen uit het onderwijsveld voortzetten. Daarom wordt OP4RE in november uitgenodigd op een e-learning dag, waar de ontwikkelingen in het online onderwijs worden besproken en het Nederlandse ministerie wordt uitgenodigd.


Penetratietest van de ProctorExam website

Category : Uncategorized

In maart 2018 heeft het projectteam van de Universiteit van Hertfordshire, met name Dr. Stilianos Vidalis en zijn collega’s, de middelen opgezet om eventuele illegale penetratie van de ProctorExam-website te testen.

In het oorspronkelijke Erasmus+-projectvoorstel dat in maart 2016 werd ingediend, hadden we deze activiteit aangewezen als een belangrijk gebied dat moest worden onderzocht in overeenstemming met de vaststelling van toekomstige richtlijnen die in het eindverslag over “Intellectual Output 2 Security” moesten worden opgenomen. Het doel van deze oefening was om aan te tonen of een typische online student in staat zou zijn om toegang te krijgen tot een onbeschermd deel van de ProctorExam-servers en illegaal enig aspect van het online beoordelingssysteem te penetreren. Het ProctorExam systeem werkt natuurlijk met een eigen beveiligd systeem dat is ontworpen om typische professionele aanvallen en andere willekeurige pogingen om in te breken op hun site tegen te gaan.

De uitvoeringsnorm voor Penetration Testing (PTES) werd samen met de methodologieën van het Open Web Application Security Project (OWASP) gebruikt als basis voor het uitvoeren van de tests door Stilianos.

Het proces vereist de eerste goedkeuring van typische use cases en scenario’s om voorbeeld persona’s te identificeren van degenen die waarschijnlijk willen aanvallen en hun motivatie, om ofwel te stelen of gegevens opgeslagen op de site te wijzigen of ernstig belemmeren legitieme activiteit. Gedurende een periode van 24 uur werden vervolgens intensieve en aanhoudende pogingen ondernomen om de ProctorExam-servers illegaal te benaderen. Ongeoorloofde toegang was niet mogelijk, de “denial of service”-aanval was niet succesvol en er werd geen informatielek vastgesteld.

In het eindverslag van het project moet worden opgemerkt dat alle organisaties die zich hebben opgezet als aanbieders van beveiligde online-evaluaties, bestand moeten zijn tegen een soortgelijke gesimuleerde aanval om toekomstige gebruikers en partners ervan te verzekeren dat de evaluaties worden uitgevoerd in een veilige omgeving waar persoonsgegevens en prestatiegegevens van studenten worden beschermd en niet toegankelijk zijn voor onbevoegde gebruikers.


Het VU studentenpanel

Category : Uncategorized

Op donderdag 12 april presenteerden Silvester Draaijer en Robin van der Wiel het OP4RE project en het concept van online tentamens op afstand aan het studentenpanel van de VU. Als inleiding op het onderwerp keken de studenten naar een video van ProctorExam om te begrijpen hoe het systeem werkt. Studenten begonnen al snel kritisch na te denken over online proctoring en stelden vragen als “wie gaat alle videobeelden bekijken?”, “hoe worden mijn videobeelden verwerkt?” en “waarom zijn toiletpauzes niet toegestaan tijdens deze tentamens? Nadat Silvester wat meer over het systeem had uitgelegd, werd de vloer geopend voor een discussie over privacy kwesties met betrekking tot het systeem.

De meeste studenten merkten op dat ze zich niet op hun gemak zouden voelen bij iemand die constant naar hun bewegingen keek. Op een universitaire examenlocatie is er één surveillant per ongeveer 20 studenten; één op één bekeken worden voelt dus nogal “extreem”. Studenten erkenden ook de positieve aspecten van het systeem. Studenten die zich in het buitenland bevinden of niet naar een universitaire locatie kunnen komen, kunnen op afstand tentamens maken. Uit het studentenpanel kan geconcludeerd worden dat het heel belangrijk is om studenten te informeren. Ze willen weten hoe het systeem werkt en hoe hun videobeelden worden verwerkt. Tijdens de rest van het OP4RE-project zal rekening worden gehouden met de opmerkingen van het studentenpanel.


Jury prijs @ FIED International colloquium

Category : Uncategorized

Op het internationale FIED-colloquium dat op 13 en 14 december 2017 in Parijs werd gehouden, werd het OP4RE-project gepresenteerd tijdens een round-table dat werd bijgewoond door Silvester Draaijer, Daniel Haven, Sabine Bottin-Rousseau en Pierre Beust.
Voorafgaand aan het colloquium werd een videowedstrijd georganiseerd met als titel “My innovation in distance learning”, waarvan de prijzen tijdens het colloquium werden uitgereikt. Het experimenteren met online proctoring in Caen in het kader van IO3 van OP4RE won de juryprijs van deze wedstrijd.
Bekijk de video hier.