Online Proctoring for Remote Examination
De website Talview heeft een interessant artikel gepubliceerd, waarin ze een aantal belangrijk punten over Online Proctoring bespreken.
Het artikel maakt een goede opsomming van gebruikte technologie, procedures voor proctors en voor- en nadelen van het Online Proctoren.
Het artikel is hier te vinden: http://blog.talview.com/a-complete-guide-to-online-remote-proctoring
De researchfase van het project heeft interessante artikelen aan het licht gebracht, dit is er één van.
The Chronicle of Higher Education heeft een interessant artikel gepubliceerd over de proctors die bij ProctorU werken. Auteur Kolowich geeft een uitgebreide beschrijving over hoe het eraan toe gaat in de zalen die vol zitten met proctors, wat zij precies doen, en hoe de proctors geproctored worden om hun werk goed te doen.
Het artikel is hier te lezen: http://www.chronicle.com/article/Behind-the-Webcams-Watchful/138505#sthash.KtyW57ZK.dpuf
Op 9 mei 2017 organiseerden we onze eerste online reach-out session. Het was een leerzame sessie, zowel qua inhoud als qua organisatorische kwesties. De apparatuur liet ons in de steek, maar we nemen dit als belangrijk punt mee naar onze volgende reach-out session. We hopen de volgende keer meer van onze geassocieerde partners te mogen verwelkomen.
De sessie begon met een toelichting op het ontwerp van het OP4RE-project en de inhoud van het startverslag. Na deze uitleg van de projectcoördinator Silvester Draaijer toonde Daniel Haven, van ProctorExam, hun proctoring tool. Na deze introductie hebben 3 partners hun eerste ervaringen met online proctoring toegelicht. Eerst deelde Michiel van Diesen (Fontys, Nederland) hun ervaringen met online proctoring. Vervolgens legde Pierre Beust (FIED, Frankrijk) de nadruk op de experimenten van huisartsexamens aan de Universiteit van Caen. Vanuit België nodigden we VIVES University College, afdeling afstandsonderwijs, uit. Ze hebben een lange traditie van afstandsonderwijs en werken samen met ProctorExam om jaarlijks zo’ n 1000 online examens af te leveren. Om dit aantal online examens te ondersteunen beschikt VIVES over toegewijde stafmedewerkers om de examens te plannen, te beheren en te proctoren. Voor meer informatie en presentaties verwijzen we naar de website van OP4RE.
In de komende maanden zullen we blijven werken aan intellectuele output en zullen er meer experimenten worden opgezet. Verder ervaren we dat we afwijken van onze planning, omdat de IOO’s op het gebied van Accreditatie en Privacy zich niet goed lenen voor strikte lineaire projectplanning. Misschien zullen er tijdens de tweede transnationale bijeenkomst in oktober in Darmstadt enkele verschuivingen plaatsvinden. Wat betreft de eerder genoemde kwesties met betrekking tot privacy en gegevensbescherming gaan we door met onze zoektocht. De exacte regels en praktijken om te voldoen aan hooggevoelige digitale persoonsgegevens zijn nog lang niet duidelijk. Verder heeft ProctorExam een nieuw partnerschap gesloten met de “Associatie voor Examinering”, die reeds geassocieerd partner was van het OP4RE-project. We beginnen intensievere gesprekken met hen voor samenwerking.
In maart 2013 publiceerden David Foster of Caveon en Harry Layman van The College Board een artikel waarin verschillende online proctoring systemen werden vergeleken. Op de laatste pagina’s presenteren ze enkele algemene bevindingen waarin ze onderscheiden welk systeem nodig is voor de hoogte van de inzet van de examens. Zeer inzichtelijk.
Verder rapporteren ze over het percentage geregistreerde gevallen van wangedrag dat tijdens proctoring sessies meestal wordt aangetroffen. In het OP4RE-project wordt dit als benchmark meegenomen.
Het volledige rapport is hier te lezen:
https://ivetriedthat.com/wp-content/uploads/2014/07/Caveon-Test-Security.pdf
Op 9 mei 2017 organiseerden we onze eerste online reach-out session. We hebben onze geassocieerde partners uitgenodigd. Het was een rijke leerervaring, zowel inhoudelijk als organisatorisch. De technologie liet ons in de steek, maar we nemen dit als een werkpunt mee naar onze volgende reach-out session.
We begonnen met een toelichting op het ontwerp van het OP4RE-project en de inhoud van het Start-rapport. Dit verslag is de officiële “start” van ons project. We hebben gekeken naar de huidige stand van zaken met betrekking tot het online proberen van examens op afstand in de deelnemende landen. Uit dit bureauonderzoek zijn veel vragen naar voren gekomen, die we momenteel in het project meenemen. Na deze uitleg van projectcoördinator Silvester Draaijer, liet Daniel Haven van ProctorExam ons hun proctoring tool zien. Proctor Exam sluit zich aan bij het OP4RE-project.
Vervolgens kregen we een uitleg van 3 partners over hun eerste ervaringen met online proctoring. Eerst deelde Michiel van Diesen (Fontys, Nederland) hun ervaringen met online proctoring. Vervolgens legde Pierre Beust (FIED, Frankrijk) de nadruk op de experimenten van huisartsexamens aan de Universiteit van Caen. Voor de proctoring gebruiken ze Proctor U. In jaar 1 (2015-2016) deden 55 studenten mee. Naast de klassieke examens werden er voorstellen gedaan voor gemengd leren en thuisproctoring. In jaar 2 (2016-2017) deden 50 studenten in een professionele Masteropleiding op het gebied van gezondheid met 2 of 3 examens mee. Ze waren leerlingen die volledig afstandsonderwijs volgden, verspreid over de hele wereld. In plaats van klassieke examens werd thuis-proctoring georganiseerd. Vanuit België hebben we VIVES uitgenodigd. In België waren zij de eerste (en voor zover wij weten de enige) instelling voor het hoger onderwijs, die begon met het proctoren van examens. VIVES heeft een lange traditie van afstandsonderwijs. Ongeveer 15% van de studenten volgt een afstandsonderwijsprogramma (op een totaal van ongeveer 13.000 studenten). Studenten in afstandsopleidingen kunnen hun examens afleggen in het examencentrum in Kortrijk of online via proctoring. Voor de proctoring werkt VIVES samen met ProctorExam, één van de partners van het OP4RE project.
Bijlagen:
Daniel Haven en Amanda Jefferies vertegenwoordigden vandaag het OP4RE-project op de 15e jaarlijkse E-Assessment conferentie en tentoonstelling. De focus van deze conferentie lag op HO computer-based assessment en is sterk gegroeid sinds de het begin van automatische toetsuitgave en certificering. We hebben ontwikkelingen gezien zoals papierloze onderzoeksprojecten, e-proctoring, open badges, sociale media, BYOD, de groei van e-portfolio’ s, de proliferatie van vraagtypes, de opkomst van overheidsinitiatieven en -beleidsmaatregelen na FELTAG, Sainsbury en curriculumwijzigingen, de verwachtingen van digitale autochtonen en snelle technologische veranderingen.
Bij de 15e jaarlijkse internationale e-Assessment vraag ging de aandacht vooral uit naar de praktische vraagstukken rond het in opdracht geven, implementeren en leveren van e-Assessment oplossingen.
Voor meer informatie: http://www.e-assessment-question.com/
De verwachte complexiteit van privacy en gegevensbescherming treedt op zoals blijkt uit de onderstaande stroomschema hieronder. Voor elke instelling die online proctoring wil gaan gebruiken, moet men rekening houden met het concept van Privacy by Design. Dit stroomschema kan helpen bij het ontwerpen van processen en afspraken met dat doel. Dus, na het identificeren van de mogelijkheden voor online proctoring, zal elke instelling een privacy- en gegevensbeschermingsbeleid moeten ontwikkelen en implementeren, ongeacht of er een proctoring systeem wordt gebruikt. De bevoegde ambtenaren moeten worden geïdentificeerd en de desbetreffende procedures en overeenkomsten moeten worden opgesteld en overeengekomen. Deze aanpak van privacy by design moet worden gevolgd naast andere aspecten van online proctoring die van belang zijn, zoals beveiliging, fraudeopsporing, fraudevoorschriften, enz. Er moeten dus meerdere stromen van beleid en technische studies worden uitgevoerd wanneer een instelling online proctoring wil gaan gebruiken.
Eens te meer zijn er al enkele algemene – en relatief eenvoudige en voor de hand liggende – richtlijnen te herkennen bij het uitvoeren van online proctoring. We geven enkele voorbeelden:
Vandaag presenteerden Silvester Draaijer en Daniel Haven het OP4RE-project op de VU-onderwijsdag. Het onderwerp van deze minibijeenkomst was de bruto academische waarde. Hoe spelen de drie centrale concepten van sociale verbondenheid, competentie en autonomie een rol in motivatie en onderwijs? Wat zijn deze concepten en hoe kunnen ze worden gebruikt om curricula en cursussen te ontwerpen?
Om dit onderwerp aan de orde te stellen presenteerden Daniel Haven en Silvester Draaijer de toegevoegde waarde die online proctoring kan bieden aan zowel de traditionele als moderne onderwijssetting.
Zie de onderstaande link voor meer informatie:
http://knowvu.nl/en/events/education-day-vrije-universiteit-2017/
Geachte geassocieerde partner van het Erasmus+-project OP4RE,
Na de eerste transnationale vergadering van 25 en 26 oktober is de OP4RE Project Management Group bezig met de ontwikkeling van het project. Voor elk van de 5 Intellectuele Outputs (IO) zijn meer gedetailleerde plannen in voorbereiding.
De projectleden die zich bezighouden met privacy- en veiligheidsaspecten van afstandsonderzoek werken aan het opzetten van een raamwerk voor institutionele effectbeoordelingsprocedures en afspraken over veiligheid, risicoaanvaarding en privacy. Meer informatie over deze IO volgt in latere nieuwsbrieven.
Het identificeren en krijgen van alle voorwaarden om experimenten uit te voeren vergt nogal wat speelruimte en de leden van PMG is al begonnen dit te initiëren. Hieronder volgen drie voorbeelden van experimenten in voorbereiding.
Experimenten voor proctoring op afstand zijn nu opgezet voor bacheloropleidingen waarvoor een selectie van studenten nodig is (Numerus Fixus programma’ s). Onder normale omstandigheden moesten Nederlandse kandidaten hiervoor een digitale selectietoets afleggen in de Digitale Examenszaal van de Vrije Universiteit Amsterdam. Nederlandse instellingen voor hoger onderwijs zijn echter verplicht om studenten die wonen in de zogenaamde bijzondere overzeese gemeenten (Bonaire, Saba en Sint Eustatius) de mogelijkheid te bieden om deze selectietoetsen onder dezelfde voorwaarden als Nederlandse studenten af te leggen. Voor deze selectietoetsen zal het OP4RE-project de diensten leveren om de test voor deze overzeese kandidaten op afstand thuis af te leggen. De selectietest die in februari 2017 tot april 2017 zal plaatsvinden, zal worden gebruikt als proef voor de toekomstige selectietest (2018). In de pilot worden de procedures, de enquêtevragen, de technische opzet van de online testen etc. in detail uitgewerkt en getest. Er worden uitgebreide discussies gevoerd over deze procedures en de mogelijke problemen die zich kunnen voordoen en de beperking ervan.
Het probleem van het voorkomen van fraude of het onrechtmatig opnemen van het examen door de kandidaten zelf;.
De procedures waarbij studenten op de hoogte worden gesteld van hun toestemming voor privacy en veiligheid van online testen op afstand;
De gelijkwaardigheid van de verschillende vormen van de test. Bijvoorbeeld, in de digitale examenzaal krijgen studenten een case-based vragen uitgedeeld op papier, terwijl studenten in het buitenland de case informatie moeten lezen van het scherm;
Hoe om te gaan met de kwestie van het gaan naar het toilet voor een 3 uur test. In de persoonlijke omgeving mogen kandidaten na afloop van een deel van de test en voor het opeenvolgende deel naar het toilet gaan: hoe kunnen ze daar in een afgelegen situatie mee omgaan.
De tweede pilotstudie heeft betrekking op een experiment waarbij de gelijkwaardigheid en vergelijkbaarheid van examenresultaten voor het op deampus proctoreren en op afstand proctoreren van digitale tests wordt bestudeerd in een wetenschappelijke experimentele setting voor het domein van de statistiek voor een grote cohort (300+) van studenten voor december 2017. Voor dit experiment moeten docenten en examencommissie intensief betrokken worden bij de besluitvorming. Met name voor dit experiment wordt de opstelling gekozen om het uiteindelijke cijfer in twee delen op te splitsen. Het eerste deel is de online test, het tweede deel is een regelmatig eindexamen. Om dit experiment mogelijk te maken, moeten wijzigingen worden goedgekeurd voor de officiële cursus zoals vastgelegd in de eerder vastgestelde reglementen van de cursus.
Het derde voorbeeld betreft het aanbieden van afstandsexamens voor internationale studenten die een internationale bacheloropleiding in Nederland willen volgen. Een aantal studenten moet aantonen dat ze over voldoende wiskundige vaardigheden beschikken. De huidige methoden om dit bewijs te leveren zijn de volgende:
De speelruimte tot aan een eventueel experiment met testen op afstand omvat gesprekken met veel stakeholders binnen de universiteit die zich bezighouden met internationale toelatingen, experts op het gebied van onderwerpen en het opzetten van een casus. Het uitvoeren van een experiment zou meer empirisch bewijs kunnen leveren om een dergelijke casus te onderbouwen. In zo’n casus worden de mogelijke uitkomsten voor afstandsexamens (in termen van toename van studenteninschrijvingen voor specifieke landen en kansen op succesvolle studieloopbanen) afgewogen tegen de kosten van het ontwerpen, onderhouden en administreren van kwalitatief hoogwaardige zelfgemaakte wiskundige toetsen.
Het OP4RE-project zal een Start-rapport opstellen waarin de huidige stand van zaken met betrekking tot online onderzoek op afstand zal worden beschreven. Gezien de voortgang van ons project zal het concept van dit verslag op 24 maart met de geassocieerde partners worden gedeeld. De besprekingen van het startverslag met de geassocieerde partners zullen op 4 april in een online sessie worden gevoerd.
Vandaag heeft Silvester Draaijer de opbouw van het OP4RE project gepresenteerd voor de Special Interest Group Digital Assessment (SIGDT) en SURF. Tijdens deze meeting zijn vele aspecten, doelen en verwachtingen van het project besproken, met name deze die verbonden zijn met het gebruik van digitale toetsing binnen de EU in de toekomst.