Gespräche mit der NVAO

Als Fortsetzung der bisherigen Gespräche fand im Mai ein Treffen mit der NVAO (Akkreditierungsorganisation der Niederlande und Flandern) und Risbo (Erasmus-Universität Rotterdam) statt, an dem auch die VU via Skype teilnahm.

Die NVAO zeigte, dass sie offen für neue Entwicklungen in der Online-Bildung ist. Es ist wichtig, den Entwicklungen in der Online-Bildung Raum zu geben und diese durch Rahmenbedingungen zu begrenzen. Die Entwicklungen in der Online-Bildung stellen die bestehenden Ansätze des Etablierungsprinzips und der Makroeffizienz in Frage. Online-Bildung wird nach wie vor nur als Ergänzung gesehen und es ist sogar gesetzlich definiert, dass ein Teil des akkreditierten Bildungsprogramms einen präsenzbasierten Aspekt hat. Bildungsprogramme, die vollständig online angeboten werden, können noch nicht akkreditiert werden. Auch bei akkreditierten Masterstudiengängen, die über MOOCs angeboten werden, finden die Prüfungen in Präsenz statt. Ein MOOC wird als eine Nebenform der Bildung gesehen.

Es ist durchaus möglich, den derzeitigen Bildungsansatz zu ändern. Wenn Institutionen mit innovativen Initiativen arbeiten und es eine breite Unterstützung gibt, kann dies letztendlich zu einer Änderung des Ansatzes und der Akkreditierung des Bildungssystems führen. Neue Programme und Kurse werden von Ausschüssen auf ihre Eignung geprüft. Auch die NVAO ist an der Bewertung von Bildungsprogrammen beteiligt. Im Falle eines Kurses oder MOOC als Teil des Lehrplans, der akkreditiert werden muss, muss dies jedoch über ein externes Review Committee wie z.B. Quanu erfolgen. Die NVAO empfiehlt, darauf zu achten, dass die Zusammensetzung des Ausschusses mit dem zu beurteilenden Thema übereinstimmt.

Darüber hinaus finden auf europäischer Ebene Diskussionen über die Entwicklungen in der Online-Bildung statt. Ein Bericht der ENQA zu diesem Thema wird voraussichtlich noch in diesem Jahr veröffentlicht. Bezüglich der Entwicklungen in der Online-Bildung in Europa verweist die NVAO vorerst auf das TeSLA-Projekt (http://tesla-project.eu/).

Sowohl Risbo als auch die NVAO wollen die gute Zusammenarbeit und die Diskussionen über die neuen Entwicklungen in der Online-Bildung fortsetzen. So wurde das OP4RE-Projekt eingeladen, am E-Learning-Tag der aQAdemy im November teilzunehmen; dort werden Entwicklungen in der Online-Bildung ausgetauscht. Auch das niederländische Ministerium ist eingeladen.

Die Wichtigkeit einer guten Vorbereitung

Während das Projekt fortschreitet und immer mehr Prüfungen mittels Online-Proctoring durchgeführt werden, sammeln wir als Projektmitarbeiter entsprechend mehr Erfahrung. Die Kommunikation mit den Studenten scheint jedoch ein kritischer Punkt im Prozess der Online-Prüfungen zu sein. Deshalb hat Fontys ein kurzes Video mit allgemeinen Informationen entwickelt, in dem in studentischer Sprache erklärt wird, was Online-Proctoring ist, wie solche Prüfungen funktionieren, welche Videos aufgezeichnet werden, und wie diese Prüfungen bei Fontys stattfinden. Tipps und Tricks, Do’s und Don’ts werden gegeben. Des Weiteren wurde ein Video entwickelt, das die Studenten durch das Startverfahren von ProctorExam führt.

Sehen Sie sich die Videos hier an (niederländische Version):

Update IO5: Privacy

Übersicht IO5

Um den Schutz der Privatsphäre bei internationalen Online-Proctored (op) Remote-Prüfungen (zunächst für Experimente, später auch für Bachelor und Master) zu gewährleisten, benötigen wir anwaltlich geprüfte, EU-konforme Vertragsvorlagen, alle Arten von Vertragsformularen und Richtlinien für Prüflinge und Tester, um nicht nur konform zu sein, sondern auch alle OP4RE-Akteure wie Akkreditierungsagenturen und Datenschutzbeauftragte zu überzeugen.

Derzeitige Situation

Die erste Aufgabe bestand darin, herauszufinden, welche Informationen (in welchen Dokumenten) wir benötigen, um unsere Ziele zu erreichen. Daher wurden zwei Datenschutzverträglichkeitsprüfungen durchgeführt. Die identifizierten Dokumente sind Risikoakzeptanzformulare, Datenklassifikations- und Verarbeitungsvereinbarungen, Datenschutzrichtlinien. Darüber hinaus sind Richtlinien und Vorlagen für rechtliche Hinweise, Einwilligungstexte und Datenschutzerklärungen erforderlich.

Der nächste Schritt bestand darin, solche Informationen aus verschiedenen Quellen zu sammeln, d.h. aus Datenschutzexperten, EU-Vorschriften und bereits vorhandenem Material aller OP4RE-Partner als Best-Practice-Vorlagen. Jetzt befinden wir uns mitten in der Phase der Infokonsolidierung.

Planung des Jahres 2

Nach der Fertigstellung der zu prüfenden Dokumente erfolgt eine Feinabstimmung durch alle OP4RE-Partner. Parallel dazu beginnen die Experimente. Ziel ist es, papierbasierte Onsite- und Offsite-Untersuchungen (insbesondere zu Hause) miteinander zu vergleichen.

Fortschritt report IO3

Pierre Beust & Sabine Bottin-Rousseau, von FIED (Fédération Interuniversitaire de l’Enseignement à Distance), haben einen Report über den Fortschritt und die Aktivitäten auf IO3 verfasst, in dem es darum geht, eigene Geräte- und Off-Campus-Prüfungsprotokolle zu erstellen.

Vortschritt IO 4

Am Mittwoch, dem 6. Dezember 2017, wurde an der Vrije Universiteit Amsterdam das erste groß angelegte Experiment für eine Online-Prüfung durchgeführt. Das Ziel der Studie war es, zu untersuchen, inwieweit die Studenten die Phasen der Einrichtung der Schülercomputer zu Hause erfolgreich durchlaufen und eine Probeprüfung ablegen würden, um die Studentenerfahrung zu optimieren.
Die Zielgruppe bestand aus ca. 600 Bachelor-Studenten im ersten Studienjahr für einen Studiengang Statistik. Die Gruppe wurde nach dem Zufallsprinzip in zwei Gruppen aufgeteilt. Gruppe eins hat die Probeprüfung in der zentralen Prüfungshalle der Universität abgelegt. Gruppe zwei nahm die Probeprüfung zu Hause ab. Die vorläufigen Ergebnisse dieses Experiments zeigen, dass die Studenten ihre Hardware (Computer, Webcam, Bildschirmaufnahme, Mikrofon, Handy) sehr spät vor der eigentlichen Prüfung vorbereiten. Für eine Reihe von Studenten führt dies zu Problemen beim Einloggen in die Proctoring-Sitzung. Da diese Zahl recht hoch war, stellte sich heraus, dass es schwierig war, diese Studenten durch die VU-Proktoren bei der Nutzung der integrierten Chat-Möglichkeiten der Proctoring-Plattform zu unterstützen. Vor allem, weil in der angespannten und kurzen Zeit, in der die Prüfung begonnen werden konnte, die Verständigung, das Verstehen des Problems und das Anbieten von Lösungen sowohl für die Studenten als auch für die Proktoren nicht zufriedenstellend war. Das Experiment zeigte, dass die Schüler in früheren Phasen angeleitet und gedrängt werden müssen, um ihre gesamte Ausrüstung zu überprüfen. Vielleicht sollten Leitlinien entwickelt werden, in denen die Verantwortung für eine technisch erfolgreiche Prüfung zu einem bestimmten Zeitpunkt vor einer eigentlichen Prüfung auf die Studierenden übertragen wird. Dieses Experiment brachte dem OP4RE-Projekt bereits wichtige Lernerfahrungen, die es ermöglichen, zweckmäßige Richtlinien und Regelwerke zu entwerfen.

Fortschritte IO 1

Stellen Sie sich vor, dass Bachelor- und Master-Abschlüsse online abgeschlossen werden. Stellen Sie sich Studenten vor eingeschrieben in Online-Grad-Programme, wobei validierte Aufgaben und Prüfungen von zu Hause oder einem anderen Ort der Wahl. Zunehmend mobile und flexible Online-Angebote erfordern in naher Zukunft flexiblere und außeruniversitäre Prüfungsverfahren.

Risbo hat in den vergangenen Monaten Schritte unternommen, um dieses Ziel zu erreichen, indem es mit der Sammlung von Informationen über aktuelle Gesetze und Vorschriften über (inter)nationale Privatsphäre, Betrug und Sicherheit begonnen hat. Treffen mit Experten auf dem Gebiet der Akkreditierung von Bildungseinrichtungen wie der niederländisch-flämischen Akkreditierungsorganisation (NVAO) und dem Datenschutzbeauftragten der Erasmus-Universität Rotterdam, der Experte für Datenschutz, Betrug und Sicherheit ist, haben unsere Forschung gut informiert.

Anfang 2018 beginnt mit der eigentlichen Erprobung der Online-Bewertung. Die Studenten nehmen an den Proctored Assignments und Prüfungen innerhalb der MOOCs und der Educational Programmes teil. Für diese Piloten freut sich Risbo auf die Zusammenarbeit mit dem IHS und RSM, die beide MOOCs entwickelt haben. Auch andere Abteilungen der Erasmus-Universität haben Interesse an einer Zusammenarbeit bekundet. Letztendlich tragen diese Piloten zur gemeinsamen Entwicklung eines Leitfadens für Bildungseinrichtungen bei, die sich in naher Zukunft für Online-Proctoring interessieren.

IO2: Aktualisierungsbericht zu den Protokollen der Sicherheits- und Betrugsbekämpfungsgesetzgebung

Die Arbeit an der University of Hertfordshire hat sich von den Aktivitäten, die im Jahresbericht 2016-17 für IO2 beschrieben sind, fortgesetzt, wobei der Schwerpunkt auf der Entwicklung und Verfeinerung eines Risikobewertungsdokuments für Online-Proctoring liegt.
Derzeit forscht das Team mit einer Gruppe von Campus-basierten und ausgebildeten Proktoren, die an unserer Universität angestellt sind, mit dem Ziel, eine Reihe von Richtlinien für die Ausbildung von Online-Proktoren zu entwickeln. Das Team hat eine Vielzahl von Methoden zur Untersuchung von Proctoring-Ansätzen für die Überwachung von Online-Untersuchungen entwickelt. Das sind sie:
1. Eine Gruppe aktueller Proktoren zeigt ein”Record and Review”-Szenario, gefolgt von einer geführten Diskussion in einer Fokusgruppe, um die Punkte zu besprechen, die sie als potenziell verdächtiges Verhalten von Schülern aufwerfen würden. Dies war eine weitgehend reflektierende und qualitative Studie, die im August/September 2017 durchgeführt wurde.
2. Für Anfang 2018 ist ein Mischmethodenansatz mit einem Campus-Teach-Modul und einer Online-Bewertung geplant. Dabei wird eine Live-Authentifizierungssitzung mit anschließender Aufzeichnung und Überprüfung für die Bewertung verwendet, wobei die gleiche Gruppe von Prüfern den Prozess rückwirkend überprüft und potenzielle”Quetschstellen” identifiziert.
3. Drittens wird eine komplette”Live Proctored”-Sitzung von unserer Gruppe von campusgeschulten Proktoren überprüft, die für 2018 geplant ist.
Die Verwendung von aufgezeichneten Live-Szenarien” hilft uns, besser zu verstehen, was die geschulten und erfahrenen Aufsichtspersonen/Profis in einer campusbasierten Situation bei der Überwachung eines Assessments suchen und wo die Bedrohungen für eine sichere und betrugsfreie Online-Bewertung liegen könnten.

Rundbrief 6 – 6. November 2017

Am 2. Oktober 2017 organisierten wir unser 2. Transnationales Treffen an der Wilhelm Büchner Hochschule für Angewandte Wissenschaften (Darmstadt, Deutschland). Es war ein konstruktives Treffen, bei dem wir das vergangene Projektjahr und unseren Plan für das nächste Jahr besprochen haben. Insbesondere haben wir festgestellt, dass die ersten Experimente mit Online Proctoring mit unterschiedlichem Erfolg durchgeführt wurden und dass diese Ergebnisse es uns ermöglichen, in den kommenden 2 Jahren weitere groß angelegte Experimente aufzubauen.

Einige unserer Projektmitarbeiter waren auch auf Konferenzen, um das Projekt OP4RE vorzustellen und zu diskutieren. Silvester Draaijer präsentierte am 9. Oktober auf der TEA 2017 Konferenz in Barcelona das Papier “Online Proctoring for Remote Examination: A State of Play in Higher Education in the EU”. Sabine Rousseau und Pierre Beust gingen vom 16. bis 19. Oktober nach Toronto zur ICDE, um ihren Vortrag zum Thema “Online Proctoring: Experimentation of Remote Examination in E-Learning Programmen” vorzustellen. Sie veröffentlichten auch einen Artikel über Frankreich und die Pajama-Friendly Exam. Amanda Jefferies von der University of Hertfordshire präsentierte auf der ECEL 2017 vom 26. -27. Oktober 2017 in Porto, Portugal, einen Vortrag mit dem Titel’ Trialling Online Proctoring for E-Assessments: Early Outcomes from the Erasmus+ OP4RE Project’. Silvester Draaijer wird die ersten Ergebnisse des OP4RE-Projekts auf den kommenden niederländischen SURF Onderwijsdagen am 7. und 8. November präsentieren. Weitere Informationen zu diesen Papieren finden Sie auf der OP4RE Website.

Nach der Präsentation auf der TEA-Konferenz nahm Silvester Draaijer gemeinsam mit Vertretern des Erasmus TeSLA-Projekts und Smowltech an einer Diskussionsrunde teil. Insbesondere wurde die Frage diskutiert, ob Online Proctoring sicherer sein sollte als Face-to-Face Proctoring. Wie sicher ist die persönliche Beaufsichtigung? Die Konferenzteilnehmer stimmten mit den identifizierten Zielgruppen von Bewerbern (Austauschstudenten, Sportstudenten, Studenten mit Behinderungen, internationale Studieninteressenten) überein, die mit den langfristig angestrebten Ergebnissen des Erasmus-Programms übereinstimmen, um den Zugang zur Hochschulbildung zu verbessern.

Des Weiteren wurden Fragen zu Technologien für die Integration und wie TeSLA-Funktionalitäten in Kombination mit Online Proctoring funktionieren können, diskutiert. Im Mittelpunkt der Diskussionen standen auch die Unterschiede der Kulturen in Südamerika und den USA im Gegensatz zu Europa. Insbesondere in Südamerika scheint es so, dass aufgrund der breiteren geografischen Streuung der Studentenpopulation und der geringeren Anforderungen an Datenschutz und Privatsphäre, digitale Identifikationsmechanismen wie Gesichtserkennung und Speicherung von Videomaterial viel einfacher anzuwenden sind.

Schritt für Schritt fügen wir Artikel zu unserer Website hinzu. Vor kurzem haben wir einige Artikel über Proctoring hinzugefügt. Ein erster Artikel gibt uns einen Blick hinter die Kulissen des ProctorU-Teams. Ein zweiter interessanter Artikel gibt einige Tipps und Tricks, eine Reihe von Dingen, die das Online-Proctoring betreffen, wie z. B. Technologien, Verfahren, Vor- und Nachteile. Weitere Informationen finden Sie auf unserer Website.

Zur Zeit planen wir einen Termin für eine zweite Reach Out Session. Wir halten Sie auf dem Laufenden.

LERU 2017, Milan

Vom 7. -10. November 2017 nahm Sabine Bottin-Rousseau an der Arbeitsgruppe E-Learning der LERU-Konferenz teil. Sie hielt einen Vortrag über das Projekt und die Erfahrungen bei UPMC mit Online Proctoring.