Author Archives: admin

Online proctoring an der Universität Hasselt

Category : Uncategorized

In der UHasselt  Magazine wurde im Juni 2018 ein kurzer Artikel zum Thema Online-Proctoring an der Universität Hasselt veröffentlicht.
Artikel nur auf Niederländisch.

UHasselt Magazine, Juni 2018 (3).


Jurypreis @ FIED International Kolloquium

Category : Uncategorized

Auf dem FIED International Kolloquium am 13. und 14. Dezember 2017 in Paris wurde das OP4RE-Projekt im Rahmen eines Round-Table-Gesprächs mit Silvester Draaijer, Daniel Haven, Sabine Bottin-Rousseau und Pierre Beust vorgestellt.

Zu erwähnen ist ebenso, dass im Vorfeld des Kolloquiums ein Videowettbewerb mit dem Titel „My innovation in distance learning“ organisiert wurde. Die Preise dafür wurden während des Kolloquiums verliehen.

Die im Rahmen von OP4REs IO3 in Caen durchgeführten Experimente zur Fernüberwachung von Online-Prüfungen zu Hause gewannen den Jurypreis dieses Wettbewerbs.


OP4RE – ProctorExam und der Online-Eignungstest für Mathematik 2018

Category : Uncategorized

Die Vielzahl von einheimischen und internationalen Studierenden zu koordinieren kann eine echte Herausforderung für Hochschulen sein. Deshalb wird SOWISO in Zusammenarbeit mit mehreren niederländischen Universitäten den kommenden Studienanfängern einen Online-Mathematik-Test anbieten. Damit können sie prüfen, ob ihre Mathematik-Kenntnisse ausreichend sind, um für die Immatrikulation in Frage zu kommen.

Um sicherzustellen, dass kein Betrug stattfindet, wird der Test mit Hilfe von ProctorExam und OP4RE durchgeführt. Das bedeutet, dass die Studierenden während des Tests überwacht werden.

Der Inhalt des Tests wurde von einer kleinen Gruppe von Mathematiklehrern der Universität erstellt. So wurde ein Test erarbeitet, der in den Niederlanden eine breite Akzeptanz in Bezug auf Gültigkeit und Zuverlässigkeit hat. Das Angebot dieses Tests als Pilotphase hat Anfang Mai 2018 begonnen. Mehr Details dazu erfahren Sie auf unserer Website.

Mittlerweile haben die ersten Kandidaten den Online-Test absolviert. In Zahlen ausgedrückt sehen wir nun folgendes:

– Rund 80 Studenten der Vrije Universiteit Amsterdam wurde die Möglichkeit geboten, entweder einen mathematischen Eignungstest vor Ort in den Niederlanden oder online abzulegen.

– Etwa 35 Studenten hatten Interesse daran, den Test auf der Online-Plattform von PassYourMath zu absolvieren.

– Circa 20 Studenten haben sich für die Online-Vorbereitungsmodule für den Test angemeldet, um sich an die Plattform zu gewöhnen (Inhalt und Schwierigkeitsgrad der Fragen, Art der Eingabe der Antworten).

– Ungefähr 10 Studenten haben sich für den online überwachten Test angemeldet. Etwa die Hälfte von ihnen hatte Schwierigkeiten, den Test technisch richtig einzurichten. Es stellte sich heraus, dass es aufgrund einiger Internetbeschränkungen durch das Land, in dem der Kandidat wohnte, nicht immer möglich war, die Webcam zu benutzen.

– Kein einziger Fall von Betrugsverdacht wurde festgestellt. Alle Studierenden erhielten einen Leistungsnachweis von PassYourMath.

– Etwa 7 dieser Studierenden erreichten eine ausreichende Punktzahl, die als Schwellenwert für die Zugangsberechtigung definiert wurde.

– Das erste Zertifikat, welches einem Studenten den Zugang zur Vrije Universiteit ermöglicht, wurde nun bestätigt.

Die Entwicklung dieser Initiative zeigt, dass Online-Proctoring dem Ziel, den Zugang zur Hochschulbildung zu verbessern, gut dient. Das ist exakt das Hauptziel der Erasmus-Förderung. Es wurden bislang noch keine Prozesse für die Anmeldung von Studenten automatisiert und auch die Anmeldung von Studenten bei PassYourMath und ProctorExam mit einem Konto ist noch nicht möglich.  Dieses Pilotprojekt macht jedoch die Nachfrage von Studieninteressierten nach Online-Proctoring deutlich. Die Entwicklung zeigt ebenso die Machbarkeit der eingesetzten Verfahren und Technologien. Im kommenden Jahr wird der Pilotbetrieb weiter ausgebaut.


Treffen mit dem studentischen Gremium der VU Vrije Universiteit

Category : Uncategorized

Am Donnerstag, den 12. April 2018, präsentierten Silvester Draaijer und Robin van der Wiel das Projekt OP4RE und das Konzept der Online-Prüfungen vor dem studentischen Gremium der Vrije Universiteit Amsterdam. Als Einführung in das Thema sahen sich die Studierenden ein Video von ProctorExam an, um zu verstehen, wie das System funktioniert. Schnell begannen die Studierenden, kritisch über Online-Proctoring nachzudenken und stellten Fragen wie zum Beispiel „Wird jemand das gesamte Videomaterial anschauen?“, „Wie wird mein Videomaterial verarbeitet“ und „Warum sind keine Toilettenpausen während der online überwachten Prüfung erlaubt?“. Nachdem Silvester Draaijer mehr über das System erklärt hatte, begann eine Diskussion über Datenschutzangelegenheiten.

Die meisten Studierenden stellten fest, dass sie sich nicht wohl fühlen würden, wenn jemand jede ihrer Bewegungen beobachten würde. An einem Prüfungsort vor Ort an der Universität gibt es ungefähr eine Aufsicht pro 20 Studierende. Wenn man jedoch online eins zu eins überwacht wird, fühlt sich das extrem anders an. Die Studierenden erkannten auch die positiven Aspekte des Systems. Es ermöglicht Studierenden, die sich im Ausland aufhalten oder nicht an einen Universitätsstandort kommen können, Prüfungen sicher von einem entfernten Ort aus zu absolvieren. Aus dem Treffen mit dem Studentengremium kann geschlossen werden, dass es sehr wichtig ist, die Studierenden zu informieren. Sie wollen wissen, wie das System funktioniert und wie ihr Videomaterial verarbeitet wird. Die Anmerkungen des studentischen Gremiums werden im weiteren Verlauf des OP4RE-Projekts berücksichtigt.


Testen der Hackbarkeit der ProctorExam-Assessments-Website mit Techniken der Software-Penetrationstests

Category : Uncategorized

Im März 2018 arrangierte das Projektteam der Universität Hertfordshire rund um Dr. Stilianos Vidalis und seine Mitarbeiter die Möglichkeiten, um das Potenzial für ein illegales Eindringen in die ProctorExam-Website zu testen.

Im Erasmus+-Projektvorschlag vom März 2016 wurde dies als ein wichtiger Bereich für den Abschlussbericht des „Intellectual Outputs 2 Security“ identifiziert, der in Übereinstimmung mit der Festlegung künftiger Richtlinien untersucht werden soll. Durch diese Übung sollte gezeigt werden, ob ein typischer Online-Student auf einen ungeschützten Bereich der ProctorExam-Server zugreifen und illegal in die Sicherheit der Online-Assessment-Systeme eindringen könnte. Das ProctorExam-System arbeitet natürlich bereits mit einem eigenen sicheren System, um typischen professionellen Angriffen und anderen willkürlichen Versuchen, sich in ihre Website zu hacken, entgegenzuwirken.

Der „Penetration Testing Execution Standard“ (PTES) wurde zusammen mit den Methoden des „Open Web Application Security Project“ (OWASP) als Basis für die Durchführung der Tests von Dr. Stilianos Vidalis verwendet.

Der Prozess erfordert die Übereinstimmung von typischen Anwendungsfällen und Szenarien, um beispielhafte Personas zu identifizieren. Diese Personas haben das Ziel, das Online-Assessment-System anzugreifen, zu hacken oder auf der Website gespeicherte Daten zu stehlen, zu ändern oder legitime Aktivitäten ernsthaft zu behindern. Während eines Zeitraums von 24 Stunden wurden intensive und anhaltende Versuche unternommen, illegal auf die ProctorExam-Server zuzugreifen. Aber kein unbefugter Zugriff war möglich, der Denial-of-Service-Angriff war nicht erfolgreich und es wurde kein Informationsverlust festgestellt.

Im abschließenden Projektbericht muss unbedingt darauf hingewiesen werden, dass alle Organisationen, die sich als Anbieter von sicheren Online-Assessments aufstellen, in der Lage sein sollten, einem ähnlichen simulierten Angriff standzuhalten. Damit kann zukünftigen Benutzern und Partnern versichert werden, dass die Assessments in einer sicheren Umgebung durchgeführt werden, in der persönliche Daten und Leistungsdaten der Studenten geschützt und unzugänglich für nicht-autorisierte Benutzer sind.


Gespräche mit der NVAO

Category : Uncategorized

Als Fortsetzung der bisherigen Gespräche fand im Mai ein Treffen mit der NVAO (Akkreditierungsorganisation der Niederlande und Flandern) und Risbo (Erasmus-Universität Rotterdam) statt, an dem auch die VU via Skype teilnahm.

Die NVAO zeigte, dass sie offen für neue Entwicklungen in der Online-Bildung ist. Es ist wichtig, den Entwicklungen in der Online-Bildung Raum zu geben und diese durch Rahmenbedingungen zu begrenzen. Die Entwicklungen in der Online-Bildung stellen die bestehenden Ansätze des Etablierungsprinzips und der Makroeffizienz in Frage. Online-Bildung wird nach wie vor nur als Ergänzung gesehen und es ist sogar gesetzlich definiert, dass ein Teil des akkreditierten Bildungsprogramms einen präsenzbasierten Aspekt hat. Bildungsprogramme, die vollständig online angeboten werden, können noch nicht akkreditiert werden. Auch bei akkreditierten Masterstudiengängen, die über MOOCs angeboten werden, finden die Prüfungen in Präsenz statt. Ein MOOC wird als eine Nebenform der Bildung gesehen.

Es ist durchaus möglich, den derzeitigen Bildungsansatz zu ändern. Wenn Institutionen mit innovativen Initiativen arbeiten und es eine breite Unterstützung gibt, kann dies letztendlich zu einer Änderung des Ansatzes und der Akkreditierung des Bildungssystems führen. Neue Programme und Kurse werden von Ausschüssen auf ihre Eignung geprüft. Auch die NVAO ist an der Bewertung von Bildungsprogrammen beteiligt. Im Falle eines Kurses oder MOOC als Teil des Lehrplans, der akkreditiert werden muss, muss dies jedoch über ein externes Review Committee wie z.B. Quanu erfolgen. Die NVAO empfiehlt, darauf zu achten, dass die Zusammensetzung des Ausschusses mit dem zu beurteilenden Thema übereinstimmt.

Darüber hinaus finden auf europäischer Ebene Diskussionen über die Entwicklungen in der Online-Bildung statt. Ein Bericht der ENQA zu diesem Thema wird voraussichtlich noch in diesem Jahr veröffentlicht. Bezüglich der Entwicklungen in der Online-Bildung in Europa verweist die NVAO vorerst auf das TeSLA-Projekt (http://tesla-project.eu/).

Sowohl Risbo als auch die NVAO wollen die gute Zusammenarbeit und die Diskussionen über die neuen Entwicklungen in der Online-Bildung fortsetzen. So wurde das OP4RE-Projekt eingeladen, am E-Learning-Tag der aQAdemy im November teilzunehmen; dort werden Entwicklungen in der Online-Bildung ausgetauscht. Auch das niederländische Ministerium ist eingeladen.


Die Wichtigkeit einer guten Vorbereitung

Category : Uncategorized

Während das Projekt fortschreitet und immer mehr Prüfungen mittels Online-Proctoring durchgeführt werden, sammeln wir als Projektmitarbeiter entsprechend mehr Erfahrung. Die Kommunikation mit den Studenten scheint jedoch ein kritischer Punkt im Prozess der Online-Prüfungen zu sein. Deshalb hat Fontys ein kurzes Video mit allgemeinen Informationen entwickelt, in dem in studentischer Sprache erklärt wird, was Online-Proctoring ist, wie solche Prüfungen funktionieren, welche Videos aufgezeichnet werden, und wie diese Prüfungen bei Fontys stattfinden. Tipps und Tricks, Do’s und Don’ts werden gegeben. Des Weiteren wurde ein Video entwickelt, das die Studenten durch das Startverfahren von ProctorExam führt.

Sehen Sie sich die Videos hier an (niederländische Version):


Update IO5: Privacy

Category : Uncategorized

Übersicht IO5

Um den Schutz der Privatsphäre bei internationalen Online-Proctored (op) Remote-Prüfungen (zunächst für Experimente, später auch für Bachelor und Master) zu gewährleisten, benötigen wir anwaltlich geprüfte, EU-konforme Vertragsvorlagen, alle Arten von Vertragsformularen und Richtlinien für Prüflinge und Tester, um nicht nur konform zu sein, sondern auch alle OP4RE-Akteure wie Akkreditierungsagenturen und Datenschutzbeauftragte zu überzeugen.

Derzeitige Situation

Die erste Aufgabe bestand darin, herauszufinden, welche Informationen (in welchen Dokumenten) wir benötigen, um unsere Ziele zu erreichen. Daher wurden zwei Datenschutzverträglichkeitsprüfungen durchgeführt. Die identifizierten Dokumente sind Risikoakzeptanzformulare, Datenklassifikations- und Verarbeitungsvereinbarungen, Datenschutzrichtlinien. Darüber hinaus sind Richtlinien und Vorlagen für rechtliche Hinweise, Einwilligungstexte und Datenschutzerklärungen erforderlich.

Der nächste Schritt bestand darin, solche Informationen aus verschiedenen Quellen zu sammeln, d.h. aus Datenschutzexperten, EU-Vorschriften und bereits vorhandenem Material aller OP4RE-Partner als Best-Practice-Vorlagen. Jetzt befinden wir uns mitten in der Phase der Infokonsolidierung.

Planung des Jahres 2

Nach der Fertigstellung der zu prüfenden Dokumente erfolgt eine Feinabstimmung durch alle OP4RE-Partner. Parallel dazu beginnen die Experimente. Ziel ist es, papierbasierte Onsite- und Offsite-Untersuchungen (insbesondere zu Hause) miteinander zu vergleichen.


Fortschritt report IO3

Category : Uncategorized

Pierre Beust & Sabine Bottin-Rousseau, von FIED (Fédération Interuniversitaire de l’Enseignement à Distance), haben einen Report über den Fortschritt und die Aktivitäten auf IO3 verfasst, in dem es darum geht, eigene Geräte- und Off-Campus-Prüfungsprotokolle zu erstellen.


Vortschritt IO 4

Category : Uncategorized

Am Mittwoch, dem 6. Dezember 2017, wurde an der Vrije Universiteit Amsterdam das erste groß angelegte Experiment für eine Online-Prüfung durchgeführt. Das Ziel der Studie war es, zu untersuchen, inwieweit die Studenten die Phasen der Einrichtung der Schülercomputer zu Hause erfolgreich durchlaufen und eine Probeprüfung ablegen würden, um die Studentenerfahrung zu optimieren.
Die Zielgruppe bestand aus ca. 600 Bachelor-Studenten im ersten Studienjahr für einen Studiengang Statistik. Die Gruppe wurde nach dem Zufallsprinzip in zwei Gruppen aufgeteilt. Gruppe eins hat die Probeprüfung in der zentralen Prüfungshalle der Universität abgelegt. Gruppe zwei nahm die Probeprüfung zu Hause ab. Die vorläufigen Ergebnisse dieses Experiments zeigen, dass die Studenten ihre Hardware (Computer, Webcam, Bildschirmaufnahme, Mikrofon, Handy) sehr spät vor der eigentlichen Prüfung vorbereiten. Für eine Reihe von Studenten führt dies zu Problemen beim Einloggen in die Proctoring-Sitzung. Da diese Zahl recht hoch war, stellte sich heraus, dass es schwierig war, diese Studenten durch die VU-Proktoren bei der Nutzung der integrierten Chat-Möglichkeiten der Proctoring-Plattform zu unterstützen. Vor allem, weil in der angespannten und kurzen Zeit, in der die Prüfung begonnen werden konnte, die Verständigung, das Verstehen des Problems und das Anbieten von Lösungen sowohl für die Studenten als auch für die Proktoren nicht zufriedenstellend war. Das Experiment zeigte, dass die Schüler in früheren Phasen angeleitet und gedrängt werden müssen, um ihre gesamte Ausrüstung zu überprüfen. Vielleicht sollten Leitlinien entwickelt werden, in denen die Verantwortung für eine technisch erfolgreiche Prüfung zu einem bestimmten Zeitpunkt vor einer eigentlichen Prüfung auf die Studierenden übertragen wird. Dieses Experiment brachte dem OP4RE-Projekt bereits wichtige Lernerfahrungen, die es ermöglichen, zweckmäßige Richtlinien und Regelwerke zu entwerfen.