Reflexionen TEA Konferenz 2017

Silvester Draaijer, Amanda Jefferies und Gwendoline Somers

Online Proctoring for Remote Examination: A State of Play in Higher Education in the EU

Silvester Draaijer, Projektleiter des OP4RE-Projekts, präsentierte den Vortrag ‘Online Proctoring for Remote Examination: A State of Play in Higher Education in the EU’ während der internationalen Konferenz Technology Enhanced Assessment vom 8. und 9. Oktober 2017.

Im Anschluss an die Präsentation nahm Silvester Draaijer gemeinsam mit Vertretern des Erasmus TeSLA-Projekts und Smowltech an einer Diskussionsrunde teil. Die Diskussion wurde in mehreren Kleingruppen geführt, in denen mehrere Themen diskutiert wurden. Insbesondere wurde die Frage diskutiert, ob Online Proctoring sicherer sein sollte als Face-to-Face Proctoring. Wie sicher ist die persönliche Beaufsichtigung? Darüber hinaus stimmten die Konferenzteilnehmer in hohem Maße mit den Zielgruppen überein, die im Hinblick auf die langfristigen Ergebnisse des Erasmus-Programms zur Verbesserung des Zugangs zur Hochschulbildung ausgewählt wurden.

Des Weiteren wurden Fragen zu Technologien für die Integration und wie TeSLA-Funktionalitäten in Kombination mit Online Proctoring funktionieren können, diskutiert. Im Mittelpunkt der Diskussionen standen auch die Unterschiede der Kulturen in den südeuropäischen Ländern und den USA im Gegensatz zu Europa.

– Silvester Draaijer

Die Vorkonferenz-Protokolle mit dem Vortrag finden Sie hier: http://www.teaconference.org/en/contributions-submissions/pre-conference-proceedings/

Die Powerpoint-Präsentation finden Sie hier: https://drive.google.com/file/d/0B0rrO_BjDmhjbXFmMUZEdDZ5b1E/view?usp=sharing

OP4RE @ ICDE, Toronto

Sabine Rousseau und Pierre Beust halten einen Vortrag auf der ICDE, Toronto, 16-19. Oktober 2017. ICDE ist die Weltkonferenz zum Online-Lernen: Lehren im digitalen Zeitalter – Lehren & Lernen neu denken. Im Hinblick auf die sich ändernden Modelle der Bewertung, werden sie einige Experimente Fernprüfung in E-Learning-Programmen.

Online Proctoring: Experimentieren mit Fernprüfung in E-Learning-Programmen

In unserem Referat befassen wir uns mit der Änderung der Prüfungsbedingungen für die in Fernlehrgängen eingeschriebenen Studierenden. Die Evaluierung von Fernlernen auf E-Learning-Plattformen (LMS) kann individuelle und kollektive Aktivitäten durchführen, die jedoch nicht überwacht werden. Bei Prüfungen müssen die Prüfungsbedingungen und die Identitätsüberprüfung so zuverlässig sein, als ob die Prüfung an der Einrichtung stattfinden würde. Heute müssen die meisten Studenten, die sich im Fernstudium eingeschrieben haben, immer zur Universität reisen, um ihre Prüfungen ablegen zu können. In einigen Fällen haben die Universitäten ausländische Partner, die sich für die Prüfungen in der Nähe des Studentenstandorts organisieren können (was für die Organisationen immer noch kostspielig sein kann, weil sie nicht in der Lage sind, es einer größeren Anzahl von Studenten anzubieten, und auch in Bezug auf die Gebühren für die Studenten). Die Schülerinnen und Schüler können die Inkohärenz zwischen Bildungsaktivitäten und Heimbetreuung auf den Online-Plattformen und den Prüfungen, die an der Einrichtung abgelegt werden müssen, nicht mehr nachvollziehen. Wir haben beobachtet, dass viele Fernstudenten ihre Prüfungen nur am Ende des zweiten Semesters in der “Second Chance” -Prüfung ablegen, die somit als einzige Prüfungszeit endet und die Regeln der Fairness für die Studierenden bricht. Dies ist für Studierende, die außerhalb der Universität wohnen und vor allem für ausländische Studierende bzw. berufstätige Studierende leicht verständlich. Die Anreise zu einem Institut kann teuer werden (Auszeit von der Arbeit, Transport, Hotelkosten, Übernachtung…). Für einige Studenten kann diese Einschränkung sogar der Grund dafür sein, dass sie sich nicht für den Kurs anmelden, auch wenn er online angeboten wird. Dieses Problem macht Fernstudium für potenzielle Studenten unattraktiv.

Verschiedene Möglichkeiten der Bereitstellung von Remote-Prüfungen sind jetzt verfügbar und kann dieses Problem mit Bildungs-Alignment lösen. Diese Methoden müssen hinsichtlich ihrer Kosten, ihrer Sicherheit, ihrer Betrugsresistenz, der induzierten Belastung für die Studierenden und der Bedingungen, unter denen sie eingesetzt werden, getestet und bewertet werden. Wir müssen alternative Methoden für die Durchführung von Untersuchungen aus der Ferne erforschen. Wir experimentieren derzeit mit Prüfungsbedingungen, die von einer Webcam im Studentenhaus überwacht werden, und Bildschirmfreigaben für Studenten, die an zwei Universitäten studieren, die Mitglieder der französischen Vereinigung für E-Learning (Fédération Interuniversitaire de l’ Enseignement à Distance – FIED) sind. Diese sind: Die Universität Caen in der Normandie und Die Pierre & Marie Curie Universität Paris. Das Experiment von Caen befasst sich mit Studenten, die einen Master-Abschluss in einem Gesundheitsmanagement-Programm erworben haben. Das Pariser Experiment befasst sich mit allen fernen Programmen, in Mathematik und Physik, vom Bachelor bis zum Master, für bestimmte Kategorien von Studenten nur für dieses erste Jahr des Experimentes.

Diese Experimente finden im Rahmen des Erasmus+ European Project “Online Proctoring For Remote Examination” (OP4RE) statt. Wir werden in dem Papier die ersten Ergebnisse unserer Experimente und ihre Ergebnisse. Wir werden die Ergebnisse der Umfrage, die vor und nach den Prüfungen durchgeführt wurden, präsentieren, um die Auswirkungen des Stresses und die aufgetretenen Schwierigkeiten zu bewerten. Wir werden dann diskutieren, wie es uns gelingt, unsere Experimente zu verallgemeinern.

OP4RE @ der International Technology Enhanced Assessment (TEA) Konferenz 2017

Das OP4RE-Team hat einen Vorschlag für das Online Proctoring for Remote Examination: A State of Play in Higher Education in the EU (Online Proctoring für die Internationale Konferenz 2017 in Barcelona zur Verbesserung der Technologiebewertung) eingereicht. Silvester Draaijer wird dies am 5. und 6. Oktober präsentieren.

Am 6. Oktober wird Silvester Draaijer von 10.00 bis 11.00 Uhr zusammen mit einer Präsentation des TeSLA-Projekts anwesend sein. Von 11:30 bis 13:00 Uhr findet ein Runder Tisch statt, an dem die Mitglieder des Erasmus+ OP4RE-Projekts und des H2020 TeSLA-Projekts sowie andere Mitglieder des Erasmus+ OP4RE-Projekts über aktuelle Fragen der Online-Begleitung diskutieren.

Weitere Informationen finden Sie unter:

http://www.teaconference.org/en/programme/

 

Online-Proctoring-Experiment an der Universität Caen

Nach Online-Kursen, Online-Prüfungen? Die Universität Caen (Normandie) experimentierte zwei Jahre lang mit der Online-Begleitung von Prüfungen. Pierre Beust, Leiter des Multimedia-Bildungszentrums der Universität und Mitglied des OP4RE-Projekts, spricht über seine Erfahrungen und Herausforderungen für die EducPros-Konferenz am Donnerstag, den 19. Oktober 2017, die auf digitale Transformation abzielt.

Die Universität Caen konzentriert sich auf Fernstudierende. Seit Anfang der 2000er Jahre haben diese Kurse dank E-Learning einen großen Paradigmen- und Methodenwechsel erfahren. E-Learning ist zwar gewachsen, seine Bewertung ist aber immer noch ein Problem. Oftmals müssen die Studierenden, die an diesen Lehrveranstaltungen eingeschrieben sind, die Prüfungen an der Hochschule ablegen, an der sie eingeschrieben sind. Für einige dieser Studenten ist es einfach unmöglich, an die Universität zu kommen.

In den Jahren 2015-2016 wurden die ersten Experimente mit Fernbewertung der Studenten durch Online-Proctoring durchgeführt. 189 Untersuchungen wurden in drei verschiedenen Experimenten durchgeführt. Die Aufsicht wurde von Proctor U, einer amerikanischen Firma, übernommen.

Die ersten Ergebnisse sind positiv. Die Erfolgsquoten für diese Prüfungen sind ähnlich wie bei der Klausur. Es wurden keine Fälle von Betrug festgestellt und 90% der Studenten gaben an, dass das Bestehen der Prüfung durch Online-Proctoring weniger anstrengend ist als eine “normale” Prüfung.

Neugierig auf mehr? Lesen Sie den gesamten Artikel auf Englisch oder Französisch.

Behind the Webcam’s Watchful Eye

Die Deskresearch-Phase enthüllte sowohl interessante wissenschaftliche, fachliche als auch allgemeine Informationen und Dokumente. Sieh dir das mal an.

The Chronicle of Higher Education hat einen interessanten Artikel über die Proctoren bei ProctorU veröffentlicht: Hinter dem wachsamen Auge der Webcam, Online Proctoring Takes Hold. Autor Kolowich beschreibt lebendig, was in Räumen voller Proktoren vor sich geht, was sie tun und wie Proktoren beaufsichtigt werden, um einen guten Job zu machen.

Mehr unter: http://www.chronicle.com/article/Behind-the-Webcams-Watchful/138505#sthash.KtyW57ZK.dpuf

Rundbrief 5

Am 9. Mai 2017 organisierten wir unsere erste Online Reach-out Session. Es war eine reichhaltige Lernerfahrung, sowohl auf inhaltlicher als auch auf organisatorischer Ebene. Die Technologie hat uns im Stich gelassen, aber wir nehmen das als Arbeitspunkt für unsere nächste Sitzung. Wir hoffen, dass wir beim nächsten Mal weitere Partner von uns begrüßen dürfen.

Die Einführung begann mit einer Erläuterung der Konzeption des OP4RE-Projekts und des Inhalts des Start-Reports. Nach dieser Erklärung der OP4RE durch den Projektkoordinator Silvester Draaijer stellte Daniel Haven, ProctorExam, sein Proctoring Tool vor. Nach dieser Einführung berichteten 3 Partner über ihre ersten Erfahrungen mit dem Online-Proctoring. Michiel van Diesen (Fontys, Niederlande) teilte seine Erfahrungen mit dem Online Proctoring. Pierre Beust (FIED, Frankreich) hob die Experimente der Home-Proctor-Prüfungen an der Universität Caen hervor. Aus Belgien haben wir das VIVES University College, Abteilung für Fernunterricht, eingeladen. Sie haben eine lange Tradition im Fernstudium und arbeiten mit ProctorExam zusammen, um jährlich etwa 1000 Online-Prüfungen abzuhalten. Um diese Anzahl von Online-Tests zu unterstützen, hat VIVES eigens Personal für die Planung, Verwaltung und Betreuung der Prüfungen eingesetzt. Weitere Informationen und Präsentationen finden Sie auf der OP4RE Website.

In den kommenden Monaten werden wir weiter an intellektuellen Ergebnissen arbeiten und weitere Experimente aufbauen. Wir haben die Erfahrung gemacht, dass wir uns von unseren Planungen unterscheiden, da sich die IOs bezüglich Akkreditierung und Datenschutz für eine strikte lineare Projektplanung nicht sehr gut eignen. Vielleicht werden beim zweiten Transnationalen Treffen im Oktober in Darmstadt einige Verschiebungen vorgenommen. Hinsichtlich der oben genannten Fragen des Datenschutzes und des Datenschutzes setzen wir unsere Bemühungen fort. Die genauen Regeln und Praktiken zur Einhaltung hochsensibler persönlicher digitaler Daten sind noch lange nicht klar. Darüber hinaus hat ProctorExam eine neue Partnerschaft mit der “Associatie voor Examinering” (NL) geschlossen, die bereits Associate Partner des Projektes OP4RE war. Wir beginnen intensivere Gespräche mit ihnen zur Zusammenarbeit.

Online Proctoring Systeme im Vergleich

Im März 2013 veröffentlichten David Foster Caveon von Caveon und Harry Layman vom College Board einen Artikel, der verschiedene Online-Proctoring-Systeme in ihrer Tiefe verglich. Auf den letzten Seiten stellen sie einige allgemeine Befunde vor, in denen sie unterscheiden, welches System für die Höhe der Prüfungshöhen erforderlich wäre. Sehr einfühlsam.

Darüber hinaus berichten sie über den Prozentsatz der proctoring misbehavior Inzidenzen, die typischerweise während der Proctoring Sessions auftreten. Im Projekt OP4RE wird dies als Benchmark herangezogen.

Den vollständigen Bericht lesen Sie hier:

https://ivetriedthat.com/wp-content/uploads/2014/07/Caveon-Test-Security.pdf 

Reach out session 1 – 9. Mai 2017

Am 9. Mai 2017 organisierten wir unsere erste Online Reach-out Session. Wir haben unsere assoziierten Partner eingeladen. Es war eine reichhaltige Lernerfahrung, sowohl inhaltlich als auch organisatorisch. Die Technologie hat uns im Stich gelassen, aber wir nehmen das als Arbeitspunkt für unsere nächste Sitzung.

Begonnen haben wir mit einer Erläuterung der Konzeption des OP4RE-Projekts und des Inhalts des Start-Reports. Dieser Bericht ist der offizielle “Start” unseres Projektes. Wir haben uns mit dem aktuellen Stand der Dinge im Hinblick auf die Online-Betreuung von Fernprüfungen in den teilnehmenden Ländern befasst. Aus dieser Schreibtischforschung haben sich viele Fragen ergeben, die wir derzeit im Projekt bearbeiten. Nach dieser Erklärung des OP4RE Projektkoordinators Silvester Draaijer zeigte uns Daniel Haven von Proctor Exam, wie sie ihr Proctoring Tool einsetzen können. Proctor Exam schließt sich dem OP4RE Projekt an.

Dann bekamen wir eine Erklärung von 3 Partnern über ihre ersten Erfahrungen mit Online Proctoring. Michiel van Diesen (Fontys, Niederlande) teilte seine Erfahrungen mit dem Online Proctoring. Pierre Beust (FIED, Frankreich) hob die Experimente der Home-Proctor-Prüfungen an der Universität Caen hervor. Für das Proctoring wird Proctor U verwendet. Im Jahr 1 (2015-2016): 55 Studenten nahmen teil. Zusätzlich zu den klassischen Prüfungen wurden Blended Learning und Home-Proctoring angeboten. Im Jahr 2 (2016-2017) haben 50 Studenten an einem professionellen Master-Abschluss im Bereich Gesundheit mit 2 oder 3 Prüfungen teilgenommen. Sie waren Studenten, die auf der ganzen Welt verteilt waren. Statt klassischer Prüfungen wurde Hausaufsicht organisiert. Aus Belgien haben wir VIVES eingeladen. In Belgien waren sie die erste (und, soweit uns bekannt, die einzige) Hochschuleinrichtung, die mit der Prüfungsaufsicht begann. VIVES hat eine lange Tradition des Fernunterrichts. Etwa 15 % der Studierenden nehmen an einem Fernstudienprogramm teil (insgesamt etwa 13.000 Studierende). Die Teilnehmer an Fernstudienprogrammen können ihre Prüfungen im Prüfungszentrum in Kortrijk ablegen oder online per Proctoring absolvieren. Für das Proctoring arbeitet VIVES mit ProctorExam zusammen, einem der Partner des OP4RE Projektes.

Anhänge:

E-Assessment: commissioning, implementing and delivering

Daniel Haven und Amanda Jefferies vertraten das OP4RE Projekt heute auf der 15. jährlichen E-Assessment Konferenz und Ausstellung. Der Schwerpunkt dieser Konferenz lag auf der computergestützten Bewertung, die seit den Anfängen der automatischen Testveröffentlichung und -zertifizierung stark gewachsen ist. Wir haben Entwicklungen wie papierlose Prüfungsprojekte, E-Proctoring, offene Abzeichen, soziale Medien, BYOD, das Wachstum von E-Portfolios, die Verbreitung von Fragetypen, den Aufstieg von Regierungsinitiativen und -politiken nach dem Wandel von FELTAG, Sainsbury und Curriculum, die Erwartungen der Digital Natives und den raschen Technologiewandel erlebt.

Der Weg war langwierig und unaufhaltsam, aber kaum reibungslos, die Notwendigkeit, Risiken und Kosten zu managen, so wichtig wie Innovationskraft und die Erwartungen der Anwender.

Der Fokus der 15. internationalen e-Assessment-Frage lag auf den praktischen Fragen der Inbetriebnahme, Implementierung und Bereitstellung von e-Assessment-Lösungen.

Weitere Informationen finden Sie unter:

http://www.e-assessment-question.com/