Test d’éligibilité en ligne de mathématiques 2018

La gestion d’un flux diversifié d’étudiants étrangers ou nationaux peut représenter un véritable défi pour les universités. C’est pourquoi, en partenariat avec plusieurs universités néerlandaises, SOWISO va commencer à offrir aux futurs étudiants de première année un test de mathématiques en ligne pour montrer que leur maîtrise des mathématiques est suffisante pour être éligible à l’inscription.

Pour s’assurer qu’il n’y a pas de tricherie, le test sera surveillé avec l’aide de ProctorExam et OP4RE, ce qui signifie que les étudiants seront surveillés pendant le test.

Le contenu du test a été élaboré par un petit groupe d’experts universitaires en enseignement des mathématiques pour converger vers un test dont la validité et la fiabilité sont largement acceptées aux Pays-Bas. L’offre de ce test en tant que pilote a commencé au début du mois de mai 2018. Plus de détails, cf. notre site web.

Actuellement, les premiers candidats ont passé ce test en ligne. Exprimé en chiffres, nous voyons maintenant ce qui suit :

• Environ 80 étudiants de la Vrije Universiteit se sont vu offrir la possibilité de passer un test d’éligibilité en mathématiques aux Pays-Bas ou en ligne.
• Environ 35 étudiants ont exprimé leur intérêt à passer ce test sur la plateforme en ligne de PassYourMath.
• Une vingtaine d’étudiants se sont inscrits aux modules de préparation au test en ligne pour s’habituer à la plateforme (contenu et niveau de difficulté des questions, méthode de saisie des réponses).
• Environ 10 étudiants se sont inscrits pour passer le test supervisé en ligne jusqu’à présent. Environ la moitié d’entre eux ont eu des difficultés à mettre en place le test correctement. Il s’est avéré qu’en raison d’une restriction Internet imposée par le pays dans lequel le candidat résidait, il n’était pas toujours possible d’utiliser la webcam.
• Aucun cas de soupçon de fraude n’a été identifié. Tous les élèves ont reçu un certificat de réussite par PassYourMath.
• Environ 7 d’entre eux ont obtenu un score suffisant comme seuil d’éligibilité.
• Le premier certificat a maintenant été vérifié comme moyen d’accorder à un étudiant l’accès à la Vrije Universiteit.

Le développement de cette initiative montre que la surveillance en ligne sert bien l’objectif d’accroître l’accès à l’enseignement supérieur. C’est exactement l’objectif principal du financement Erasmus. Aucun processus n’a encore été automatisé en ce qui concerne l’inscription des étudiants et les étudiants doivent signer le PassYourMath et ProctorExam avec un seul compte. Ce projet pilote montre cependant la demande d’étudiants potentiels pour la surveillance en ligne. Le développement montre également la faisabilité des procédures et des technologies appliquées. Au cours de l’année à venir, le projet pilote sera mis à l’échelle.

Préparer les étudiants à un examen supervisé en ligne.

Au fur et à mesure que le projet progresse et que de plus en plus d’évaluations ont lieu par le biais de la surveillance en ligne, nous – l’équipe du projet – avons acquis plus d’expérience. La communication avec nos étudiants semble être une question critique dans le processus d’organisation et de mise en place de la surveillance en ligne des examens. En conséquence, Fontys a développé une courte vidéo dans laquelle ils expliquent en ” langage étudiant ” ce qu’est le proctoring en ligne, comment fonctionnent de telles évaluations, quelles vidéos sont enregistrées et le processus global d’évaluation en ligne chez Fontys. Des trucs et astuces, des choses à faire et à ne pas faire sont donnés. De plus, ils ont également développé une vidéo pour guider les étudiants à travers la procédure de démarrage de ProctorExam.

Rencontre avec le panel d’étudiants de l’université VU

Le jeudi 12 avril, Silvester Draaijer et Robin van der Wiel ont présenté le projet OP4RE et le concept d’examens supervisés en ligne au panel d’étudiants de l’université VU. En guise d’introduction au sujet, les étudiants ont regardé une vidéo réalisée par ProctorExam afin de comprendre le fonctionnement du système. Les étudiants ont rapidement commencé à réfléchir de manière critique à la surveillance en ligne et ont posé des questions telles que : ” Quelqu’un va-t-il regarder toutes les séquences vidéo ? comment mes séquences vidéo sont-elles traitées ? et pourquoi les pauses toilettes ne sont-elles pas autorisées pendant l’examen surveillé en ligne ? Après que Silvester ait expliqué un peu plus sur le système, la parole a été ouverte pour une discussion sur les questions de protection de la vie privée concernant le système.

La plupart des élèves ont fait remarquer qu’ils ne se sentiraient pas à l’aise si quelqu’un surveillait chacun de leurs mouvements. Dans un centre d’examen universitaire, il y a un surveillant par tranche d’une vingtaine d’étudiants ; être surveillé un à un se sent extrême. Les étudiants ont également reconnu les aspects positifs du système. Il permet aux étudiants qui sont à l’étranger ou qui ne peuvent pas se rendre à l’université de passer les examens en toute sécurité à partir d’un endroit éloigné. On peut conclure du panel d’étudiants qu’il est très important d’informer les étudiants. Ils veulent savoir comment le système fonctionne et comment leurs séquences vidéo sont traitées. Les remarques du panel d’étudiants seront prises en considération pendant le reste du projet OP4RE.

Online proctoring Université de Hasselt

Dans le magazine UHasselt du mois de juin, un article a été publié sur le proctoring en ligne de l’Université de Hasselt.
Cet article décrit le projet OP4RE et présente brièvement la situation à UHasselt.
Article disponible uniquement en néerlandais.

UHasselt Magazine, Juin 2018 (3).

Consultation avec NVAO

Poursuivant les conversations précédentes, Risbo ont rencontré en mai dernier la NVAO (Accreditation Organisation of the Netherlands and Flanders) à l’Université Erasmus de Rotterdam, à laquelle l’UEV a assisté via skype. La NVAO s’intéresse aux développements de l’éducation en ligne, d’autant plus que les changements actuels dans le domaine de l’éducation remettent en question les approches existantes du principe d’établissement et les principes d’efficacité macroéconomique. L’éducation en ligne est toujours considérée comme un complément à la formation présentielle, ce qui est légalement défini par la loi. Les programmes entièrement en ligne (formation et évaluation) ne peuvent pas être reconnus par la loi. Même dans un programme de master offert en ligne via un MOOC, l’examen a lieu sur le campus.

Il est possible de modifier l’approche actuelle. S’il existe un soutien suffisant de la part des instituts de formation qui développent des initiatives innovantes, des changements peuvent avoir lieu. Les nouveaux programmes et cours sont approuvés par les commissions. La NVAO est impliquée dans le cas du programme, alors qu’avec les cours, des commissions externes sont impliquées, comme Quanu. Il est conseillé de vérifier l’expertise de la commission qui relie le contenu du cours.

En outre, il y a des converses sur l’évolution au niveau européen. Au cours de cette année, un rapport de l’ENQUA devrait être publié. Pour l’instant, la NVAO suggère de suivre le projet TeSLA pour les développements actuels en Europe.

Risbo et NVAO veulent continuer la coopération agréable continuer ces conversations sur les développements actuels qui émergent du domaine de la formation. Ainsi, OP4RE est invité à une journée d’apprentissage en ligne en novembre, au cours de laquelle les développements de l’éducation en ligne seront discutés, le ministère néerlandais est invité à y participer.

Tester la capacité de piratage du site Web d’examens en ligne ProctorExam

Tester la capacité de piratage du site Web d’examens en ligne ProctorExam à l’aide de techniques de test de pénétration de logiciels.

En mars 2018, l’équipe du projet OP4RE de l’Université du Hertfordshire, en la personne du Dr Stilianos Vidalis et de ses associés, a mis en place les moyens de tester le potentiel de pénétration illégale du site Web ProctorExam.

Dans la proposition de projet Erasmus+ originale soumise en mars 2016, nous avions identifié cette activité comme un domaine important à explorer, conformément à l’identification des futures lignes directrices à présenter dans le rapport final sur la sécurité. L’objectif de cet exercice était donc de démontrer si un étudiant en ligne typique serait capable d’accéder à une zone non protégée des serveurs ProctorExam et de pénétrer illégalement dans la sécurité de tout aspect des systèmes d’évaluation en ligne. Bien entendu, le système Proctor Exam fonctionne déjà avec son propre système sécurisé conçu pour contrer les attaques professionnelles typiques et autres tentatives de piratage.

La norme PTES (Penetration Testing Execution Standard) a été utilisée conjointement avec les méthodologies de l’Open Web Application Security Project (OWASP) comme base de référence pour la réalisation des tests par Stilianos.

Le processus exige l’accord initial des cas d’utilisation typiques et des scénarios pour identifier des exemples de personnes susceptibles de vouloir attaquer ou pirater le système d’évaluation en ligne, et leur motivation, soit pour voler ou modifier les données stockées sur le site, soit pour entraver gravement l’activité légitime. Pendant une période de 24 heures, des tentatives intenses et persistantes ont ensuite été faites pour accéder illégalement aux serveurs ProctorExam, mais aucun accès non autorisé n’a été possible, l’attaque par déni de service n’a pas été couronnée de succès et aucune fuite d’information n’a été détectée.

Il sera important de noter dans le rapport final du projet que toutes les organisations fournisseurs d’évaluations en ligne sécurisées devraient être capables de résister à une attaque simulée similaire afin de garantir aux futurs utilisateurs et partenaires que les évaluations sont effectuées dans un environnement sécurisé où les données personnelles des étudiants et les détails de leurs performances sont protégés et inaccessibles aux utilisateurs non autorisés.

Le prix du jury au colloque international de la FIED

Lors du colloque international de la FIED tenu à Paris les 13 et 14 décembre 2017, le projet OP4RE a été présenté lors d’une table ronde à laquelle ont participé Silvester Draaijer, Daniel Haven, Sabine Bottin-Rousseau et Pierre Beust.
A noter également qu’il était organisé en amont du colloque un concours de vidéos intitulé “Mon innovation en EAD” dont les prix ont été décernés pendant le colloque.
L’expérimentation de télésurveillance d’examens à domicile réalisée à Caen dans le cadre de l’IO3 de OP4RE a remporté de le prix du jury de ce concours.
La vidéo est accessible, cliquez ici.

Update IO 5: Privacy

Résumé de l’IO5

Afin de garantir le respect de la vie privée lors d’examens internationaux à distance (op) surveillés en ligne (d’abord pour les expériences, ensuite également pour le Bachelor et le Master), nous avons besoin de modèles de contrats conformes à la législation européenne, de tous types de formulaires d’accord et de directives pour les candidats et les testeurs, non seulement pour être conformes, mais aussi pour convaincre toutes les parties prenantes de l’OP4RE, comme les agences d’accréditation et les responsables de la protection des données.

Situation actuelle

La première tâche consistait à déterminer quelles informations (à l’intérieur de quels documents) nous avions besoin pour atteindre nos objectifs. Par conséquent, deux évaluations des facteurs relatifs à la vie privée ont été effectuées. Les documents identifiés sont les formulaires d’acceptation des risques, les accords de classification et de traitement des données, les politiques de confidentialité. De plus, des lignes directrices et des modèles pour les avis juridiques, les textes de consentement et les déclarations de confidentialité sont requis.

L’étape suivante consistait à collecter ces informations auprès de différentes sources, qui sont des experts en matière de protection des données, les réglementations de l’UE et le matériel existant de tous les partenaires OP4RE en tant que modèles de bonnes pratiques. Maintenant, nous sommes au milieu de la phase de consolidation des informations.

Planification de la deuxième année

La finalisation des documents à examiner est suivie d’une mise au point par tous les partenaires OP4RE. En parallèle, les expériences commenceront. L’objectif est de comparer les examens sur place et hors site (surtout à la maison) sur papier.

Mise à jour IO3: Bring your own device/ off-campus examination protocol

Pierre Beust & Sabine Bottin-Rousseau, de FIED (Fédération Interuniversitaire de l’Enseignement à Distance), ont rédigé un rapport sur l’état d’avancement et les activités de l’IO3 sur bring your own device et des protocoles d’examens hors campus.

Mise à jour IO4

Mercredi dernier, le mercredi 6 décembre 2017, la première expérience à grande échelle pour un examen surveillé en ligne a été menée à la Vrije Universiteit Amsterdam. Le but de l’étude était d’examiner dans quelle mesure les étudiants franchiraient avec succès les étapes de la mise en place des ordinateurs des étudiants à la maison et de passer un examen d’essai à la lumière de l’optimisation de l’expérience étudiante.
Le groupe cible était composé d’environ 600 étudiants en première année de baccalauréat pour un cours de statistique. Le groupe a été divisé au hasard en deux groupes. Le premier groupe a passé l’examen d’essai dans la salle d’examen centrale de l’université. Le groupe 2 a passé l’examen d’essai à la maison. Les résultats préliminaires de cette expérience montrent que les étudiants préparent leur matériel informatique (ordinateur, webcam, écran d’enregistrement, microphone, téléphone portable) à un stade très avancé avant l’examen proprement dit. Pour un certain nombre d’étudiants, cela entraîne des problèmes lors du processus de connexion à la session de suivi. Comme ce nombre était assez élevé, il s’est avéré difficile d’aider ces étudiants par les surveillants VU en utilisant les possibilités de chat intégrées de la plate-forme de surveillance. D’autant plus qu’au cours de la courte et tendue période pendant laquelle l’examen pouvait commencer, communiquer clairement, comprendre le problème et fournir des solutions n’était pas satisfaisant pour les étudiants et les surveillants. L’expérience a montré que les élèves ont besoin d’être guidés et incités à vérifier tout leur équipement plus tôt. Il faudrait peut-être élaborer des lignes directrices dans lesquelles la responsabilité d’un examen technique réussi serait transférée aux étudiants à un certain stade avant l’examen proprement dit. Cette expérience a déjà permis au projet OP4RE d’acquérir d’importantes expériences d’apprentissage qui permettront de concevoir des lignes directrices et des recueils de règles adaptés aux besoins.