elektronische Prüfungen an der RUB

Inhalt

• Beratung und Unterstützung zur Konzeption und Vorbereitung von Online-Prüfungen
• Handlungsfelder digitaler Prüfungen: Recht, Technik, Didaktik und Organisation
  
• Nachteilsausgleiche bei elektronischen Prüfungen
• Didaktische Planung
  
• Auswahl der Tools
• Raum- und Zeitplanung
• Erstellung der Prüfung
• Testen der Prüfung
• Informieren der Studierenden über Prüfungsorganisation, -abläufe und technische Bedienung

Beratung und Unterstützung zur Konzeption und Vorbereitung von Online-Prüfungen

Überblick

Allgemeine Beratung zu elektronischen Prüfungen sowie Beratung zur Performance-Optimierung von STACK-Fragen für Online-Prüfungen bietet Ihnen das E-Assessment-Team von IT.SERVICES unter: e-assessment@rub.de

Didaktische Beratung leistet das Zentrum für Wissenschaftsdidaktik. Insbesondere für Fragen zur Verwendung von Moodle oder zu alternativen Prüfungsformaten steht Ihnen das eLearning-Team des ZfW zur Seite: rubel@rub.de

Für hochschuldidaktische Fragen der Prüfungsgestaltung (z.B. Konstruktion von Multiple-Choice-Items, Entwicklung von Prüfungsfragen) können Sie sich an das Team der Hochschuldidaktik im ZfW wenden: https://www.zfw.rub.de/hd/

Prüfungsrechtliche Fragen richten Sie bitte an das Dezernat 1, Abteilung 1: https://einrichtungen.ruhr-uni-bochum.de/de/abteilung-1-lehre-informations-und-qualitaetsmanagement

Monatliche Kurzeinführungen

Folgende Kurzeinführungen werden monatlich angeboten:

• Formativ prüfen mit Moodle
• Kompetenzorientiert prüfen mit Moodle
• Online-Prüfungen konzipieren und umsetzen
• Open-Book-Prüfungen konzipieren und umsetzen
• Peer-Review – Studierende bewerten sich gegenseitig
• Tests und Aufgaben in Moodle

Im Fortbildungsportal können Sie sich für diese und weitere Kurzeinführungen kostenfrei anmelden.

Verpflichtende Beratung zum Fragetyp STACK

Wenn Sie planen, in Ihrer elektronischen Prüfung den Fragetyp STACK einzusetzen, ist die Teilnahme an einem unserer STACK-Prüfungs-Workshops mindestens 4 Wochen vor dem Prüfungstermin notwendige Voraussetzung für die Durchführung der Prüfung. Wenn Sie nicht an einem der STACK-Prüfungs-Workshops teilnehmen können, vereinbaren Sie bitte stattdessen mindestens 4 Wochen vor dem Prüfungstermin ein Beratungsgespräch zu STACK-Prüfungen mit uns.

Bei den STACK-Prüfungs-Workshops geht es in erster Linie darum, die STACK-Nutzung im Bezug auf Systemstabilität und Serverauslastung hin zu optimieren. Das technische Funktionieren von STACK-Prüfungen ist voraussetzungsreich und bedarf daher einer entsprechenden Schulung zur Performance-Optimierung.

🔝

Handlungsfelder digitaler Prüfungen: Recht, Technik, Didaktik und Organisation

Nachteilsausgleiche bei elektronischen Prüfungen

Bitten Sie die Studierenden, denen Nachteilsausgleiche zustehen, sich frühzeitig bei Ihnen zu melden.

Bitte stellen Sie ihre Anfragen zur Koordination und Durchführung von Nachteilsausgleichen an die Kontaktstelle barrierefreie Prüfungen: kobap@ruhr-uni-bochum.de.

Wenn im Rahmen eines Nachteilsausgleichs längere Bearbeitungszeiten gewährt werden, können Sie bei Test-Aktivitäten in Moodle entsprechende nutzer- oder gruppen-spezifische Einstellungen vornehmen.

Informationen zu Inklusion und Barrierefreiheit im Zusammenhang mit elektronischen Prüfungen finden Sie hier: Inklusion und Barrierefreiheit

Didaktische Planung

Die Ziele der Prüfung bestimmen

Was ist das Ziel Ihrer Prüfung? Das ist die erste Frage, die Sie sich stellen sollten, denn es lohnt sich bewusste und unbewusste Ziele zu reflektieren.

Hier eine Auswahl von möglichen Zielen einer Prüfung:

• Überprüfen von Wissen und Kompetenzen
• Sortierung und Segmentierung (Ranglisten)
• Selektion
• Markierung von Übergängen (vom Novizen zum Experten, vom Bachelor zum Master)
• Rückmeldung an die Studierenden
  
• Evaluation der Lehre

Abstimmung der Prüfungsziele auf die Unterrichtsgestaltung

Im besten Fall sind die Lernziele, die Unterrichtsinhalte und -gestaltung und die Prüfung gut aufeinander abgestimmt. Das Modell des Constructive Alignment nimmt das in den Blick und hilft Ihnen bei der Umsetzung in Ihren Lehrveranstaltungen. Die Frage „kommt das in der Prüfung dran?“ sollte im Sinne des Constructive Alignments also stets mit ja beantwortet werden können, da die vermittelten Inhalte stets auf die Lernziele einzahlen und die Prüfung überprüft, inwieweit die Lernziele von den Studierenden erreicht wurden.

Weitere Informationen

• zum Constructive Alignment (LEHRE LADEN)
• zur Formulierung von Lehr- und Lernzielen (LEHRE LADEN)
• Videoserie zum Thema kompetenzorientiert lehren und prüfen (vom Medienbüro der TH Köln auf YouTube)

Was macht eine gute Prüfung aus?

Die Gütekriterien einer Prüfung sind vergleichbar mit der einer Studie:

• Objektivität: Unterschiedliche Prüfer*innen kämen bei derselben Prüfung bei derselben geprüften Person zum gleichen Ergebnis und die Voraussetzungen sind für alle Studierenden gleich.
• Reliabilität: Wiederholte Prüfungen ergeben übereinstimmende Bewertungen.
• Validität: Die Prüfung prüft das, was sie zu prüfen vorgibt.

Erstellen eines Prüfungs-Blueprints

Ein Prüfungs-Blueprint ist ein gewichtetes Inhaltsraster der Prüfungsinhalte, nach dem alle Prüfungen zusammengesetzt werden. Der Blueprint kann eine oder auch mehrere Dimensionen enthalten.

Vorteile eines Prüfungs-Blueprints

• hilft bei der Inhaltsfestlegung
• gewichtet die Prüfungsthemen
• gewährleistet repräsentative Themenauswahl
• erhöht Reliabilität und Validität
  
  

Beispielschema für einen Prüfungs-Blueprint

Weitere Informationen

• Auszüge aus einem Onlineworkshop von Dr. Andreas Burger vom Zentrum für medizinische Lehre zu (Multiple-Choice-)Prüfungen in Moodle (LEHRE LADEN)

🔝

Auswahl der Tools

Für die Umsetzung einer elektronischen Klausur bietet Ihnen Moodle zwei Tools: Aufgabe und Test.

Die Aufgabe ist das geeignete Tool für eine offene Klausur, bei der die Studierenden Dokumente erstellen und hochladen sollen. Die Studierenden erhalten die Aufgabenbeschreibung und gegebenenfalls zusätzlich Dateien und schreiben Ihre Lösungen direkt in ein Textfeld oder laden sie als Datei hoch. Als Prüfungsverantwortlicher können minutengenau einstellen, wann die Aufgabe freigeschaltet wird und wie lange die Studierenden ihre Lösung hochladen dürfen.

Die Aufgabe gibt Ihnen einen schnellen Überblick über die eingereichten Lösungen und mithilfe der PDF-Annotations-Funktion können Sie Anmerkungen direkt in den eingereichten PDFs hinterlegen. Diese können Sie zusammen mit der Bewertung den Studierenden zur Einsicht freigeben. Alle Bewertungen finden Sie übersichtlich tabellarisch aufgeführt. Sie lassen sich zudem exportieren und zum Beispiel in Excel weiter verarbeiten.

Im Test können Sie sowohl offene (z.B. Freitextfragen), halboffene (z.B. Lückentext) und geschlossene Fragen (z.B. Multiple-Choice-Fragen) anlegen. Damit lassen sich mit dem Test auch Prüfungen erstellen, die vom System vollständig automatisiert bewertet werden können. Und auch Prüfungsvarianten sind mit dem Test in Moodle kein Problem. So können Sie Fragen in Kategorien zusammenfassen und aus einer Kategorie zufällig eine bestimmte Anzahl von Fragen anzeigen lassen.

Der Test bietet Ihnen diverse Einstellungsmöglichkeiten. Hier nur einige Beispiele, die zeigen, wie sehr Sie den Test an Ihre eigenen Bedürfnisse anpassen können:

• Sie können den Zugriff zeitlich beschränken.
• Sie können festlegen, dass bestimmte Fragen in einer festgelegten Reihenfolge erscheinen, andere aber zufällig durchmischt werden.
• Sie können bei halboffenen Fragen mehrere Lösungen als richtig oder teilweise richtig akzeptieren und im Nachhinein noch weitere richtige Antworten aufnehmen.
• Sie können die Fragen unterschiedlich gewichten.
• Sie können Bewertungsraster und Erwartunghorizonte für die Korrekteure hinterlegen.
• Sie können die Statistikfunktion zu Rate ziehen, um Fragen für weitere Durchgänge zu optimieren.

Aufgabe oder Test – für welches Tool sollten Sie sich entscheiden?

Um schnell zur richtigen Entscheidung zu gelangen, haben wir Ihnen ein paar Leitfragen formuliert, die als Entscheidungshilfe dienen, ob Aufgabe oder Test das geeignete Tool für Sie ist.

• Soll in Ihrer Prüfung eine Frage automatisch auf die richtige Lösung abgeglichen werden oder handelt es sich ausschließlich um offene Fragen, die eine manuelle Korrektur erfordern? Wenn Sie auch nur eine Frage in Ihrer Prüfung haben, die automatisch bewertet werden soll, kommen Sie am Test nicht herum.
  
• Möchten Sie direkt in den hochgeladenen PDF-Dateien Ihrer Studierenden in Moodle Anmerkungen einfügen? Dann ist die Aufgabe für Sie richtig. Aber auch im Test können Dateien von den Studierenden hochgeladen werden.
• Haben Sie mehrere Personen, die die Prüfung korrigieren? Dann könnte der Test das passende Tool für Sie sein. Denn hier ist es möglich, sich die Korrektur nicht nach Studierenden, sondern nach Aufgaben aufzuteilen. Damit ist die Bewertung einheitlicher für alle Studierenden.
• Möchten Sie Fragen für spätere Prüfungen erneut nutzen? Dann könnte der Test das geeignete Tool sein, da Sie hier einen schnellen Überblick über den Schwierigkeitsgrad und die Trennschärfe der Teilaufgaben erhalten.

🔝

Raum- und Zeitplanung

Raum- und Zeit spielen auch bei elektronischen Prüfungen eine bedeutende Rolle. Entscheiden Sie sich für die elektronische Präsenzprüfung, geben Sie den Raum vor, sodass Sie annähernd gleiche Bedingungen für alle Studierenden schaffen und Sie für alle Studierenden zugegen sind, wodurch sich eine Beobachtung der Prüfungssituation und gegebenenfalls eine direkte Kommunikation bei Fragen und Problemen ergeben. Demgegenüber haben Sie bei der Online-Distanzprüfung keinen Einfluss auf den Raum der Studierenden. Dieser hat jedoch die Möglichkeit, den Raum an seine Bedürfnisse für die Prüfung optimal anzupassen. In beiden Fällen empfehlen wir, eine Probeprüfung anzubieten, um (technische) Probleme frühzeitig zu erkennen und zu lösen.

Bei den elektronischen Präsenzprüfungen ist der Zeitpunkt der Prüfung organisatorisch relevant, da der Prüfungsraum in dieser Zeit frei sein muss und Service-Personal für die Unterstützung vor Ort verfügbar sein muss. Auch bei den Online-Distanzprüfungen ist eine frühzeitige Planung notwendig. Um das Prüfungssystem möglichst störungsfrei zu halten, ist die Anzahl an gleichzeitig stattfindenden Prüfungen auf 3 begrenzt.

Beantragen einer elektronischen Prüfung

Wenn Sie an der RUB eine elektronische Prüfung durchführen möchten, müssen Sie Ihre elektronische Prüfung zunächst über das Online-Formular beantragen. Die gleichzeitigen Prüfungstermine sind begrenzt, um die Prüfungen möglichst störungsfrei ablaufen lassen zu können.

Sobald Sie eine elektronische Prüfung über das Online-Formular beantragt haben, prüfen wir Ihren Antrag und unsere verfügbaren Kapazitäten. Sie erhalten eine Bestätigung des Prüfungstermins und wir richten Ihnen einen Prüfungs-Kurs auf Online-Exam ein, wenn Kapazitäten frei sind. Sollte zu Ihrem Wunschtermin keine Prüfung möglich sein, nehmen wir mit Ihnen Kontakt auf und vereinbaren einen alternativen Termin.

Ob an Ihrem Wunschtermin bereits andere Prüfungen angesetzt sind, können Sie über den öffentlichen Kalender für elektronische Prüfungen einsehen. Zeitgleich sollen nicht mehr als 3 elektronische Prüfungen auf demselben System stattfinden.

Erstellung der Prüfung

Für die Erstellung Ihrer Klausur bietet Ihnen Moodle eine große Vielfalt an Fragetypen. Neben automatisch auswertbaren Fragetypen für geschlossene und halboffene Fragen wie Multiple-Choice-Fragen oder Lückentexte gibt es mit der Freitext-Frage und der Freihandzeichnung auch Fragetypen für offene Fragen, die im Anschluss manuell korrigiert werden müssen.

Zu den einzelnen Fragetypen finden Sie Anleitungsvideos auf unserem YouTube-Kanal "Captain Moodle". 

Testen der Prüfung

Das Testen der Prüfung ist entscheidend, um Fehler schnell sichtbar zu machen und im besten Fall vor der realen Prüfungssituation zu lösen. Das ist umso entscheidender, weil Ihre Studierenden in der Prüfungssituation bereits angespannt sein dürften und oft ein Zeitdruck besteht. Daher empfehlen wir jede Prüfung im Vorfeld ausgiebig auszuprobieren. Diese Tests umfassen mehrere Ebenen. Neben der technischen Perspektive kommen zum Beispiel auch noch rechtliche und didaktische oder die Frage nach Barrierefreiheit hinzu. Wir haben Ihnen hier eine Liste mit Fragen zusammengestellt, die Sie bei Ihren Tests berücksichtigen können:

• Prüfen die Fragen die Lernziele ab?
• Deuten Formulierungen oder unlogische Falschantworten auf die richtige Lösung hin, sodass die Aufgabe auch ohne Wissen und Können richtig beantwortet werden kann?
• Ist der Schwierigkeitsgrad der Aufgaben angemessen?
• Ist die Bearbeitungszeit angemessen?
• Sind die Fragen gut zueinander gewichtet?
• Wenn Sie Zufallsfragen verwenden: Haben die Fragen den gleichen Schwierigkeitsgrad?
• Sind die Einstellungen so gewählt, wie Sie es wollten? (z.B. Zeitbeschränkung, Anordnung der Fragen)
• Funktioniert der Zugriff für Ihre Studierenden? (z.B. mit einer kleineren Bildschirmauflösung oder mit einem Screenreader)

Wie Sie sehen, gibt es eine Menge Fragen, die man sich stellen kann. Und es gibt unterschiedliche Strategien, um mit einem zuversichtlichen Gefühl in die Prüfung zu gehen:

• Erstellen Sie Prüfungsfragen in kollegialer Zusammenarbeit und lassen Sie Prüfungsfragen kritisch begutachten. Das kann durch Kolleginnen und Kollegen an der RUB oder auch an anderen Hochschulen erfolgen.
• Lassen Sie die Kollegen vom Zentrum für Wissenschaftsdidaktik auf Ihre Klausur schauen und holen Sie sich Tipps zur didaktischen Konzeption und zur Umsetzung in den Einstellungen.
• Nehmen Sie mit den Kolleginnen und Kollegen von IT.Services Kontakt auf, wenn Sie eine technisch anspruchsvolle Klausur planen, zum Beispiel wenn Sie den mathematischen Fragetypen Stack verwenden.
• Machen Sie einen Testlauf mit Ihren Studierenden. Hier steht weniger die inhaltliche Auseinandersetzung im Mittelpunkt, sondern es geht darum, Abläufe zu verinnerlichen und technische Probleme aufzudecken. Achten Sie dabei darauf, der finalen Prüfung so nah wie möglich zu kommen, also zum Beispiel die gleichen Fragetypen wie in der Prüfung zu verwenden. Um gleich mehrere Fliegen mit einer Klappe zu schlagen, können Sie Ihren Studierenden die Aufgabe stellen, Klausurfragen selbst zu erstellen. Hierdurch setzen sich Ihre Studierenden mit dem Stoff auseinander, Sie erhalten eine Rückmeldung über den Wissensstand und mögliche Fehlannahmen Ihrer Studierenden und Ihr Fragenpool wächst weiter.

🔝

Informieren der Studierenden über Prüfungsorganisation, -abläufe und technische Bedienung

Durchführung einer Probeprüfung

Die Studierenden sollten Gelegenheit haben, sich vor der eigentlichen Prüfung mit den technischen Gegebenheiten und den möglichen Aufgabentypen in Moodle vertraut zu machen, z.B. über Probeprüfungen. Solche Probeprüfungen müssen keine fachlichen Ansprüche erfüllen, sondern sollen lediglich dazu dienen, dass alle Studierenden sich vorher praxisnah orientieren können, wie eine Online-Prüfung durchgeführt wird.

Wir haben für Sie folgenden Moodle-Kurs zusammengestellt: Praktischer Orientierungskurs: Prüfungen mit Moodle-Quiz

In diesem Kurs können sich Lehrende und Studierende zur Vorbereitung auf elektronische Prüfungen orientieren, wie die gängigsten Fragetypen in der Testaktivität von Moodle (Moodle-Quiz) zu bedienen sind.
Ein Zugangskennwort zur Einschreibung in den Kurs wird nicht benötigt. Es werden keine besonderen Vorkenntnisse vorausgesetzt.

Alternativ bietet es sich selbstverständlich auch an die Probeprüfung auch für ein formatives Feedback zu nutzen und inhaltlich sinnvoll zu gestalten. Dem steht häufig der Aufwand für die Erstellung von weiteren inhaltlich gehaltvollen Aufgaben gegenüber. Unser Tipp: Lassen sie die Aufgaben von Ihren Studierenden erstellen, indem zum Beispiel Leistungen wie Referate hierdurch erweitert oder ersetzt werden. Das hilft den Studierenden, die anspruchsvolle Aufgaben erstellen, indem sie ihr Wissen festigen und Ihnen, da Ihr Fragenpool weiter wächst und Sie eine Rückmeldung zum Verständnis Ihrer Studierenden erhalten. Und vielleicht ist ja auch eine Frage dabei, die es in eine zukünftige Klausur schafft.

Anleitungen für Studierende

Wir haben eine Anleitung mit den wichtigsten Informationen zu Online-Prüfungen für die Studierenden auf deutsch und englisch erstellt. Geben Sie sie gerne vor der Prüfung an Ihre Studierenden weiter.