Schlagwort: eAssessment

Hamburger eLearning-Magazin 07: eAssessment

Die jüngste Ausgabe des Hamburger eLearning-Magazins präsentiert “eAssessment auf dem Prüfstand”. Die Anforderungen an elektronische Prüfungen sind hoch. Für einige Universitäten gar so hoch, dass sie zunächst einmal vor dem Aufwand ihrer Einführung zurückschrecken. Dennoch führen verschiedene Universitäten und Hochschulen teilweise bereits seit Jahren ePrüfungen durch und haben mittlerweile einiges an Erfahrung sammeln können. In den Beiträgen des eLearning-Magazins sind nun einige Erfahrungsberichte versammelt, die typische Praxisprobleme aufzeigen und zu teils überraschenden Ergebnissen auch für solche Studiengänge kommen, für die ePrüfungen zunächst keine geeignete Möglichkeit darzustellen scheinen. Die Ausgabe ist im Dezember 2011 erschienen und frei verfügbar als PDF-Dokument.

Für die nächste, im Juni 2012 erscheinende Ausgabe des Magazins werden noch Beiträge gesucht. Schwerpunktthema ist “eLearning in der Medizin und den Gesundheitswissenschaften”. Einsendeschluss für Beiträge ist der 7. Mai 2012. Interessenten wenden sich bitte an Frau Britta Handke-Gkouveris oder Frau Dr. Angela Peetz. Mehr Informationen zum Aufruf gibt es hier.

Portfolios im Modellstudiengang Medizin der RWTH Aachen

Portfolios und ihre elektronische Variante ePortfolios sind unter dem Stichwort lebenslanges Lernen ein hoch gehandeltes Thema in aktuellen Bildungsdiskussionen. Lisa Thomann hat sich in Ihrer Doktorarbeit am Institut für Medizinische Informatik des Universitätsklinikums Aachen mit dem Thema befasst und ihre Ergebnisse kürzlich in einem Kolloquium vorgestellt. Für die Arbeit mit dem Titel “Portfolio im Modellstudiengang Medizin der RWTH Aachen – Intention bei Einführung, Statusanalyse und Ermittlung der studentischen Anforderungen zur Implementierung eines elektronischen Portfolios” hat Thomann Interviews mit Dozierenden geführt und in einer Online-Umfrage Studierende befragt, um zum einen den Erfolg des bestehenden papierbasierten Portfolios des Modellstudiengangs Medizin zu untersuchen und zum anderen auf Basis der studentischen Bedürfnisse Modifikationen dafür vorzuschlagen sowie Anforderungen an ein noch einzuführendes ePortfolio-System zu entwickeln.

In ihrem Vortrag stellte Thomann zunächst verschiedene (e)Portfoliotypen, deren Anwendungsgebiete, den Erstellungsprozess eines Portfolios und die Vor- und Nachteile eines elektronischen gegenüber einem herkömmlichen Portfolio vor. Anschließend beschrieb sie Einbettung und Ziel der Portfolios im Modellstudiengang Medizin. Funktion der Portfolios sollte hier sein, als Organisationshilfe die verschiedenen Aktivitäten der Studierenden zu dokumentieren und dadurch die Kontrolle des persönlichen Studienfortschritts zu ermöglichen, die Reflexion des eigenen Handelns inklusive der individuellen Lernstrategien anzuregen, ihre Eigenverantwortung zu stärken und ihr (selbst-)kritisches Denken zu fördern, den Modellstudiengang selbst aktiv mitzugestalten, Softskills zu entwickeln und die Studierenden auf das lebenslange Lernen vorzubereiten. Mentoren sollten außerdem beim Umgang mit den Portfolios helfen.

Picture: cirox (http://www.flickr.com/photos/cirox/4273614909/), cc: by-nc-nd 2.0

Nach diesen Vorarbeiten führte Thomann strukturierte Interviews mit dem Modellstudiengangsleiter und dem Jahrgangskoordinator des 1. Studienjahres, um herauszufinden, ob die Zielvorgaben aus ihrer Sicht erreicht wurden. Im Vergleich zum Soll-Zustand ergab sich hieraus, dass die Studierenden mangels einer Einführungsveranstaltung zu wenig über Sinn und Zweck der Portfolios informiert waren und wohl auch dadurch die Portfolios mehr als Organisationstool und Werkzeug zur Veranstaltungsbeurteilung denn als Anstoß zur Reflexion des eigenen Tuns genutzt wurden. Es wurde eher in der Gruppe über die Veranstaltung kommuniziert und diese bewertet als dass sich die Studierenden mit ihrem eigenen Lernen auseinandersetzten. Akademische Mentoren, die Hilfestellungen hätten geben können, gab es entgegen der ursprünglichen Planung keine, persönliche Betreuungsangebote wurden nur von “Problemfällen”, aber nicht in der Breite genutzt.

Abgefragt wurden außerdem die Einstellungen zu Portfolio und ePortfolio. Dabei wurden als Vorteile des ePortfolios die stets mögliche Aktualisierung und die mögliche Einbindung weiterer Funktionen genannt. Außerdem sei ein solches System gegenüber dem arbeitsaufwendigen und kostenintensiven papierbasierten Portfolio zeitgemäßer durch die Einbindung von IT. Als Nachteile des ePortfolios wurden angegeben, dass es vergleichsweise abstrakt bleibe und elektronische Leistungsnachweise derzeit nicht anerkannt würden.

In einer quantitative und qualitative Befragungsmethoden kombinierenden Online-Umfrage unter Studierenden des 4. Semesters Humanmedizin (n=234) versuchte Thomann anschließend herauszufinden, wie die Studierenden die Arbeit mit dem Portfolio beurteilten und welche Anforderungen sie an ein (e)Portfolio hätten. Auch die Studierenden sahen dabei das bestehende Portfolio überwiegend als Organisationswerkzeug und Möglichkeit, Scheine und Zertifikate gebündelt abzulegen. Nur ein kleiner Teil der Befragten verband das Portfolio mit Dingen wie lebenslanges Lernen, Förderung der Lernkompetenz oder Setzen und Erreichen von Lernzielen. Hier kommt zum Tragen, dass vielen Studierenden der Sinn eines Portfolios und ebenso die im Modellstudiengang damit verbundene Zielsetzung nicht ausreichend bekannt war. Trotz dieses Informationsdefizits hielten annähernd zwei Drittel der Befragten das bestehende Portfolio für nützlich.

Passend zu diesem Bild nannten die Studierenden, befragt nach den persönlichen Anforderungen an ein ePortfolio, mit großer Mehrheit das Sammeln, Organisieren und Selektieren von Lernmaterial und das Planen. Etwa die Hälfte wünschte Feedback durch Mentoren, 45% Kommentarmöglichkeiten für Kommilitonen, ebenso viele das Setzen von Zielen, etwa 42% nannten die Möglichkeit zur Reflexion des eigenen Lernens als Anforderung. Nur ein Drittel wünschte sich die Möglichkeit, das gesammelte Material zur Präsentation für Dritte – v.a. bei Bewerbungen – nutzen oder das Portfolio mit Web-2.0-Plattformen wie bspw. Blogs vernetzen zu können. Gerade dieser in Diskussionen um die Zukunft der Lehre so häufig zu findende Punkt der Öffnung nach außen wurde häufiger neutral gesehen, der Punkt der Vernetzung sogar häufiger abgelehnt. Hier kann man vermuten, dass die Nutzung für das berufliche Vorankommen noch naheliegt, eher privat genutzte Blogs und Social Communities aber nicht als der geeignete Ort für die Präsentation eines Portfolios angesehen werden.

Das ePortfolio sollte, so die Studierenden, gut strukturiert, einfach und schnell zu bedienen und informativ sein bei einem Zeitaufwand von maximal 1 Stunde pro Woche für die Pflege. Wichtig waren den Studierenden auch die Programmstabilität und Datensicherheit, verbunden mit dem Wunsch nach offiziell gültigen eDokumenten. Wichtig war ihnen vor allem, dass die unterschiedlichen Inhalte und Dokumentformate integrierbar sind, damit das Portfolio aktuell und vollständig ist.

Vervollständigt wird Thomanns Arbeit durch einige, der einschlägigen Literatur entnommene und auf die Situation des Modellstudiengangs an der RWTH Aachen angepasste Anregungen, wie eine Strategie zur Einführung eines ePortfolio aussehen sollte.

Thomanns Studie zeigt aus unserer Sicht, wie wichtig es ist, Studierende nicht einfach weitgehend unkommentiert mit neuen didaktischen Elementen und/oder neuer Technik zu konfrontieren. Medien und Technik ändern sich schnell, tradierte kulturelle (Lern-)Gewohnheiten hingegen nur langsam. Umso wichtiger ist es daher, bei Einführung eines solchen innovativen Elementes wie Portfolios, das nicht einfach als bekannt vorausgesetzt werden darf, in verschiedenen flankierenden Maßnahmen darauf hinzuweisen, was die Idee eines Portfolios ist, welche Intention damit verfolgt wird und was der Mehrwert im Hinblick auf das eigene Lernen ist. Eine Möglichkeit, die auch im Modellstudiengang Medizin ursprünglich geplant, aber anscheinend nicht konsequent umgesetzt wurde, wäre, Mentoren als Ansprechpartner einzusetzen. Generell wichtig wäre es jedenfalls, den gesamten Prozess zu begleiten und nicht nur zu Beginn des Semesters einmalig auf die Portfolios und ihre Funktion hinzuweisen.

Letztlich wird es aber in vergleichbaren Szenarien darauf ankommen, welche weiteren Maßnahmen ergriffen werden, die Lehre und die Lerngewohnheiten zu verändern, damit Studierende tatsächlich versuchen Kompetenzen zu entwickeln, statt wie so häufig in schier endlosen Klausurabfolgen ihren Credit Points nachzujagen. Portfolios können da nur ein Mosaikstein einer – hier sind wir ganz bei Gabi Reinmann – konsistenten Strategie sein.

Die Folien zum Vortrag von Frau Thomann können Sie hier anschauen und herunterladen.

Noch Plätze frei in eAssessment-Schulung

In der Schulung zu “eAssessment: Grundlagen des elektronischen Testens und Prüfens” am Freitag, 19.11.2010, 09:00-16:00 Uhr, sind noch Plätze frei. Die Schulung ist Bestandteil des Qualifizierungsangebots des Center for Doctoral Studies, ist aber offen für andere Interessenten. Weitere Informationen finden Sie auf unseren Webseiten.

e-teaching.org Online-Schulung “Von Online-Klausur bis E-Assessment – digitale Leistungsnachweise”

Das e-teaching.org-Team lädt zur nächsten Online-Schulung ein: Am kommenden Montag, den 08.03.2010, 14:00 Uhr, stellt Dr. Jens Bücking vom ZMML Bremen im Kontext des aktuellen Themenspecials „Von Online-Klausur bis E-Assessment – digitale Leistungsnachweise“ das Prüfungssystem LPLUS vor.

Das zukunftsorientierte und studierendenfreundliche Gesamtkonzept “eAssessment im Testcenter der Universität Bremen” wurde mit dem Medida Prix 2009 ausgezeichnet. Bereits seit einigen Jahren setzt das ZMML Bremen in diesem Rahmen die Software LPLUS ein. Das kommerzielle Prüfungssystem bietet über die Umsetzung von E-Klausuren hinaus die Möglichkeit zur Überprüfung von Qualität, Reliabilität und Schwierigkeitsgrad der Prüfungsaufgaben. In seiner Online-Demo geht Herr Bücking auf die wichtigsten Funktionen der Software LPLUS ein und gibt praktische Hinweise zur Gestaltung, Organisation und Durchführung von elektronischen Klausuren.

Eine ausführliche Beschreibung des Gesamtkonzepts der Universität Bremen finden Sie auch in einem e-teaching.org-Referenzbeispiel:

http://www.e-teaching.org/praxis/referenzbeispiele/eassessment-bremen.

Im Community-Bereich von e-teaching.org finden Sie weitere Informationen zur Online-Schulung „Prüfungssystem LPLUS“:

http://www.e-teaching.org/community/communityevents/schulung/.

Der Login-Zugang zur Veranstaltung lautet:

http://connect.iwm-kmrc.de/lplusdemo/.

Achtung: Der Zugang wird am 08.03.2010 ab ca. 13:45 Uhr freigeschaltet.

Die Teilnahme steht allen Interessierten offen. Die Veranstaltung wird wie immer aufgezeichnet und kann anschließend online abgerufen werden.

e-teaching.org-Themenspecial zu eAssessment

Diese Woche ging das neue e-teaching.org-Themenspecial zu eAssessment online. Bis Mai 2010 werden im e-teaching-Portal folgende Fragen zum Thema „Von Online-Klausur bis E-Assessment – digitale Leistungsnachweise“ beantwortet:

Welche Möglichkeiten bieten digitale Medien, etwa zur Bewältigung des mit dem Bologna-Prozess stark erhöhten Prüfungsaufkommens, aber auch zur Unterstützung von Lernprozessen? Welche Aufgabentypen werden eingesetzt, von automatisch auswertbaren Aufgaben bis zu E-Portfolios oder Webquests? Ein Schwerpunkt liegt auf Praxiserfahrungen mit der Entwicklung und dem Einsatz von Online-Prüfungen.

Es lohnt sich außerdem, immer wieder einmal die Seiten zu besuchen oder den NotizBlog zu abonnieren, da kontinuierlich neue Beiträge veröffentlicht werden.

In der Auftaktveranstaltung der Live-Event-Reihe geht es heute um 14 Uhr um das Thema „E-Prüfungen und der Bologna-Prozess“. Der Referent ist Dr. Norbert Kleinefeld (eLearning Academic Network Niedersachsen, ELAN e.V.). Zum Login kommen Sie hier: http://connect.iwm-kmrc.de/kleinefeld/

Die weiteren Online-Veranstaltungen bis Ende Mai, alle Themen und Termine finden Sie auf der Special-Seite des Portals.

Workshop zu eAssessment, Frage- und Testdesign

Im ganztägigen Workshop zum Thema “eAssessment” am Mi, den 21.10. , sind noch einige Plätze frei! eAssessments zu entwickeln ist nicht einfach, da das Testdesign genau auf den jeweiligen Zweck zugeschnitten sein muss. Die Grundregeln des Frage- und Testdesigns sollten beachtet werden, um auch wirklich die zuvor definierten Lernziele abzufragen und nicht unbeabsichtigt Stolperfallen für die Studierenden zu stellen. Der Workshop richtet sich an Lehrende, die daran beteiligt sind, Übungsaufgaben, eTests oder Klausuren zu entwickeln sowie elektronisch unterstützte Übungsbetriebe zu betreuen. Wenn Sie sich zur Teilnahme anmelden möchten, schreiben Sie einfach eine formlose E-Mail an info@cil.rwth-aachen.de.

Bewertungsvarianten im L²P Übungsbetrieb

In vielen Veranstaltungen werden den Studierenden begleitende Übungsaufgaben gestellt. Das Ziel der Übungsbearbeitung ist häufig das Erreichen von Übungspunkten. Aus diesem Grund war es seit der Entstehung des L²P Übungsbetriebs möglich, maximal erreichbare Punkte für eine Übung zu definieren und Lösungen von Studierenden durch die Vergabe von Punkten zu bewerten. In vielen Szenarien konnte die Umsetzung das gewünschte Verhalten bereits abbilden. Andere Szenarien konnten jedoch nur umständlich oder gar nicht unterstützt werden. Aus diesen Gründen haben wir die Möglichkeiten zur Bewertung von Lösungen nach Anforderungen mehrer Nutzer überarbeitet.

Zu den Anforderungen gehörten zum Beispiel, die Vergabe von Schulnoten wie sehr gut (1,0) oder gut (2,3), die Unterscheidung zwischen “bestandenen” und “nicht bestandenen” Aufgaben oder die Verwaltung von Aufgaben ohne Bewertungen. Die Erweiterung der Bewertung durch Punkte um Bonuspunkte und weitere spezielle Anforderungen wurden uns ebenfalls genannt. Diese Szenarien können nun wie folgt mit dem L²P Übungsbetrieb unterstützt werden, in dem die entsprechenden Optionen auf der Einstellungsseite des Übungsbetriebs ausgewählt werden.

Bewertung durch Punkte:

Nach wie vor wird die Bewertung durch Punkte unterstützt. Bei der Definition der einzelnen Aufgaben einer Übung werden die jeweils erreichbaren Maximalpunktzahlen angegeben, wobei es nun möglich ist, Bonuspunkte explizit anzugeben (siehe Abbildung 1). In der Ansicht (siehe Abbildung 2) werden die Maximalpunktzahlen dann automatisch aufsummiert und Bonuspunkte durch ein * kenntlich gemacht. Die neue Möglichkeit einen optionalen Schwierigkeitsgrad festzulegen hat nur indirekt etwas mit der Bewertung zu tun. Sie kann aber für die Selbsteinschätzung nach einer Bewertung hilfreich sein.

Aufgabendefinition mit Punkten

Abbildung1: Aufgabendefinition mit Punkten

Aufgaben einer Übung mit Punkten

Abbildung 2: Aufgaben einer Übung mit Punkten

Bei der Bearbeitung einer Korrektur können die konkreten Punkte zu einer Lösung vergeben werden. Sind die Punkte zu allen Aufgaben definiert wird auch hier die Summe der Punkte für die gesamte Lösung automatisch berechnet (siehe Abbildung 3). In manchen Szenarien werden auf Grund komplexer Bonuspunktregelungen nur ein Teil der Lösungen bewertet. Z.B. werden von vier Aufgaben nur die besten zwei Bearbeitungen zur Bereichnung Gesamtpunktzahl der Lösung einbezogen. Durch die Angabe der von der Wertung auszunehmenden Aufgaben können die erreichten Punkte weiterhin als Feedback angegeben aber nicht für Gesamtbewertung  genutzt werden (siehe Abbildung 4).

Punkte zu einer Lösung

Abbildung 3: Punkte zu einer Lösung

Lösungspunkt mit Ausnahmen

Abbildung 4: Lösungspunkt mit Ausnahmen

Bewertung durch Noten:

Aufgaben einer Übung ohne Maximalpunktzahlen

Abbildung 5: Aufgaben einer Übung ohne Maximalpunktzahlen

Eine neue Art der Bewertung im L²P Übungsbetrieb ist die Vergabe von Noten. Da die Skalar der erreichbaren Bewertungen durch die benannten Notenstufen (“ausgezeichnet (0,7)”, “sehr gut (1,0)”, …, “mangelhaft (5,0)”) bereits vorgegeben ist, sind bei der Aufgabendefinition zu einer Übung keiner weiteren Angaben nötig (siehe Abbildung 5).

Bei der konkreten Bewertung einer Lösung kann dann bequem aus den vorgegebenen Notenstufen gewählt werden (siehe Abbildung 6). Im Gegensatz zu der Bewertung mit Punkten wird die Gesamtbewertung einer Lösung jedoch zunächst nicht automatisch ermittelt, sondern kann separat angegeben werden. Wird die Gesamtbewertung nicht definiert kann beim Abschluss der Korrektur ein freundlich gerundeter Mittelwert der Teilnoten als automatisch als Gesamtergebnis eingetragen werden.

Lösung benoten

Abbildung 6: Lösung benoten

Bewertung durch Bestanden/Nicht-Bestanden:

In manchen Fällen ist ein feingranulare Bewertung nicht erwünscht. Aus diesem Grund ist auch eine grobe Unterscheidung zwischen “bestandenden” und “nicht bestandenen” Aufgaben möglich (siehe Abbildung 7). Wie auch bei der Bewertung durch Noten ist die Bewertungskalar damit bekannt und muss nicht bei der Definition der Aufgaben spezifiziert werden (vgl. Abbildung 5). Ebenso verhällt sich die Auswahl der vordefinierten Werte, die explizite Angabe der Gesamtbewertung einer Lösung und die automatische Berechnung des Mittelwerts bei Korrekturabschluss.

Eine bewertete Lösung

Abbildung 7: Eine bewertete Lösung

Keine Bewertung:
Mit der letztmöglichen Einstellung kann die Bewertungsfunktionalität des L²P Übungsbetrieb deaktiviert werden. Sollten Sie nicht verpflichtende Aufgaben bereitstellen, die u. U. gar nicht korrigiert werden oder z.B. nur in einem Seminar besprochen werden, können Sie auf diese Weise die Anzeige überflüssiger Metadaten vermeiden.

Insgesamt sind nun also verschiedene Bewertungsszenarien abbildbar. Können Sie Ihr Szenario noch nicht abbilden? Dann schildern Sie uns Ihre Bedürfnisse.

Update: Übungsbetrieb Version 2.0 steht ab sofort zur Verfügung

Wie auch in den vorherigen zwei Semestern können L²P Lernräume im Sommersemester 2009 auf Wunsch durch ein Modul zur Unterstützung vorlesungsbegleitender Übungen sowie Seminar- oder Projektaufgaben ergänzt werden.

Die zeitlich gesteuerte Veröffentlichung von Übungsblättern und Musterlösungen, die Entgegennahme studentischer Lösungen und die Verwaltung der erreichten Punkte können auch in diesem Semester wieder verwendet werden. Neben diesen und anderen bereits erprobten Funktionen gibt es einige Neuerungen für das aktuelle Semester. Hierzu gehören zum Beispiel:

  • Ordner der Lösungs- und Korrekturdokumente können direkt als Webordner in einen Dateimanager integriert werden.
  • Studierende können Anforderungen zu Hilfestellungen direkt an den Tutor senden.
  • Die Punktetabelle kann im CSV-Format exportiert und z.B. direkt in Excel weiter bearbeitet werden.

Diese und andere Funktionen sowie  Einsatzszenarien zur Verwendung des Moduls werden in einer Schulung zum L²P Übungsbetrieb am 20.03. vorgestellt. Diese Schulung empfehle ich sowohl Neueinsteigern als auch “Alten Hasen” des L²P Übungsbetriebs.

eLearning an der GUtech in Oman

Die im Dezember 2006 gegründete German University of Technology in Oman (GUtech) in Muscat verfolgt in enger Kooperation mit der RWTH Aachen das Ziel, hochqualifizierte Bachelor und Master-Studierende auszubilden. Als zentrales eLearning-Zentrum der RWTH nahm das CiL vor einigen Wochen den Auftrag von Dr. Barbara Stäuble (Deputy Rector – Academic Affairs) an, drei eLearning-Workshops für GUtech-Dozierende vorzubereiten und vom 4.-6. Dezember in Muscat durchzuführen, um eLearning an der GUtech zu verankern.

GUtech-Logo

Anfang dieser Woche kehrten wir von der spannenden und erfolgreichen (eLearning)-Reise in den Oman nach Aachen zurück und möchten kurz von den eLearning-Workshops sowie unseren Erfahrungen berichten.

Neben Treffen mit Herrn Prof. Dr. Rauhut, Frau Dr. Stäuble und Herrn Dr. Hilgers bestand unser Reiseprogramm aus drei Workshop-Tagen mit eLearning-interessierten Dozenten und Dozentinnen der GUtech.

Tag 1:
Introduction to E-Learning: Term, Trends and Technologies
Workshop W1: Technology-enhanced Learning

Tag 2:
Workshop W2: E-Lectures and Authoring Tools

Tag 3:
Workshop W3: E-Assessment

Die GUtech-MitarbeiterInnen interessierten sich insbesondere für die Aufzeichnung von Lehrveranstaltungen mit Techsmith Camtasia, für den Einsatz von Adobe Connect als Webconferencing Tool für den Import von Fernlehre aus Aachen sowie für die Nutzung von L²P. Der Workshop zum didaktisch begründeten Design von interaktiven Tests stieß ebenfalls auf großes Interesse. So bot das Programm für die Teilnehmer und Teilnehmerinnen unterschiedliche Highlights. Wir sind nun gespannt inwiefern die Workshops dazu führen werden, dass die Lehrenden der GUtech ihre Lehre mit eLearning anreichern.

Sie können sich gerne an uns wenden, wenn Sie mehr Informationen zu den konkreten Inhalten der Workshops erhalten möchten oder an Workshops dieser Art interessiert sind.