Christian Swertz

Grundlagen und Anwendungen der didaktischen Qualitätssicherung in Web-Didaktik-basierten Online-Lernumgebungen mit quantitativen Verfahren

1 Einleitung

Wenn Sie schon einmal ein Buch geschrieben haben, dann wissen Sie, wie viel Arbeit auf den „letzten Metern“ noch anfällt. Bei der Produktion von Online-Lernumgebungen stellt sich dieses Problem in verschärfter Form: Redaktion oder Lektorat werden zu einer Daueraufgabe. Diese Daueraufgabe erhöht die Kosten beim Einsatz von Online-Lernumgebungen. Bildungstheoretische Analysen haben jedoch gezeigt, dass insbesondere das Reflexionsvermögen der Lernenden durch das Lernen mit Computertechnologie angeregt wird (Meder 1998), eine unter den Bedingungen pluraler Wissensstrukturen (Fromme 1997) wünschenswerte Fähigkeit. Damit ist es lohnend, die Kosten der Pflege von Online-Lernmaterial zu senken um den Einsatz zu fördern.

Mit der Web-Didaktik liegt ein Konzept für die effektive Inhaltsproduktion vor (Meder 2003, Swertz 2004), für das bereits Verfahren zur inhaltlichen Qualitätssicherung entwickelt worden sind (Swertz 2002). Im langfristigen Einsatz stellt sich jedoch das Problem, dass bei der inhaltlichen Qualitätssicherung von Wissenseinheiten nicht die ganze Wissensbasis einer Lernplattform berücksichtigt wird. Die Frage ist also, wie der didaktische Status der Wissensbasis im Blick auf die Qualitätssicherung analysiert werden kann. Zu dieser Fragestellung liegen noch keine Arbeiten vor. Daher sind hier zunächst grundlegende Kategorien zu gewinnen und zu operationalisieren. Die Operationalisierung wird hier am Beispiel der Lernplattform „Lerndorf“ (http://www.lerndorf.de) einer empirischen Plausibilitätskontrolle unterzogen.

2 Grundlagen

Das Konzept der Web-Didaktik basiert auf der transzendentalkritischen Grundlegung der Pädagogik durch Richard Hönigswald. Nach Hönigswald ist der Gegenstand pädagogischen Handelns die Überlieferung von Wissen von einer Generation an die nachfolgenden vermittels der zeitlich nächsten. Eine notwendige Voraussetzung für die Überlieferung von Wissen ist die Verständigung zwischen Menschen (Hönigswald 1926: 31). Der Verständigungsprozess läuft nach Hönigswald in drei Schritten ab: Im ersten Schritt wird das Wissen von einem Menschen geäußert. Das Wissen muss dazu mit dem Anspruch der Verständigung geäußert werden, und es muss in einem sinnlich wahrnehmbaren Gegenstand ausgedrückt werden. Der Verständigungsanspruch liegt im zweiten Schritt unabhängig von dem Menschen, der den Verständigungsanspruch geäußert hat, im Gegenstand vor. Im dritten Schritt erfolgt die Zustimmung oder Ablehnung des Verständigungsanspruchs durch einen Menschen. Die Äußerung eines Wissens mit dem Anspruch der Verständigung findet beim E-Learning im Rahmen der Inhaltsproduktion statt. In der Lernumgebung liegt anschließend das Wissen in Form von Angebotsdaten unabhängig von dem Menschen vor, der den Verständigungsanspruch geäußert hat. Dieser Schritt steht im Mittelpunkt der Fragestellung dieses Beitrags. Die Zustimmung oder Ablehnung eines Verständigungsanspruchs durch einen Menschen drückt sich im Falle des Online-Lernens unter anderem durch das Navigationsverhalten aus.

Die Grundlegung der Pädagogik von Hönigswald wird in der Web-Didaktik als Ausgangspunkt für eine didaktische Ontologie verwendet. Kern der Web-Didaktik sind Prinzipien, nach denen Wissen in einen modularisierten Hypertext mit typisierten Medien-, Wissens- und Lerneinheiten, die mit Relationen verbunden sind, gebracht werden kann.

Die Verbindung der grundlegenden Kategorien (Angebotsdaten und Nutzungsdaten) mit den Wissensorganisationsprinzipien der Web-Didaktik kann durch eine Kreuztabellierung hergestellt werden. Daraus ergibt sich das in Tabelle 1 wiedergegebene Analyseschema.

3 Automatisierte Qualitätssicherungsverfahren

Im Rahmen dieses Beitrags kann kein vollständiger Satz an Indikatoren für alle Dimensionen des didaktischen Prozesses entwickelt werden. Daher werden lediglich exemplarisch Indikatoren dargestellt. Dabei wird auf Logdaten und Daten zur Hypertextstruktur der Wissensbasis zurückgegriffen.

3.1 Angebotsdaten

Die Analyse der Angebotsdaten bezieht sich auf die von Autorinnen und Autoren produzierte Inhalte, die bereits einer inhaltlichen Qualitätskontrolle durch ein Lektorat oder durch peer-review-Verfahren unterzogen worden sind. Als Indikatoren werden hier der Umfang der Medieneinheiten, die Anzahl der Wissenseinheiten pro Lerneinheit, der Umfang der Lerneinheiten und die Relationsstruktur diskutiert.

3.1.1 Umfang der Medieneinheiten

Tabelle 2: Textlängen nach Wissensarten. Stand: 16.3.2004.

Bei der Analyse des Umfangs von Medieneinhieten sind mediale Typen zu berücksichtigen: Dass z.B. Grafikseiten eine geringere Textlänge aufweisen als Textseiten ist nicht überraschend. Das gilt auch für gesprochene Texte, Animationen etc. Anhand der Metadaten der Web-Didaktik können die Medientypen identifiziert werden. Damit ist es möglich, jeden Medientyp gesondert zu analysieren und jeweils einen spezifischen Indikator zu bilden. Bei Text ist das die Anzahl der Zeichen; bei gesprochenem Text die Abspieldauer etc.. Hier wird die Analyse von Textseiten dargestellt. Dabei stellt sich ein zweites Problem: Die Textlänge variiert mit der Wissensart, da z.B. eine Definition in der Regel kürzer ist als eine Erklärung. Daher ist die Beurteilung der Textlänge je Medientyp/Wissensart-Paar erforderlich. Exemplarische Daten aus dem Lerndorf für den Medientyp Text und ausgewählte Wissensarten sind in Tabelle 2 wiedergegeben.

Als n ist die Anzahl der fertig lektorierten Wissenseinheiten für die jeweilige Wissensart genannt. Als Minimum ist die Anzahl der Zeichen in der kürzesten Wissenseinheit, als Maximum die Anzahl der Zeichen in der längsten Wissenseinheit angegeben. Wie können die Wissenseinheiten mit starken Abweichungen identifiziert werden?

Eine Möglichkeit ist die Berechnung von Perzentilen (z.B. 5% und 95%) als Grenzwerte. Die Forderung der dynamischen Anpassung ist damit erfüllt. Der Nachteil ist jedoch, dass diese Auswertung immer zu Ergebnissen führt, da ja stets ein Teil der Texte in kritische Bereiche fällt. Es ist jedoch durchaus möglich, dass alle Wissenseinheiten einen angemessenen Umfang aufweisen.

Sinnvoller ist es daher, mit arithmetischem Mittel (x) und Standardabweichung (s) zu arbeiten. Die im Beispiel wiedergegebenen Daten legen nahe, einen Hinweis bei Textlängen zu geben, die über oder unter von x +- 2*s liegen, und eine Warnung bei Werten außerhalb von x +- 3*s anzuzeigen.

Als Maßnahme bietet sich eine automatische Mail an die Autorin bzw. den Autor an, die einen Link auf die entsprechende Wissenseinheit, die Angabe der Länge der Wissenseinheit sowie die Werte von AM +- 2*s als Orientierung für die Überarbeitung enthalten sollte.

3.1.2 Wissenseinheiten pro Lerneinheit

Tabelle 3: Wissenseinheiten pro Lerneinheit, Stand: 16.3.2004

Unter n ist die Gesamtzahl der lektorierten Lerneinheiten aufgeführt, gefolgt von Daten zur Anzahl der pro Lerneinheit vorhandenen lektorierten Wissenseinheiten. Das Minimum von 1 entsteht durch das Lektoratssystems, das die Freigabe von Lerneinheiten, die keine Wissenseinheiten enthalten, verhindert. Das arithmetische Mittel von 4,04 legt die Vermutung nahe, dass die meisten Lerneinheiten aus mehrere Seiten bestehen. Das ist aber nicht der Fall: Der Median liegt bei 3,5, d.h. die Hälfte der Lerneinheiten hat weniger als 3,5 Wissenseinheiten. Der Modalwert von 1 zeigt, dass das Vorhandensein von einer Wissenseinheit am häufigsten vorkommt. Aus diesem Verhältnis der Maße der Zentralen Tendenz ist zu erkennen, dass es sich um eine linksschiefe Verteilung handelt. Die Schiefe der Verteilung, ausgedrückt durch das 3. Potenzmoment der Verteilung, beträgt 0,31. Es gibt also viele Lerneinheiten mit wenig Wissenseinheiten und wenig Lerneinheiten mit vielen Wissenseinheiten. Eine solche Verteilung ist ungünstig.

Die Beurteilung kann zunächst bei Mittelwert und Standardabweichung ansetzen. Die Daten machen jedoch deutlich, dass bei Ansatz von z.B. x +- 2*s die Lerneinheiten mit wenig Wissenseinheiten nicht als ungünstig ausgewiesen werden. Besser wiedergegeben wird die Struktur durch die Berücksichtigung der Schiefe. Die Daten legen nahe, dass ein Betrag der Schiefe über 0,2 ungünstig ist. In diesem Fall sollte eine Warnung erfolgen.

Geeignete Maßnahmen können anhand des Vorzeichens der Schiefe identifiziert werden. Wenn die Schiefe negativ ist, sollten Lerneinheiten mit wenigen Wissenseinheiten, d.h. unterhalb von x-s, im Beispiel also 4,04 – 2,53 = 1,51 identifiziert werden; wenn die Schiefe positiv ist, sollten Lerneinheiten mit vielen Wissenseinheiten, d.h. oberhalb von x+s identifiziert werden. Im ersten Fall wären die Autorinnen und Autoren zur Produktion weiterer Wissenseinheiten zu den betroffenen Lerneinheiten aufzufordern, im zweiten Fall zur Aufteilung der Inhalte auf mehrere relationierte Lerneinheiten.

3.1.3 Relationsstruktur

Tabelle 4:Relationen pro Freigegebener Lerneinheit . Stand: 21.3.2004

Tabelle 5: Verwendung der Wissensarten. Stand: 16.3.2004

Lerneinheiten ohne Relationen sollten nicht vorkommen. Wenn also freigegebene Lerneinheiten ohne Relationen identifiziert werden, sollte grundsätzlich eine Warnung erfolgen. Wünschenswert ist eine relativ homogene Relationsstruktur, weil durch fehlende Relationen die Navigation verhindert wird, zu viele Relationen jedoch die Übersicht erschweren. Das ist über die Schiefe der Verteilung zu ermitteln. Die Schiefe der in Tabelle 4 dargestellten Verteilung beträgt 0.96. Auch in diesem Fall wird hier eine Schiefe von 0,2 als Grenzwert vorgeschlagen. Wenn dieses Maß überschritten wird, indiziert das Vorzeichen der Schiefe die geeigneten Maßnahmen: Bei einer positiven Schiefe, also einer linkssteilen Verteilung, können die Lerneinheiten mit einer Anzahl von Relationen unter dem 5. Perzentil identifiziert und die Autorinnen und Autoren um Ergänzung von Links gebeten werden. Bei einer negativen Schiefe, also einer rechtssteilen Verteilung, sind die Lerneinheiten mit einer Anzahl von Relationen über dem 95. Perzentil zu identifizieren. Die Autorinnen und Autoren sollten um die Streichung von Relationen gebeten werden.

3.2 Nutzungsdaten: Nutzung der Wissensarten durch Lernende

Tabelle 6: Zugriffe auf Wissensarten. Stand: 16.3.2004.

Expertinnen und Experten, die als Autorinnen und Autoren Inhalte bereitstellen, bevorzugen andere Wissensarten als die Lernenden. Die Nutzungsfrequenz von Wissensarten kann hier als Kennwert herangezogen werden. Die Struktur der im Lerndorf freigegebenen Wissensarten ist für zufällig ausgewählte Wissensarten in Tabelle 5 wiedergegeben. Die Zugriffsfrequenzen dieser Wissensarten für den Zeitraum von einem Jahr vor dem Abfragezeitpunkt gibt Tabelle 6 wieder. An 100% fehlende Werte entstehen in beiden Tabellen durch die Auswahl von 7 aus insgesamt 26 verwendeten Wissensarten.

Die Gesamtzahl der Zugriffe und der Prozentrang der Zugriffe in Tabelle 6 geben einen ersten Eindruck der Nutzung der Wissensarten. Die überwiegende Nutzung des Orientierungswissens ist darauf zurückzuführen, dass die Plattform „InLearn“ beim ersten Aufruf einer Lerneinheit automatisch das Orientierungswissen anzeigt, wenn dieses vorhanden ist. Neben dieser Verzerrung stellt sich das Problem, dass die Zugriffshäufigkeit von der Angebotsstruktur abhängt. Daher wurde die Nutzungsfrequenz an der Angebotsfrequenz relativiert. Die Ergebnisse sind in der Spalte „gewichtete Zugriffe“ wiedergegeben. Ein höherer Wert zeigt dabei an, dass eine Wissensart bei seltenerem Vorkommen häufiger aufgerufen wird; ein niedriger Wert zeigt an, dass eine Wissensart bei häufigem Vorkommen seltener aufgerufen wird.

An der in Tabelle 5 wiedergegebenen Angebotsstruktur ist zu sehen, dass z.B. Erklärungswissen häufiger angeboten wird als Beispiele. Der gewichteten Zugriff zeigt jedoch, dass auf Beispiele von den Lernenden häufiger zugegriffen wird als auf Erklärungen. Unter der Perspektive der Qualitätssicherung können diese Ergebnisse dahingehend interpretiert werden, dass Autorinnen und Autoren, die besonders gefragte Wissensarten nicht in ihren Lerneinheiten anbieten, darum gebeten werden sollten, Wissenseinheiten mit diesen Wissensarten zu produzieren. Als dafür relevante Wissensarten können die Wissensarten oberhalb des 90%-Perzentils der gewichteten Zugriffe angesehen werden. Wenn diese Wissensarten identifiziert sind, können die Autorinnen und Autoren der Lerneinheiten, in denen diese Wissensart nicht vorhanden ist, um Ergänzung gebeten werden.

4 Ergebnisse und Ausblick

Die Realisierbarkeit einer automatisierten Qualitätssicherung für didaktische Wissensbasen konnte gezeigt werden. Weitere Indikatoren, z.B. für die mediale Vielfalt, die Verwendung und Nutzung von Relationstypen, das Alter der Wissenseinheiten etc. sind zu entwickeln. Die Integration der Indikatoren ermöglicht perspektivisch die Berechnung eines Kennwerts für die didaktische Qualität einer Online-Wissensbasis.

5 Literatur

Fromme, Johannes (1997): Pädagogik als Sprachspiel. Neuwied.

Hönigswald, Richard (1927): Über die Grundlagen der Pädagogik. München.

Meder, Norbert (1998): Neue Technologie und Erziehung/Bildung. In: Borelli, M.; Ruhloff, J. (Hg.): Deutsche Gegenwartspädagogik Bd. III. Hohengehren, S. 26-40.

Meder, Norbert (2003): Didaktische Anforderungen an Lernumgebungen. In: Ehlers, U.-D. (u.a.): E-Learning-Services. Bielefeld, S. 50-69.

Swertz, Christian (2002): Konzepte und Methoden zur Qualitätssicherung bei der Produktion von hypertextuellen Online-Lernumgebungen. In: MedienPädagogik (1) http://www.medienpaed.com/02-1/swertz1.pdf [15.4.2002].

Swertz, Christian (2004): Didaktische Aufbereitung von Lehrmaterialien. http://www.lerndorf.de [6.5.2004]