Computerbasiertes Testen

Begriffe

Test oder Befragung?

Die folgenden Ausführungen beziehen sich stets auf Tests, finden aber auch Anwendung auf Befragungen. Die Anforderungen an Befragungen sind ähnlich, aber meist einfacher umzusetzen. Es gibt beispielsweise keine Kodierung in “Richtig” oder “Falsch”.

Dass Befragungen hier auch technisch mit abgedeckt werden (können) liegt daran, dass große Studien zur Erfassung von Kompetenzen stets auch Befragungen mit einschließen. Auf diesem Weg ist es möglich, Einflussfaktoren über Personenmerkmale zu erheben.

Computerbasiert vs. technologiebasiert

Das Durchführungsszenario sieht bei der Testperson ein Endgerät vor, das dem Begriff des “Computers” entspricht. Es sind also Desktop-Geräte, Laptops, Notebooks und teilweise auch Smartphones im Einsatz, wenn ein Test (engl. Assessment) im Bildungsbereich durchgeführt wird.

Der Begriff “technologiebasiert” möchte betonen, dass es nicht unbedingt eines Computers bedarf, um digital Antworten zu erfassen. Prominentes Beispiel wäre ein Stift, der auf Spezialpapier Geschriebenes erkennt (scannen in Echtzeit) und in einen Speicher ablegt für spätere Auswertungen. Diese Überlegungen führten zum Begriff “Technologiebasiertes Assessment” oder “Technology Based Assessment”, wobei Technologie hier eher als Technik verstanden wird (Papierverfahren sind eigentlich auch Technologien).

Letztlich sind diese Unterscheidungen hier nicht relevant und werden daher synonym verwendet. Man könnte auch eAssessment, digitales Testen usw. verwenden.

Ablaufschema

Die untere Darstellung gilt prinzipiell auch für papierbasierte Testungen. Bei einer computergestützten Durchführung bildet jedoch das Schema einen wichtigen Startpunkt für die Modellierung der Prozesse und Daten.

Als Voraussetzung für eine Testung müssen vorhanden sein:

• Testaufgaben: Fragen bzw. Instruktionen an die Testperson, bestimmte Eingaben zu tätigen oder allgemein in Interaktion mit dem System zu treten
• Testablauf: Vorschrift, in welcher Reihenfolge die Aufgaben präsentiert werden sollen (analog Testheft)
• Testpersonen: Eine Liste von Personen, die den Test durchführen sollen und auch die Festlegung, welche Variante eines Testablaufes für welche Person aktiviert wird

flowchart TD
    H[fa:fa-table-list Testaufgaben] --> B
    style H fill:white
    G[fa:fa-file-lines Testablauf] --> B
    style G fill:white
    A[fa:fa-users Testpersonen] --> B(fa:fa-computer Testdurchführung)
    style A fill:white
    style B fill:#cdf
    B --> K[Antworten]
    style K fill:white
    B --> J[Logdaten]
    style J fill:white
    H -.-> C(fa:fa-circle-check fa:fa-circle-xmark Kodierung)
    style C fill:#cdf
    K --> C
    J --> C
    C -->D(fa:fa-user-graduate Analyse)
    style D fill:#cdf
    L(Vergleichsdaten) --> D
    style L fill:white
    D -->E[Bericht/Rückmeldung]
    style E fill:white

Die Testdurchführung produziert Antwort- und Logdaten. Antwortdaten werden von der Testperson bewusst erzeugt, während Logdaten weitere vom System generierte Informationen darstellen. Beispielsweise kann für die Auswertung die Zeit eine Rolle spielen, die die Testperson für die Beantwortung gebraucht hat - weswegen diese als Logdaten gespeichert werden können.

Eine Kodierung der Testdaten ist erforderlich, um die Antworten bestimmten Kategorien zuzuordnen. Meist können Antworten nicht direkt in Analysen verwendet werden. Beispielsweise erzeugt eine Textmarkierung ein komplexes Datenobjekt, aber für die Auswertung ist nur wichtig, ob die Markierung ungefähr den Erwartungen entspricht.

Kodierungen können manuell am Bildschirm erfolgen. Aufgrund der Kosten strebt man einen hohen Anteil automatisch kodierbarer Antworten in einer Testung an. Die gepunktete Linie zeigt an, dass die Informationen für die Kodierung (sog. Kodierschema) Teil der Aufgabendaten sind und bereits bei der Aufgabenentwicklung ausgiebig diskutiert und erprobt werden müssen.

Die Analyse der kodierten Daten bezieht bei Studien des Bildungsmonitoring stets Daten aus diversen anderen Quellen ein. Dies können Informationen aus anderen vergleichbaren Studien sein (andere Testgruppen, andere Jahre) oder zusätzliche Daten, die für die Interpretation nützlich sind (sozio-demografische Angaben, Klassifizierung der Schule usw.).

Institutionelle Szenarien - Wer macht was?

Aufgabenentwicklung

Die Testaufgaben für die Durchführung der Bildungstrendstudien und für die Vergleichsarbeiten der Länder (VERA; s. KMK) werden am IQB entwickelt. Es erfolgt in jedem Fall eine empirische Erprobung einer jeden Aufgabe (sog. Pilotierung). Für die Aufgaben werden auch die Vorschriften für die Kodierung entwickelt.

Bildungstrend - länderübergreifend

Die Studien des Bildungstrends in den Jahrgängen 4 und 9 werden online auf Servern durchgeführt, die das IQB bereitstellt. Ein auf die Durchführung großer Bildungsstudien spezialisierter Auftragnehmer (nachfolgend “AN Durchführung”) bereitet die Testung vor und begleitet die Durchführung in den Schulen vor Ort mit Testleiterinnen und Testleitern. Hier erfolgt auch die Kodierung der Antworten, und das IQB bekommt einen umfassenden Datensatz sowie begleitende Dokumentation.

sequenceDiagram
    participant IQB
    participant AN as AN Durchführung
    Actor Schule
    IQB->>AN: Nennung Schulen
    AN->>Schule: System-Check
    Schule->>AN: Meldung Testpersonen
    IQB->>AN: Aufgaben
    AN->>Schule: Logins
    note over Schule: Testdurchführung
    Schule->>AN: Antworten+Logs roh
    note over AN: Kodierung
    AN->>IQB: Datensatz
    note over IQB: Auswertung, Bericht

VERA - in jedem Land separat

Die jährlichen Vergleichsarbeiten in den Jahrgängen 3 und 8 führt ein Land in eigener Regie durch. Das IQB liefert Aufgaben einschl. Kodierschema sowie Vorschläge für den Testablauf (Testmodule, Testhefte). Im Schema unten ist der häufige Fall dargestellt, dass das Land eine Einrichtung (z. B. ein universitäres Projekt) mit der Durchführung beauftragt.

sequenceDiagram
    participant IQB
    participant Land
    participant DE as Durchführende Einrichtung
    Actor Schule
    IQB->>Land: Aufgaben
    Land->>DE: Nennung Schulen
    DE->>Schule: System-Check
    Schule->>DE: Meldung Testpersonen
    Land->>DE: Aufgaben
    DE->>Schule: Logins
    note over Schule: Testdurchführung
    note over Schule: Kodierung
    Schule->>DE: Antworten kodiert
    note over DE: Auswertung
    DE->>Schule: Rückmeldung
    DE->>Land: Rückmeldung

Die Antworten werden in diesem Szenario durch die Lehrkräfte kodiert. Nach der Auswertung durch die durchführende Einrichtung meldet diese in die Schulen und dem Auftraggeber die Ergebnisse, um die Unterrichtsentwicklung zu fördern sowie eine Evaluation auf Systemebene zu ermöglichen.

Wenn das Land keine Einrichtung mit der Durchführung beauftragt, fallen die entsprechenden Arbeiten samt Bereitstellung der technischen Infrastruktur dem Land zu.