Beschreibung
In der Praxis wäre es von Vorteil, Items eines Tests bereits anhand kleiner Stichproben hinsichtlich Rasch-Modell-Gültigkeit überprüfen zu können. Jedoch basieren viele Modelltests auf asymptotischen Eigenschaften, welche nur bei großen Stichproben zutreffen. Basierend auf der Idee des exakten Tests nach Rasch (1960) entwickelte Ponocny (1996, 2001) eine nichtparametrische Methode, die bereits bei kleinen Stichproben die Überprüfung auf Modellgültigkeit erlaubt. Die Ziele der vorliegenden Studie waren die Analyse der Typ-I Fehlerraten und die Bestimmung der empirischen Power für vier von Ponocny (2001) vorgeschlagenen Teststatistiken: T4 und T10 für Differential Item Functioning (DIF), sowie T2 und T11 zur Überprüfung der lokalen stochastischen Unabhängigkeit (lsU). Ebenso erfolgte eine Gegenüberstellung mit dem Likelihood Quotienten Test (LQT) nach Andersen (1973). Die Teststatistiken wurden anhand der modifizierten Markov-Chain-Monte-Carlo-Methode nach Verhelst (2008) in eRm (Mair & Hatzinger, 2007a; 2007b) berechnet. Jede Simulation war eine Funktion der Stichprobengröße (n = 30, n = 50, n =100, n = 200), der Testlänge (k = 5, k = 10, k = 20), der variierenden Anzahl an problematischen Items (k* = 1, k* = 2, k* = 5), sowie des Grades der Verletzung (r = 0.1 bis 0.9 bei lsU bzw. Itemparameterdifferenz = 0.1 bis 2 bei DIF, jeweils in 0.1 Schritten). Generell zeigen die Ergebnisse, dass die nonparametrischen Tests eine erste Modelleinschätzung bereits ab einen Stichprobenumfang von n = 50 erlauben, wobei eine optimale Power ab einem n = 200 erreicht werden kann. Daraus resultiert die Möglichkeit, bereits bei relativ kleinen Stichproben Rasch-Modell-Konformität bei Item-Sets zu überprüfen. Davon ausgehend wird eine neue Strategie zur Vorgehensweise bei Testkonstruktionen vorgeschlagen.| Zeitraum | 21 Sept. 2011 → 23 Sept. 2011 |
|---|---|
| Ereignistitel | 10. Tagung der Fachgruppe Methoden und Evaluation |
| Veranstaltungstyp | Keine Angaben |
| Bekanntheitsgrad | International |