Klassische Testtheorie

1. Jeder Testwert (${\displaystyle X}$) ist zusammengesetzt aus einem wahren Merkmalsanteil (${\displaystyle T}$) und einem zufälligen Messfehleranteil (${\displaystyle E}$): ${\displaystyle X=T+E}$.[1]
2. Der Erwartungswert der Fehler ist null: ${\displaystyle \mathbb {E} (E)=0}$.
3. Der Messfehler ist mit dem wahren Wert unkorreliert: ${\displaystyle \rho (T,E)=0}$.
4. Wahrer Wert und Fehlerwert zweier verschiedener Tests sind unabhängig und damit unkorreliert: ${\displaystyle \rho (T_{\text{Test1}},E_{\text{Test2}})=0}$.
5. Fehlerwerte von zwei verschiedenen Tests sind unabhängig und damit unkorreliert: ${\displaystyle \rho (E_{\text{Test1}},E_{\text{Test2}})=0}$.

Je größer der Messfehler, desto geringer ist der wahre Merkmalsanteil und desto weniger zuverlässig misst ein Test.

Aus den ersten beiden Axiomen folgt zudem:

${\displaystyle \mathbb {E} (T)=\mathbb {E} (X)}$

Dies besagt, dass der Messfehler verschwindet, wenn entweder ein Test an vielen Individuen angewandt wird oder ein Test mehrfach bei ein und derselben Person angewandt wird.

Das zentrale Konzept der klassischen Testtheorie ist die Reliabilität, das ist die Zuverlässigkeit bzw. Genauigkeit (Freiheit von Messfehlern), mit der ein Testwert den wahren Wert erfasst. Die Reliabilität wird theoretisch als das Verhältnis der Varianz der wahren Werte zur Varianz der Testwerte definiert:

${\displaystyle {\text{Reliabilität}}={\frac {\sigma _{T}^{2}}{\sigma _{X}^{2}}}={\frac {\sigma _{T}^{2}}{\sigma _{T}^{2}+\sigma _{E}^{2}}}}$[1]

mit ${\displaystyle \sigma _{T}^{2}}$ als Varianz des messfehlerfreien Testwerts und ${\displaystyle \sigma _{E}^{2}}$ als Varianz des Messfehlers.

Aus dieser Darstellung wird eine zunächst paradoxe Schlussfolgerung anschaulich: Eine Erhöhung der Variabilität systematischer Fehler (Verzerrungen) führt zu einer Erhöhung der Reliabilität, da sie nicht zu ${\displaystyle \sigma _{E}^{2}}$, sondern zu ${\displaystyle \sigma _{T}^{2}}$ hinzugerechnet werden.

Die Objektivität spielt in der klassischen Testtheorie eine untergeordnete Rolle. Die KTT ist eine Theorie, deren Axiome sich hauptsächlich auf Messfehler beziehen. Sie ist damit eine Theorie der Messfehler – und damit indirekt eine Theorie der Reliabilität, die ja als Freiheit von (unsystematischen) Messfehlern definiert ist. Objektivität lässt sich hierbei als Unteraspekt von Reliabilität auffassen, da Objektivität das Ausmaß betrifft, in dem sich die Varianz des Testwerts nicht auf eine Varianz ausgehend vom Versuchsleiter bzw. den Testbedingungen zurückführen lässt (z. B. Versuchsleitereffekt). Objektivität schließt also Messfehler, die durch den Untersuchungsleiter und die -bedingungen zustande kommen aus (ebenso wie die Reliabilität) und lässt sich in verschiedene Aspekte unterteilen:

• Durchführungsobjektivität - Testergebnisse variieren nicht aufgrund unterschiedlicher Untersuchungsbedingungen in verschiedenen Messgelegenheiten

• Auswertungsobjektivität - Die Testscores bzw. Ergebnisse in einem Test variieren nicht aufgrund unterschiedlicher Auswerter
• Interpretationsobjektivität - Die Schlussfolgerungen, die aus dem Testergebnis gezogen werden, variieren nicht aufgrund unterschiedlicher Auswerter

Besonders bei den letzten beiden Punkten wird die Verwandtschaft zur Reliabilität deutlich. Theoretisch ließen sich die beiden Aspekte durchaus quantitativ durch die Interrater-Übereinstimmung erfassen. In der Praxis werden jedoch überwiegend Bedingungen sichergestellt, von denen man ausgeht, dass sie Objektivität herbeiführen. So wird ein möglichst standardisierter Test mit festen Interpretationshilfen im Manual als Garant für Auswertungs- und Interpretationsobjektivität betrachtet. Standardisierte Untersuchungsbedingungen hingegen sollen Durchführungsobjektivität gewährleisten. Hier wird meist nur unterschieden zwischen gegeben und nicht gegeben.

Analog zur Reliabilität kann die Validität in der klassischen Testtheorie aufgefasst werden als der Anteil der Varianz, der ausschließlich auf das zu messende Konstrukt und nicht auf unsystematische, zufällige Fehler oder systematische Verzerrungen zurückgeht.

${\displaystyle {\text{Validität}}={\frac {\sigma _{C}^{2}}{\sigma _{X}^{2}}}={\frac {\sigma _{C}^{2}}{\sigma _{C}^{2}+\sigma _{B}^{2}+\sigma _{E}^{2}}}}$

mit ${\displaystyle \sigma _{C}^{2}}$ als Varianz, die ausschließlich auf das zu untersuchende Konstrukt zurückzuführen ist, ${\displaystyle \sigma _{B}^{2}}$ als Varianz der systematischen Verzerrungen (englisch bias) und ${\displaystyle \sigma _{E}^{2}}$ als Varianz des Messfehlers.

Im Gegensatz zur Reliabilität führt hier eine Erhöhung des systematischen Fehlers zu einer Verminderung, was intuitiv nachvollziehbar ist.

• Die Annahmen der klassischen Testtheorie sind einfach gehalten und mathematisch recht anspruchslos im Gegensatz zur Probabilistischen Testtheorie
• Die KTT wurde bereits in vielen Tests umgesetzt und hat sich dadurch praktisch bewährt.

• Möglicherweise ist die Annahme ${\displaystyle X=T+E}$ zu grob, da verschiedene Arten von Fehlern berücksichtigt werden müssten. Hier bietet das erweiterte Latent-State-Trait-Modell (Steyer und andere) einen weiterführenden Ansatz.
• Die Stichprobenabhängigkeit von Reliabilität, Itemschwierigkeit und Itemtrennschärfe wird in der KTT nicht oder nur ungenügend beachtet.[2]
• Die Homogenität von Items kann im Rahmen der KTT nicht geprüft werden.
• Nach dem Verdünnungsparadox sinkt die kriterienbezogene Validität eines Tests mit wachsender Reliabilität von Kriterium und validiertem Test.[3]
• Die klassische Testtheorie kann nur stabile Persönlichkeitsmerkmale messen. Würde sich nämlich der wahre Wert verändern, stünde dies im Widerspruch zum zweiten Axiom, dass Erwartungswert und Mittelwert der Fehler beziehungsweise die Summe über die Fehler gleich null sind.[4]
• Es werden Daten auf dem Niveau einer Intervallskala vorausgesetzt, denn es werden Mittelwerte und Varianzen berechnet.[2]

Die Auswertung psychometrischer Daten kann auch durch Latent-Trait Theorien (z. B. Rasch-Modell) erfolgen. Diese können einige der Probleme, die mit der KTT einhergehen, lösen, schaffen aber auch neue (siehe auch Probabilistische Testtheorie).

• Gustav A. Lienert, Ulrich Raatz: Testaufbau und Testanalyse. 6. Auflage. Beltz-Verlags-Union, Weinheim 1998, ISBN 3-621-27424-3.
• Helfried Moosbrugger, Augustin Kelava (Hrsg.): Testtheorie und Fragebogenkonstruktion. 2. aktualis. Auflage. Springer-Medizin-Verlag, Heidelberg 2012, ISBN 978-3-642-20071-7.
• Frederic M. Lord, Melvin R. Novick: Statistical theories of mental test scores. Addison-Wesley, Reading MA u. a. 1968, ISBN 0-201-04310-6.

• videoonline.edu.lmu.de

1. Schmitz-Atzert, Amelang: Psychologische Diagnostik. 5., vollständig überarbeitete und erweiterte Auflage. Springer, Berlin/ Heidelberg 2012, ISBN 978-3-642-17000-3, S. 40 ff.
2. Hermann-Josef Fisseni: Lehrbuch der psychologischen Diagnostik. 3., überarbeitete und erweiterte Auflage. Hogrefe, Göttingen 2004, ISBN 3-8017-1756-9, S. 81.
3. Hermann-Josef Fisseni: Lehrbuch der psychologischen Diagnostik. 3., überarbeitete und erweiterte Auflage. Hogrefe, Göttingen 2004, ISBN 3-8017-1756-9, 4.3.3.4.
4. Hermann-Josef Fisseni: Lehrbuch der psychologischen Diagnostik. 3., überarbeitete und erweiterte Auflage. Hogrefe, Göttingen 2004, ISBN 3-8017-1756-9, S. 50.