Statistischer Test

Es soll versucht werden, einen Test auf hellseherische Fähigkeiten zu entwickeln.

Einer Testperson wird 25-mal die Rückseite einer rein zufällig gewählten Spielkarte gezeigt und sie wird jeweils danach gefragt, zu welcher der vier Farben (Kreuz, Pik, Herz, Karo) die Karte gehört. Die Anzahl der Treffer nennen wir ${\displaystyle X}$.

Da die hellseherischen Fähigkeiten der Person getestet werden sollen, gehen wir vorläufig von der Nullhypothese aus, die Testperson sei nicht hellsehend. Die Alternativhypothese lautet entsprechend: Die Testperson ist hellseherisch begabt.

Was bedeutet das für unseren Test? Wenn die Nullhypothese richtig ist, wird die Testperson nur versuchen können, die jeweilige Farbe zu erraten. Für jede Karte gibt es bei vier Farben eine Wahrscheinlichkeit von ${\displaystyle {\tfrac {1}{4}}}$, die richtige Farbe zu erraten. Wenn die Alternativhypothese richtig ist, hat die Person für jede Karte eine größere Wahrscheinlichkeit als 1/4. Wir nennen die Wahrscheinlichkeit einer richtigen Vorhersage ${\displaystyle p}$.

Die Hypothesen lauten dann:[1]

${\displaystyle H_{0}\colon \;p={\frac {1}{4}}}$

und

${\displaystyle H_{1}\colon \;p>{\frac {1}{4}}}$.

Wenn die Testperson alle 25 Karten richtig benennt, werden wir sie als Hellseher betrachten und die Alternativhypothese annehmen. Und mit 24 oder 23 Treffern auch. Andererseits gibt es bei nur 5 oder 6 Treffern keinen Grund dazu. Aber was wäre mit 12 Treffern? Was wäre mit 17 Treffern? Wo liegt die kritische Anzahl an Treffern ${\displaystyle c}$, von der an wir nicht mehr glauben können, es seien reine Zufallstreffer?

Das kommt darauf an, wie kritisch man genau sein will, also wie oft man eine Fehlentscheidung erster Art zulässt. Mit ${\displaystyle c=25}$ ist die Wahrscheinlichkeit einer solchen Fehlentscheidung, also die Wahrscheinlichkeit, dass eine nicht hellseherische Testperson nur rein zufällig 25-mal richtig geraten hat, extrem klein:

${\displaystyle P(T\in A\mid H_{0}{\text{ ist richtig}})=P\left(X\geq 25\mid p={\tfrac {1}{4}}\right)=\left({\tfrac {1}{4}}\right)^{25}\approx 10^{-15}}$,

Hier stellt A den Ablehnbereich dar. Wir nehmen ${\displaystyle H_{0}}$ an, wenn für die Teststatistik des Test gilt, dass ${\displaystyle T\notin A}$ und lehnen ${\displaystyle H_{0}}$ ab, wenn ${\displaystyle T\in A}$.

Weniger kritisch, mit ${\displaystyle c=10}$, erhalten wir mit der Binomialverteilung, ${\displaystyle B(\cdot \mid p,25)}$, eine wesentlich größere Wahrscheinlichkeit:

${\displaystyle P(T\in A\mid H_{0}{\text{ ist richtig}})=P\left(X\geq 10\mid p={\tfrac {1}{4}}\right)=\sum _{i=10}^{25}B\left(i\mid {\tfrac {1}{4}},25\right)=\sum _{i=10}^{25}{\binom {25}{i}}\left({\tfrac {1}{4}}\right)^{i}\left(1-{\tfrac {1}{4}}\right)^{25-i}\approx 0{,}07}$

Vor dem Test wird eine Wahrscheinlichkeit für den Fehler erster Art festgesetzt, das Signifikanzniveau ${\displaystyle \alpha }$. Typisch sind Werte zwischen 1 % und 5 %. Abhängig davon lässt sich (hier für den Fall ${\displaystyle \alpha =1\%}$) dann ${\displaystyle c}$ so bestimmen, dass

${\displaystyle P(T\in A\mid H_{0}{\text{ ist richtig}})=P\left(X\geq c\mid p={\tfrac {1}{4}}\right)\leq 0{,}01}$

gilt. Unter allen Zahlen ${\displaystyle c}$, die diese Eigenschaft erfüllen, wird man zuletzt ${\displaystyle c}$ als die kleinste Zahl wählen, die diese Eigenschaft erfüllt, um die Wahrscheinlichkeit für den Fehler zweiter Art klein zu halten. In diesem konkreten Beispiel folgt: ${\displaystyle c=13}$. Ein Test dieser Art heißt Binomialtest, da die Anzahl der Treffer unter der Nullhypothese binomialverteilt ist.

Eine messbare Funktion ${\displaystyle \varphi \colon {\mathcal {X}}\rightarrow \{0,1\}}$ heißt (nichtrandomisierter)Test.[4] Die Funktion ${\displaystyle \varphi }$ heißt auch Testfunktion und hat folgende inhaltliche Interpretation als Entscheidungsregel:

• ${\displaystyle \varphi (x)=1\iff }$ ${\displaystyle H_{0}}$ wird abgelehnt (oder verworfen)
• ${\displaystyle \varphi (x)=0\iff }$ ${\displaystyle H_{0}}$ wird nicht abgelehnt (oder beibehalten)

Das Testergebnis '${\displaystyle H_{0}}$ wird abgelehnt' wird auch verbal umschrieben als '${\displaystyle H_{0}}$ ist mit der Beobachtung nicht verträglich', '${\displaystyle H_{1}}$ ist signifikant' oder '${\displaystyle H_{1}}$ wird durch die Beobachtung statistisch nachgewiesen'.[5]

Es sind zwei Arten von Fehlentscheidungen möglich: Der Fehler 1. Art wird begangen, wenn ${\displaystyle H_{0}}$ fälschlich abgelehnt wird, der Fehler 2. Art wird begangen, wenn ${\displaystyle H_{0}}$ nicht abgelehnt wird, obwohl ${\displaystyle H_{0}}$ falsch ist.

Die Menge ${\displaystyle K_{\varphi }=\{x\in {\mathcal {X}}\mid \varphi (x)=1\}}$ derjenigen Beobachtungsergebnisse ${\displaystyle x}$, die zu einer Ablehnung von ${\displaystyle H_{0}}$ führen, heißt kritischer Bereich[5] (auch Ablehnungsbereich[6] oder Ablehnbereich[5]) des Tests. Es gilt die Äquivalenz ${\displaystyle x\in K_{\varphi }\iff \varphi (x)=1}$ für die Aussagen und die Gleichheit ${\displaystyle \{X\in K_{\varphi }\}=\{\varphi (X)=1\}}$ der Ereignisse. Die Komplementmenge ${\displaystyle {\mathcal {X}}\setminus K_{\varphi }}$ heißt Nichtablehnungsbereich oder Annahmebereich.

Die Funktion ${\displaystyle G_{\varphi }(\theta )\colon \Theta \to [0,1]}$ mit

${\displaystyle G_{\varphi }(\theta )=\mathbb {P} _{\theta }(X\in K_{\varphi })=\mathbb {P} _{\theta }(\varphi (X)=1)=P_{\theta }(K_{\varphi })}$

ordnet jedem Parameterwert ${\displaystyle \theta }$ die Wahrscheinlichkeit ${\displaystyle P_{\theta }(K_{\varphi })}$ zu, mit der ${\displaystyle H_{0}}$ abgelehnt wird, und heißt Gütefunktion des Tests.[7]

Die Gütefunktion eines Tests enthält alle Informationen darüber, mit welchen Wahrscheinlichkeiten bei der Testentscheidung die Fehler 1. oder 2. Art begangen werden. Die Wahrscheinlichkeiten ${\displaystyle G_{\varphi }(\theta )}$ für ${\displaystyle \theta \in \Theta _{0}}$ sind die Fehlerwahrscheinlichkeiten 1. Art, also die Wahrscheinlichkeiten, dass bei der Testenscheidung ein Fehler 1. Art begegangen wird. Die Wahrscheinlichkeiten ${\displaystyle 1-G_{\varphi }(\theta )}$ für ${\displaystyle \theta \in \Theta _{1}}$ sind die Fehlerwahrscheinlichkeiten 2. Art, also die Wahrscheinlichkeiten, dass bei der Testenscheidung ein Fehler 2. Art begegangen wird.

Sei nun ein Signifikanz-Niveau ${\displaystyle \alpha \in (0,1)}$ vorgegen, das auch zugelassene oder erlaubte Irrtumswahrscheinlichkeit heißt. Dann heißt ein Test ${\displaystyle \varphi }$ ein Signifikanz-Test zum Niveau ${\displaystyle \alpha }$[8] für das Testproblem ${\displaystyle H_{0}}$ gegen ${\displaystyle H_{1}}$ (auch Niveau-${\displaystyle \alpha }$-Test), wenn

${\displaystyle \mathbb {P} _{\theta }(X\in K_{\varphi })\leq \alpha \quad {\text{für alle }}\theta \in \Theta _{0}}$

gilt. Diese Bedingung heißt Niveau-${\displaystyle \alpha }$-Bedingung[8] und kann auch in der Form

${\displaystyle \sup _{\theta \in \Theta _{0}}\mathbb {P} _{\theta }(X\in K_{\varphi })\leq \alpha }$

geschrieben werden. Durch die Niveau-${\displaystyle \alpha }$-Bedingung werden die Fehlerwahrscheinlichkeiten 1. Art durch ${\displaystyle \alpha }$ nach oben beschränkt.

Die linke Seite der Ungleichung in der Niveau-${\displaystyle \alpha }$-Bedingung heißt Umfang des Tests[9] oder tatsächliches Niveau des Testes[10].

Ein Niveau-${\displaystyle \alpha }$-Test heißt Test mit Umfang ${\displaystyle \alpha }$ (oder kurz Umfang-${\displaystyle \alpha }$-Test), wenn

${\displaystyle \sup _{\theta \in \Theta _{0}}\mathbb {P} _{\theta }(X\in K_{\varphi })=\alpha }$

gilt.[11] Man sagt dann auch: der Test schöpft das vorgegebene Signifikanzniveau aus. Wenn der Umfang des Tests kleiner als das vorgegebene Signifikanzniveau ist, heißt der Test konservativ.[12]

In der Regel sucht man einen Test ${\displaystyle \varphi }$, der bei eingehaltener Niveau-${\displaystyle \alpha }$-Bedingung die Fehlerwahrscheinlichkeiten 2. Art

${\displaystyle \mathbb {P} _{\theta }(X\notin K_{\varphi })=1-\mathbb {P} _{\theta }(X\in K_{\varphi })\quad {\text{für }}\theta \in \Theta _{1}}$

minimiert.[8]

Als Minimalanforderung an einen Test gilt die Unverfälschheit des Tests[13], die besagt, dass die Ablehnwahrscheinlichkeiten ${\displaystyle \mathbb {P} _{\theta }(X\in K_{\varphi })}$, wenn ${\displaystyle H_{0}}$ falsch ist ('unter ${\displaystyle H_{1}}$'), mindestens so groß sein müssen, wie diejenigen, wenn ${\displaystyle H_{0}}$ richtig ist ('unter ${\displaystyle H_{0}}$'), formal

${\displaystyle \sup _{\theta \in \Theta _{0}}\mathbb {P} _{\theta }(X\in K_{\varphi })\leq \inf _{\theta \in \Theta _{1}}\mathbb {P} _{\theta }(X\in K_{\varphi })}$.

Meistens ist ${\displaystyle X}$ eine ${\displaystyle n}$-dimensionale Zufallsvariable mit Werten in ${\displaystyle {\mathcal {X}}\subseteq \mathbb {R} ^{n}}$, wobei ${\displaystyle n}$ den Stichprobenumfang bezeichnet. Die formale Definition und die praktische Durchführung eines Tests basiert häufig auf einer eindimensionalen reellwertigen Teststatistik (oder Prüfgröße) ${\displaystyle T=T(X)}$ für die ein Ablehnbereich als Teilmenge von ${\displaystyle \mathbb {R} }$ angegeben wird.

Die Definition eines randomisierten Tests verläuft ähnlich wie beim nichtrandomisierten Test. Jedoch ist ein randomisierter Test eine messbare Funktion ${\displaystyle \varphi \colon {\mathcal {X}}\rightarrow [0,1]}$,

${\displaystyle \varphi (x)={\begin{cases}1&{\text{für }}x\in K_{1},\\\gamma (x)&{\text{für }}x\in K_{01}\\0&{\text{für }}x\in K_{0}\end{cases}}}$

der folgende Interpretation als Entscheidungsregel zugrunde liegt: die Nullhypothese ${\displaystyle H_{0}}$ wird abgelehnt, falls ${\displaystyle x\in K_{1}}$; ${\displaystyle H_{0}}$ wird nicht abgelehnt, falls ${\displaystyle x\in K_{0}}$; ${\displaystyle H_{0}}$ wird mit der Wahrscheinlichkeit ${\displaystyle \gamma (x)}$ abgelehnt, falls ${\displaystyle x\in K_{01}}$.[4] Der Stichprobenraum ${\displaystyle {\mathcal {X}}}$ wird durch eine randomisierten Test in drei disjunkte Teilbereiche zerlegt, den strikten Ablehnungsbereich

${\displaystyle K_{1}=\{x\in {\mathcal {X}}\mid \varphi (x)=1\}\;,}$

den strikten Annahmebereich

${\displaystyle K_{0}=\{x\in {\mathcal {X}}\mid \varphi (x)=0\}}$

und den Randomisierungsbereich

${\displaystyle K_{01}=\{x\in {\mathcal {X}}\mid 0<\varphi (x)<1\}\;.}$

Wenn eine Beobachtung im Randomisierungsbereich liegt, wird ${\displaystyle H_{0}}$ mit der Wahrscheinlichkeit ${\displaystyle \gamma (x)}$ abgelehnt und mit der Wahrscheinlichkeit ${\displaystyle 1-\gamma (x)}$ nicht abgelehnt, wozu ein weiteres Zufallsexperiment erforderlich ist.[4]

Randomisierte Tests spielen für die Konstruktion von Tests eine Rolle, bei denen das vorgegebene Signifikanzniveau ${\displaystyle \alpha }$ ausgeschöpft, also ein Umfang-${\displaystyle \alpha }$-Test konstruiert werden soll. Die Existenz eines nichtrandomisierten Umfang-${\displaystyle \alpha }$-Test ist im Allgemeinen nicht gewährleistet, z. B. wenn die Teststatistik eine diskrete Verteilung hat. Häufig genügt eine Beschränkung auf Tests mit konstanter Randomisierung[14], d. h. ${\displaystyle \gamma (x)={\bar {\gamma }}}$ für alle ${\displaystyle x\in K_{01}}$ mit einer Konstanten ${\displaystyle {\bar {\gamma }}\in (0,1)}$, um einen Umfang-${\displaystyle \alpha }$-Test zu konstruieren.[15] Beispielsweise ist ein Binomialtest wegen der Diskretheit der Teststatistik in der Regel konservativ, schöpft also das vorgegebene Signifikanzniveau nicht aus, kann aber in einer randomisierten Variante zu einem Umfang-${\displaystyle \alpha }$-Test modifiziert werden.[16][17]

In der Anwendung von Tests spielen randomisierte Tests eine unbedeutende Rolle. Sie sind nur dann anwendbar, wenn auf Anwenderseite die Bereitschaft besteht, die letztendliche Entscheidung durch einen Zufallsmechanismus, z. B. durch einen Würfelwurf, Benutzung einer Tabelle von Zufallszahlen oder die Verwendung eines Zufallsgenerators, fällen zu lassen.

Bei parametrischen Test wird angenommen, dass den beobachteten Daten eine Wahrscheinlichkeitsverteilung zugrunde liegt, die in einer Klasse von Verteilungen liegt, welche mittels Parametern charakterisiert werden kann.[19] Beispielsweise wird die Annahme gemacht, dass die Daten normalverteilt sind, also die Verteilung der Daten in der Klasse der Normalverteilungen liegt, welche durch die Parameter Mittelwert und Varianz charakterisiert sind. Nullhypothese und Alternativhypothese lassen sich dann häufig ebenfalls mithilfe von Parametern beschreiben.

Bei parametrischen Tests ist es wichtig, die getroffenen Voraussetzungen zu überprüfen. Die Daten sollten (annähernd) aus der angenommenen Verteilungsklasse stammen. Jedoch sind auch manche parametrischen Testverfahren bei Abweichungen von den Voraussetzungen (gerade bei großen Stichprobenumfang) robust. Beispielsweise ist der T-Test bei großen Stichprobenumfängen noch immer zuverlässig, auch wenn die Daten nicht – wie eigentlich vorausgesetzt – normalverteilt sind.

Sofern die gemachten Verteilungsannahmen nicht stimmen, sind die Ergebnisse des Tests in den meisten Fällen unbrauchbar. Speziell lässt sich die Wahrscheinlichkeit für einen Fehler zweiter Art nicht mehr sinnvoll minimieren. Man spricht dann davon, dass für viele Alternativen die Trennschärfe sinkt.

Bei nichtparametrischen Tests (auch parameterfreie Tests oder Verteilungstests genannt) wird nicht angenommen, dass die Wahrscheinlichkeitsverteilung, die den Beobachtungen zugrunde liegt, aus einer Familie von Verteilungen stammt, die sich durch Parameter charakterisieren lässt.[19] In der Regel treffen nichtparametrische Tests jedoch ebenfalls Annahmen über die zugrundeliegenden Verteilungen. Oft wird angenommen, dass den Daten eine stetige Verteilung zugrunde liegt, oder dass die Verteilung symmetrisch ist. Die Nullhypothese und Alternativhypothese bei nichtparametrischen Tests kann durchaus mittels Parametern formuliert werden. Beispielsweise liegt dem Wilcoxon-Vorzeichen-Rang-Test die Nullhypothese zugrunde, dass der Median der Verteilung (die als symmetrisch angenommen wird) kleiner, gleich, oder größer einem gegebenen Wert ist. Nichtparametrische Tests kommen also mit anderen Vorannahmen aus, die Menge der für Hypothese und Alternative zugelassenen Verteilungen lässt sich nicht durch einen Parameter beschreiben.

Typische Beispiele:

• Tests auf eine bestimmte Verteilungsfunktion wie der Kolmogorow-Smirnow-Test.
• Der Wilcoxon-Mann-Whitney-Test vergleicht die Lage zweier unabhängiger Stichproben.
• Der Kruskal-Wallis-Test vergleicht die Lage von zwei oder mehr Gruppen unabhängiger Stichproben.
• Der Wilcoxon-Vorzeichen-Rang-Test vergleicht die Lage zweier abhängiger Stichproben (bspw. Paarvergleiche), bzw. prüft man, ob der Median größer, kleiner, oder gleich einem vorgegebenen Wert ist.
• Der Friedman-Test vergleicht die Lage von drei oder mehr Gruppen abhängiger Stichproben.

Die aufgezählten Tests treffen alle Annahmen über die zugrundeliegende Wahrscheinlichkeitsverteilung der Daten, die erfüllt sein müssen. Beispielsweise geht der Wilcoxon-Vorzeichen-Rang-Test von einer symmetrischen stetigen Verteilung aus. Gerade die Voraussetzung einer stetigen Verteilung ist in der Praxis oft nicht gegeben. Bei einer stetigen Verteilung würden Bindungen mit Wahrscheinlichkeit 0 auftreten. Das ist in der Praxis aufgrund von Rundungsfehlern oft nicht erfüllt. In solchen Fällen greift man auf korrigierte Versionen der jeweiligen Verfahren zurück. Da parametrische Tests trotz Verletzung ihrer Annahmen häufig eine bessere Trennschärfe bieten als nichtparametrische, kommen letztere eher selten zum Einsatz.

Bei verteilungsgebundenen oder parametrischen Tests[20] hängt die Teststatistik ${\displaystyle T}$ von der Verteilung der Stichprobenvariablen ${\displaystyle X_{i}}$, also ihrer Verteilung in der Grundgesamtheit, ab. Oft wird eine Normalverteilung vorausgesetzt.

Bei verteilungsfreien Tests, auch nichtparametrische oder parameterfreie Tests genannt[20][21][22], hängt die Teststatistik ${\displaystyle T}$ nicht von der Verteilung der Stichprobenvariablen ${\displaystyle X_{i}}$ ab.

Bei einem konservativen Test gilt, dass die Wahrscheinlichkeiten für einen Fehler 1. Art (Annahme der Alternativhypothese als Ergebnis der Testentscheidung, obwohl die Nullhypothese wahr ist) kleiner als das vorgegebene Signifikanzniveau ${\displaystyle \alpha }$ ist. Dadurch wird der Nichtablehnungsbereich der Nullhypothese größer als eigentlich notwendig und eine richtige Nullhypothese wird seltener abgelehnt, als durch das vorgegebene Signifikanzniveau ${\displaystyle \alpha }$ erlaubt ist. Der Test ist in dem Sinn konservativ, dass er die Nichtablehnung einer richtigen Nullhypothese begünstigt und so an der Nullhypothese festhält. Zugleich erhöht ein konservativer Test tendenziell die Fehlerwahrscheinlichkeiten 2. Art.

Ein Beispiel für einen konservativen Test ist der Binomialtest (Test auf Anteilswert, z. B. ${\displaystyle H_{0}\colon \pi \leq \pi _{0}}$ vs. ${\displaystyle H_{1}\colon \pi >\pi _{0}}$). Wegen bestimmter Monotonieeigenschaften kann der Test mit Hilfe der zu dem speziellen Parameterwert ${\displaystyle \pi _{0}}$ gehörenden Wahrscheinlichkeitsverteilung der Teststatistik durchgeführt werden. Aufgrund der Diskretheit der Teststatistik ${\displaystyle T}$ kann man im Allgemeinen nicht erreichen, dass für den kritischen Wert ${\displaystyle c}$ gilt: ${\displaystyle P_{\pi _{0}}(T>c)=\alpha }$. Daher wählt man ${\displaystyle c}$ möglichst klein, aber, so dass ${\displaystyle P_{\pi _{0}}(T>c)\leq \alpha }$ noch erfüllt ist. Dadurch erhält man einen Niveau-α-Test, der aber im Allgemeinen kein Umfang-α-Test ist, der also das vorgegebene Signifikanzniveau nicht ausschöpft. Der Umfang des Tests (die maximale Fehlerwahrscheinlich 1. Art) kann erheblich unter dem vorgegebenen Signifikanzniveau liegen.

Exakte Tests sind Tests, deren Annahmen in Bezug auf die Verteilung der Teststatistik bei Gültigkeit der Nullhypothese alle exakt sind. Dadurch kann der Fehler 1. Art (Ablehnung der Nullhypothese, obwohl diese gültig ist) exakt kontrolliert werden.

Exakte Tests sind etwa der Fisher-Test, der Permutationstest oder der Binomialtest.

Ein Beispiel ist auch hier der Binomialtest (Test auf Anteilswert, z. B. ${\displaystyle H_{0}\colon \pi \leq \pi _{0}}$ vs. ${\displaystyle H_{1}\colon \pi >\pi _{0}}$). Aufgrund des zentralen Grenzwertsatzes kann die binomialverteilte Teststatistik ${\displaystyle T}$ mit der Normalverteilung approximiert werden, z. B. falls ${\displaystyle n\cdot \pi _{0}\cdot (1-\pi _{0})\geq 9}$ gilt. Unter Umständen ist in diesem Fall zur besseren Approximation die Anwendung einer Stetigkeitskorrektur notwendig.

Im Falle eines eindimensionalen Parameters ${\displaystyle \theta }$ mit Werten in einem Parameterraum ${\displaystyle \Theta \subseteq \mathbb {R} }$ spricht man in den beiden Fällen

${\displaystyle H_{0}\colon \theta \leq \theta _{0}\quad {\text{versus}}\quad H_{1}\colon \theta >\theta _{0}}$

und

${\displaystyle H_{0}\colon \theta \geq \theta _{0}\quad {\text{versus}}\quad H_{1}\colon \theta <\theta _{0}}$

von einer einseitigen Gegenhypothese und im Fall

${\displaystyle H_{0}\colon \theta =\theta _{0}\quad {\text{versus}}\quad H_{1}\colon \theta \neq \theta _{0}}$

von einer zweiseitigen Gegenhypothese. Dabei ist ${\displaystyle \theta _{0}}$ ein spezifizierter Parameter in ${\displaystyle \Theta }$. In den ersten beiden Fällen kann die Nullhypothese auch von der Form ${\displaystyle H_{0}\colon \theta =\theta _{0}}$ sein. Man spricht in diesem Zusammenhang auch von einseitigen und zweiseitigen Testproblemen oder kürzer von einseitigen und zweiseitigen Tests.

Häufig, aber nicht immer, ist der Ablehnungsbereich für eine Teststatistik ${\displaystyle T}$, die von einer Schätzfunktion für den Parameter ${\displaystyle \theta }$ abgeleitet ist, beim ersten Hypothesenpaar ein Intervall der Form ${\displaystyle (a,\infty )}$, beim zweiten Hypothesenpaar ein Intervall der Form ${\displaystyle (-\infty ,b)}$ und beim dritten Hypothesenpaar von der Form ${\displaystyle (-\infty ,c)\cup (d,\infty )}$ mit ${\displaystyle c<d}$. In diesem Fall spricht man bei der Festlegung des Ablehnungsbereichs auch davon, dass man einseitig oder zweiseitig testet. Ablehnungsbereiche können aber auch bei einseitigen Testproblemen komplizierter sein als Intervalle oder Vereinigungen von zwei Intervallen.

Beim Vergleich der Wirkung (z. B. von zwei Arzneimitteln) ist es manchmal sinnvoll, beim Mittelwertvergleich nicht einen Standardtest mit dem Hypothesenpaar

${\displaystyle H_{0}\colon \mu _{1}=\mu _{2}\quad {\text{versus}}\quad H_{1}\colon \mu _{1}\neq \mu _{2}}$

durchzuführen, sondern einen Toleranzbereich zu verwenden, in dem von Äquivalenz (Gleichwertigkeit) ausgegangen wird. Dazu wird eine positive Konstante ${\displaystyle c}$ zur Charakterisierung eines inhaltlich relevanten Unterschiedes vorgegeben und es wird das Hypothesenpaar

${\displaystyle H_{0}\colon |\mu _{1}-\mu _{2}|>c\quad {\text{versus}}\quad H_{1}\colon |\mu _{1}-\mu _{2}|\leq c}$

getestet. Wenn ${\displaystyle H_{0}}$ mit einem Signifikanztest zugunsten von ${\displaystyle H_{1}}$ abgelehnt wird, liegt statistisch gesicherte Äquivalenz vor. Ein solcher Signifikanztest heißt Äquivalenztest.[23][24]

Beim Vergleich der Wirkung eines neuen Wirkstoffs (z. B. eines neuen Arzneimittels) mit einem etablierten Referenzstoff wird manchmal getestet, ob der neue Wirkstoff vergleichbar oder nur unbedeutend schlechter ist. Man spricht dann von der Nichtunterlegenheit des neuen Wirkstoffs. Dazu wird eine positive Konstante ${\displaystyle c}$ zur Charakterisierung eines inhaltlich relevanten Unterschiedes vorgegeben und es wird das Hypothesenpaar

${\displaystyle H_{0}\colon \mu _{1}<\mu _{0}-c\quad {\text{versus}}\quad H_{1}\colon \mu _{1}\geq \mu _{0}-c}$

getestet. Dabei ist ${\displaystyle \mu _{0}}$ die mittlere Wirkung des Referenzstoffes und ${\displaystyle \mu _{1}}$ die mittlere Wirkung des neuen Wirkstoffes. Wenn die Nullhypothese mit einem Signifkanztest zugunsten der Gegenhypothese abgelehnt wird, gilt der neue Wirkstoff statistisch gesichert als nicht unterlegen. Ein solcher Signifikanztest heißt Nichtunterlegenheitstest.[23][24]

Will man anstelle der Nichtunterlegenheit die signifikante Überlegenheit des Referenzstoffes nachweisen, so ist

${\displaystyle H_{0}\colon \mu _{1}\leq \mu _{0}\quad {\text{versus}}\quad H_{1}\colon \mu _{1}>\mu _{0}}$

zu testen. Will man eine signifikante Überlegenheit des Referenzstoffes nachweisen, die auch relevant ist, wobei die Relevanz des Unterschiedes durch eine positive Konstante ${\displaystyle c}$ ausgedrückt ist, so ist

${\displaystyle H_{0}\colon \mu _{1}\leq \mu _{0}+c\quad {\text{versus}}\quad H_{1}\colon \mu _{1}>\mu _{0}+c}$

zu testen.

Allgemein heißt ein statistischer Test, bei dem eine Nullhypothese ${\displaystyle H_{0}}$ gegen die Gegenhypothese ${\displaystyle H_{1}}$ getestet wird, Hypothesentest.

Ein statistischer Test einer Nullhypothese ${\displaystyle H_{0}}$ gegen die Gegenhypothese ${\displaystyle H_{1}}$ heißt Signifikanztest zum Niveau ${\displaystyle \alpha }$, wenn es sich um einen Niveau-${\displaystyle \alpha }$-Test im Sinn der Neyman-Peason’schen Testtheorie handelt. Dabei „ [...] wird für die Wahrscheinlichkeiten des Fehlers erster Art eine obere Schranke α (α nahe bei Null) vorgegeben, so daß auf diese Art der Fehler erster Art unter Kontrolle steht. Für den Fehler zweiter Art ist dies nicht der Fall, seine Wahrscheinlichkeiten können (auch bei einem optimalen Niveau-α-Test) sehr groß sein [...]“[25] Die unsymmetrische Behandlung der beiden Fehler führt zu den beiden möglichen – unsymmetrisch interpretierten – Testentscheidungen

${\displaystyle A_{0}:}$ ${\displaystyle H_{0}}$ wird nicht abgelehnt (keine statistische Signifikanz).

${\displaystyle A_{1}:}$ ${\displaystyle H_{0}}$ wird abgelehnt, ${\displaystyle H_{1}}$ ist signifikant.

Der Fehler 1. Art wird kontrolliert, in dem eine Oberschranke für die Fehlerwahrscheinlichkeiten 1. Art vorgegeben wird, das sogenannte Signifikanzniveau ${\displaystyle \alpha \in (0,1)}$. Typische Werte für ein vorgegebenes Signifikanzniveau sind 10 %, 5 %, 1 % und 0,1 %. In einigen Anwendungsbereichen hat sich die Verwendung von ${\displaystyle \alpha =5\%}$ verfestigt.

Ein Signifikanztest ist ungeeignet, eine Nullhypothese im Fall der Nichtablehnung mit statistischer Signifikanz zu bestätigen oder zu sichern. Bei Verwendung eines statistischen Signifikanztests ist daher eine zu stützende Forschungshypothese regelmäßig als Gegenhypothese zu formulieren. Kann die Nullhypothese abgelehnt werden, so gilt die Forschungshypothese als signifikant.

Häufig wird von Anwendern die Nichtablehnung der Nullhypothese eines Signifikanztestes falsch interpretiert, nämlich als statistische Bestätigung der Nullhypothese. Diese Interpretation ist aber nur möglich, wenn zusätzlich Aussagen über die Fehlerwahrscheinlichkeit 2. Art gemacht werden können, was aber in der Regel nicht möglich ist, wenn die Gegenhypothese sehr allgemein ist. Typische Fehlanwendungen dieser Art sind der Einsatz eines Kolmogorow-Smirnow-Tests zur Bestätigung einer bestimmten Verteilungsannahme, der Einsatz des Lilliefors-Tests zur Bestätigung der Normalverteilungsannahme und der Einsatz des Levene-Tests zur Bestätigung der Varianzhomogenität. Aus methodischen Gründen können der Kolmogorow-Smirnow-Test, der Lilliefors-Test bzw. der Levene-Test verwendet werden, um mit statistischer Signifikanz eine bestimmte Verteilungsannahme, die Normalverteilungsannahme bzw. die Homogenitätsannahme der Varianzen abzulehnen.

Ein Hypothesentest, der kein Signifikanztest ist, und eine Alternative behandelt, die aus zwei gleichberechtigten Hypothesen besteht, ist der Alternativtest.

Typisch für einen Signifikanztest im Sinn der Neyman-Pearson’schen Testtheorie ist die unsymmetrische Behandlung der Null- und Gegenhypothese durch die vorrangige Kontrolle des Fehlers 1. Art. In bestimmten Fällen ist stattdessen eine symmetrische Behandlung von zwei Hypothesen ${\displaystyle H_{0}}$ und ${\displaystyle H_{1}}$ erwünscht, die eine Alternative bilden. „Ein derartiger Test heißt Alternativtest. Er besitzt die beiden möglichen Testergebnisse (Testaussagen, Testentscheidungen)

${\displaystyle A_{0}:}$ ${\displaystyle H_{1}}$ wird abgelehnt, ${\displaystyle H_{0}}$ ist signifikant.

${\displaystyle A_{1}:}$ ${\displaystyle H_{0}}$ wird abgelehnt, ${\displaystyle H_{1}}$ ist signifikant.“[26]

Bei Alternativtests erfolgt eine gleichzeitige Kontrolle der Fehler 1. Art und 2. Art.[27][28]

Die Durchschnitts-Vereinigungs-Methode[29] zur Testkonstruktion kommt in Frage, wenn für eine zu testende Hypothese die Nullhypothese als Vereinigung

${\displaystyle H_{0}\colon \theta \in \bigcup _{\gamma \in \Gamma }\Theta _{\gamma }}$

mit einer endlichen oder unendlichen Indexmenge ${\displaystyle \Gamma }$ dargestellt werden kann. Wenn Tests für die einzelnen Hypothesen ${\displaystyle H_{0,\gamma }:\theta \in \Theta _{\gamma }}$ mit der jeweiligen Gegenhypothese ${\displaystyle H_{0,\gamma }:\theta \in \Theta \setminus \Theta _{\gamma }}$ zur Verfügung stehen und wenn ${\displaystyle H_{0}}$ abgelehnt wird, falls alle Nullhypothesen ${\displaystyle H_{0,\gamma }}$ abgelehnt werden, dann wird ein Durchschnitts-Vereinigungs-Test (engl.: intersection-union test) durchgeführt. Der Ablehnungsbereich für den Test ${\displaystyle H_{0}}$ ist dann der Durchschnitt der Ablehnungsbereiche der einzelnen Tests. Im Unterschied zum multiplen Testen sind die Einzeltests im Allgemeinen nur als Hilfsmittel zum Test der Durchschnittshypothese von Interesse.

Wenn die einzelnen Tests Umfang-${\displaystyle \alpha _{\gamma }}$-Tests mit dem Ablehnungsbereich ${\displaystyle A_{\gamma }}$ sind, dann ist der Durchschnitts-Vereinigungs-Test mit dem Ablehnungsbereich ${\displaystyle A=\bigcap _{\gamma \in \Gamma }A_{\gamma }}$ ein Niveau-${\displaystyle \alpha }$-Test mit ${\displaystyle \alpha =\sup _{\gamma \in \Gamma }\alpha _{\gamma }\;.}$[30] Daraus folgt insbesondere, dass der Durchschnitts-Vereinigungs-Test ein Niveau-${\displaystyle \alpha }$-Test ist, wenn alle einzelnen Tests Umfang-${\displaystyle \alpha }$-Tests sind.

Die Vereinigungs-Durchschnitts-Methode[31] zur Testkonstruktion kommt in Frage, wenn für eine zu testende Hypothese die Nullhypothese als Durchschnitt

${\displaystyle H_{0}\colon \theta \in \bigcap _{\gamma \in \Gamma }\Theta _{\gamma }}$

mit einer endlichen oder unendlichen Indexmenge ${\displaystyle \Gamma }$ dargestellt werden kann. Wenn Tests für die einzelnen Hypothesen ${\displaystyle H_{0,\gamma }:\theta \in \Theta _{\gamma }}$ mit der jeweiligen Gegenhypothese ${\displaystyle H_{0,\gamma }:\theta \in \Theta \setminus \Theta _{\gamma }}$ zur Verfügung stehen und wenn ${\displaystyle H_{0}}$ abgelehnt wird, falls irgendeine der Hypothesen ${\displaystyle H_{0,\gamma }}$ abgelehnt wird, dann wird ein Vereinigungs-Durchschnitts-Test (engl.: union-intersection test) durchgeführt. Der Ablehnungsbereich für den Test ${\displaystyle H_{0}}$ ist dann die Vereinigung der Ablehnungsbereiche der einzelnen Tests. Im Unterschied zum multiplen Testen sind die Einzeltests im Allgemeinen nur als Hilfsmittel zum Test der Durchschnittshypothese von Interesse.

Unter multiplem Testen versteht man die simultane Durchführung mehrerer Tests mit denselben Beobachtungen. Multiples Testen führt im Vergleich zur Durchführung eines einzelnen Tests zu mehreren Aufgaben:

1. Die Konzepte des Fehlers 1. Art (auch α-Fehler genannt) und der Fehlerwahrscheinlichkeit 1. Art müssen für multiple Tests verallgemeinert werden. Dies erfolgt durch die Konzepte des multiplen Fehlers 1. Art und der multiplen Fehlerwahrscheinlichkeit 1. Art.
2. Die betrachtete Familie der Hypothesen und die Tests sollten bestimmte Konsistenzbedingungen erfüllen, z. B. Kohärenz, Konsonanz und Abgeschlossenheit.
3. Die vorgegebenen Signifikanzniveaus müssen für mehrere Tests aufeinander abgestimmt werden. Im Zusammenhang mit dieser Fragestellung wird die Alphafehler-Kumulierung relevant.

Ein statistischer Test ist nicht dasselbe wie ein psychologischer Test oder ein medizinischer (Labor-)Test. Dies betrifft nicht nur den Anwendungsbereich, sondern auch die zugrundeliegende Logik. Bei der auf empirischen Studien basierenden Forschung werden selbstverständlich in den beiden Bereichen Psychologie und Medizin auch statistische Tests eingesetzt. Der wesentliche Kern eines statistischen Tests besteht darin, auf Grund des beobachteten Wertes einer zufälligen Beobachtung ${\displaystyle X}$ mit der unbekannten Verteilung ${\displaystyle P}$ zwischen zwei disjunkten nicht-leeren Verteilungsmengen ${\displaystyle {\mathcal {P}}_{0}}$ und ${\displaystyle {\mathcal {P}}_{1}}$ zu unterscheiden, wobei ${\displaystyle P\in {\mathcal {P}}_{0}\cup {\mathcal {P}}_{1}}$ vorausgesetzt ist. Dabei werden bei der Festlegung eines Ablehnungsbereiches im Sinn der Neyman-Pearson’schen Testtheorie bzw. bei einer p-Wert-basierten Testdurchführung die Fehlerwahrscheinlichkeiten 1. und 2. Art unsymmetrisch behandelt.

Ein psychologischer Test versucht, eine nicht direkt messbare Eigenschaft von Personen (z. B. Intelligenz) durch mehrere quantifizierbare Hilfsvariablen zu messen. Die Methoden der Konstruktion und die Gütekriterien eines psychologischen Tests sind völlig andere als die Methoden der Konstruktion und die Gütekriterien eines statistischen Tests.

Mit einem medizinischen Test ist meist ein Labor-Test als Hilfsmittel zur Diagnose gemeint. Dabei wird mit Hilfe der Menge einer z. B. im Blut, Speichel, Urin usw. gemessenen Indikatorsubstanz entschieden, ob der Patient krank (im Sinn einer bestimmten Diagnose) oder gesund ist. Ein solcher medizinischer Test ist eigentlich ein binäres Klassifikationsverfahren, hat aber auch formale Parallelität zu einem statistischen Test mit einfacher Nullhypothese und einfacher Gegenhypothese. Bei der Konstruktion eines Labor-Tests ist im Idealfall die Verteilung der Indikatorsubstanz einerseits in der Gruppe der Kranken und andererseits in der Gruppe der Nichtkranken bekannt. Die Festlegung eines Trennwertes legt die Fehlerwahrscheinlichkeiten 1. Art und 2. Art fest. Dabei wird versucht, durch geeignete Wahl der Indikatorsubstanz beide Fehlerwahrscheinlichkeiten möglichst klein zu halten bzw. die Komplemente der Fehlerwahrscheinlichkeiten, die bei medizinischen Anwendungen Sensitivität und Spezifität heißen, möglichst groß zu halten. Es ist in diesem Zusammenhang üblich, die Nullhypothese, auf die sich der Fehler Art 1. Art bezieht, als „der Patient ist gesund“ festzulegen. Bei gegebenen Verteilungen können durch Festlegung des Trennwertes unterschiedliche Kombinationen der Fehlerwahrscheinlichkeiten 1. Art und 2. Art erreicht werden, die durch die ROC-Kurve beschrieben sind. Die Konstruktion eines solchen Labor-Tests ist eher mit einem statistischen Alternativtest als mit einem Signifikanztest vergleichbar. Eine weitere statistische Komplikation besteht darin, dass die beiden Verteilungen in den Grundgesamtheiten der Gesunden und Kranken nicht bekannt sind, sondern aus Stichproben geschätzt werden müssen.

Vielen anderen Arten medizinischer Tests ist gemeinsam, dass die Nullhypothese einfach ist und inhaltlich je nach Fragestellung kein Effekt, kein Unterschied, keine Wirkung, nicht erkrankt, nicht infiziert usw. bedeutet. Durch Ablehnung der Nullhypothese wird versucht, einen Effekt, einen Unterschied, eine Wirkung, eine Erkrankung, eine Infektion usw. nachzuweisen. Ein beobachtetes Testergebnis heißt in diesem Zusammenhang Befund. Ein Befund, der zur Ablehnung der Nullhypothese führt, heißt positiver Befund, anderenfalls negativer Befund. Ein Fehler 1. Art heißt falsch-positive Entscheidung oder falsch-positive Diagnose, ein Fehler 2. Art heißt falsch-negative Entscheidung oder falsch-negative Diagnose. Bei einem Test mit einfacher Null- und einfacher Alternativhypothese gibt es nur eine Fehlerwahrscheinlichkeit 1. Art, die als 'der' ${\displaystyle \alpha }$-Fehler bezeichnet wird, und nur eine Fehlerwahrscheinlichkeit 2. Art, die als 'der' ${\displaystyle \beta }$-Fehler bezeichnet wird. In diesem Fall heißt das Komplement der Fehlerwahrscheinlichkeit 1. Art die Spezifität des Tests und das Komplement der Fehlerwahrscheinlichkeit 2. Art – die Trennschärfe, Macht oder Güte des Tests in statistischer Terminologie – heißt die Sensitivität des Tests. Die Sensitivität des Tests ist die Wahrscheinlichkeit einer richtigen positiven Diagnose. Die Spezifität des Tests ist die Wahrscheinlichkeit einer richtigen negativen Diagnose. Im medizinischen Bereich wird die Durchführung eines Tests auch Testung genannt.

Eine besondere Art der Testdurchführung ist das sequentielle Testen, wobei der Stichprobenumfang nicht vorgegeben ist. Vielmehr wird bei der laufenden Datenerfassung für jede neue Beobachtung ein Test durchgeführt, ob man aufgrund der bereits erhobenen Daten eine Entscheidung für oder gegen die Nullhypothese treffen kann (siehe Sequentieller Likelihood-Quotienten-Test).