Schätzer, Maximum-Likelihood, t-Test und Chi-Quadrat-Test

In der Statistik kennst du die Grundgesamtheit nicht, du siehst nur eine Stichprobe. Aus ihr will man Kennzahlen der Grundgesamtheit schätzen (Mittelwert, Streuung, Erfolgswahrscheinlichkeit) und Behauptungen über sie testen („Der Mittelwert ist 11,6“, „Der Würfel ist fair“). Die Schulmathematik führt dafür Prognoseintervalle und den Hypothesentest für die Binomialverteilung ein. Im Studium kommen allgemeine Schätzverfahren hinzu und zwei Tests, die in jeder Anwendung gebraucht werden: der t-Test für Mittelwerte und der Chi-Quadrat-Test für Häufigkeiten.

Diese Seite baut auf den Seiten Hypothesentest und Konfidenzintervalle auf. Die Verteilungen dazu stehen auf den Seiten Normalverteilung und Stetige Verteilungen, die theoretische Begründung liefern die Grenzwertsätze.

Schätzer und ihre Güte

Ein Schätzer für einen Parameter $\theta$ ist eine Funktion $T(X_1,\dots ,X_n)$ der Stichprobe. Er ist selbst eine Zufallsgröße, und man bewertet ihn danach, wie sich seine Verteilung zum wahren Wert $\theta$ verhält.

Der Stichprobenmittelwert $\overline{x}=\frac{1}{n}\sum x_i$ ist erwartungstreu für $\mu$: $E\left(\overline{X}\right)=\frac{1}{n}·n\mu =\mu$. Er ist nach dem Gesetz der großen Zahlen auch konsistent. Für die Varianz erwartet man als Schätzer die mittlere quadratische Abweichung $\frac{1}{n}\sum {(x_i-\overline{x})}^2$. Sie ist jedoch nicht erwartungstreu:

Beweis. Es gilt $\sum {(X_i-\mu )}^2=\sum {(X_i-\overline{X})}^2+n{(\overline{X}-\mu )}^2$ (die gemischten Terme verschwinden, weil $\sum (X_i-\overline{X})=0$ ist). Bildet man den Erwartungswert, erhält man $n{\sigma }^2=E(\sum {(X_i-\overline{X})}^2)+n·\frac{{\sigma }^2}{n}$, also $E(\sum {(X_i-\overline{X})}^2)=(n-1){\sigma }^2$.

Der Grund ist anschaulich: Die Abweichungen zum eigenen Mittelwert $\overline{x}$ sind im Schnitt kleiner als die zum wahren $\mu$, denn $\overline{x}$ liegt den Daten näher. Von den $n$ Abweichungen sind nur $n-1$ frei, die letzte ergibt sich aus der Summe 0. Man nennt $n-1$ die Zahl der Freiheitsgrade. Auch $s=\sqrt{s^2}$ ist nicht erwartungstreu für $\sigma$, was in der Praxis aber unbedeutend ist.

Die Maximum-Likelihood-Methode

Wie findet man Schätzer systematisch? Die Idee von Ronald Fisher: Wähle den Parameterwert, unter dem die beobachteten Daten am plausibelsten sind.

ML-Schätzer sind nicht immer erwartungstreu, haben aber bei großem $n$ gute Eigenschaften: Sie sind konsistent, asymptotisch normalverteilt und in einem präzisen Sinn die effizientesten. Deshalb ist die Methode das Standardverfahren, auch in der Regression: Für normalverteilte Fehler liefert sie genau die Methode der kleinsten Quadrate von der Seite Lineare Regression.

Die t-Verteilung und der t-Test

Für den Mittelwert einer normalverteilten Größe mit bekannter Standardabweichung $\sigma$ ist $\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}$ standardnormalverteilt, und man testet mit dem Gauß-Test. In der Praxis kennt man $\sigma$ nicht und ersetzt es durch $s$. Das macht die Prüfgröße unsicherer, und ihre Verteilung hat dickere Ränder.

Der Test lautet: Prüfe $H_0:\mu ={\mu }_0$. Berechne $t=\frac{\overline{x}-{\mu }_0}{s/\sqrt{n}}$ und lehne $H_0$ zum Niveau $\alpha$ (zweiseitig) ab, wenn $\left|t\right|>t_{n-1;1-\alpha /2}$ gilt. Die kritischen Werte für $\alpha =\mathrm{0,05}$ zweiseitig:

Bei kleinen Stichproben ist der kritische Wert viel größer als 1,96, die Unsicherheit durch das geschätzte $s$ wird also berücksichtigt.

Test und Konfidenzintervall hängen eng zusammen. Das 95-Prozent-Konfidenzintervall für $\mu$ ist $\overline{x}\pm t_{n-1;\mathrm{0,975}}·\frac{s}{\sqrt{n}}$, hier $\mathrm{12,0}\pm \mathrm{2,776}·\mathrm{0,1225}=\mathrm{12,0}\pm \mathrm{0,34}$, also $[\mathrm{11,66};\mathrm{12,34}]$. Der Wert $\mathrm{11,6}$ liegt außerhalb, der Wert $\mathrm{11,8}$ innerhalb, passend zu den beiden Testentscheidungen. Man lehnt genau die ${\mu }_0$ ab, die nicht im Konfidenzintervall liegen.

Die Voraussetzung ist eine (näherungsweise) normalverteilte Grundgesamtheit. Bei großen Stichproben ist der Test dank des zentralen Grenzwertsatzes robust. Für den Vergleich zweier Gruppen gibt es den Zweistichproben-t-Test, bei Messungen am selben Objekt den gepaarten t-Test, der den Test auf die Differenzen anwendet.

Der Chi-Quadrat-Anpassungstest

Der t-Test prüft einen Mittelwert. Oft will man aber wissen, ob eine ganze Verteilung passt: Ist der Würfel fair, folgen die Daten der Poisson-Verteilung, sind zwei Merkmale unabhängig?

Je mehr die Beobachtungen von den Erwartungen abweichen, desto größer wird ${\chi }^2$. Deshalb lehnt man nur bei großen Werten ab, der Test ist einseitig. Die kritischen Werte für $\alpha =\mathrm{0,05}$:

Dass der Test nur bei großen Werten ablehnt, hat eine Kehrseite: Ein viel zu kleiner Wert (die Daten passen „zu gut“) ist ebenfalls verdächtig, denn echte Zufallsdaten schwanken. Mit dem Chi-Quadrat-Test prüft man auch die Unabhängigkeit zweier Merkmale in einer Kontingenztafel: Erwartet wird $E_{ij}=\frac{\text{Zeilensumme}·\text{Spaltensumme}}{n}$, und die Freiheitsgrade sind $(\text{Zeilen}-1)(\text{Spalten}-1)$.

Typische Fehler

Übungen

Geschichte: vom Fehler zum Test

Schon Gauß hatte früher Gedanken zum wahrscheinlichsten Wert entwickelt. Francis Ysidro Edgeworth leitete 1908 wesentliche Ergebnisse der Maximum-Likelihood-Methode ab. Ronald Aylmer Fisher entwickelte sie 1912, 1921 und 1922 und gab ihr den heutigen Namen, ohne dass er die früheren Arbeiten von Gauß kannte. Karl Pearson beschrieb den Chi-Quadrat-Test und seine Prüfgröße 1900. William Sealy Gosset veröffentlichte 1908 unter dem Namen „Student“ den t-Test, und Fisher machte die Verteilung später als „Student’s Verteilung“ bekannt. Die Testtheorie mit Fehlern 1. und 2. Art steht auf der Seite Hypothesentest.

Häufige Fragen

Quellen und weiterführende Literatur

• Wikipedia: Maximum-Likelihood-Methode
• Wikipedia: Chi-Quadrat-Test
• Wikipedia: Zweistichproben-t-Test
• Wikipedia (englisch): Student’s t-test
• Ludwig Fahrmeir, Christian Heumann, Rita Künstler, Iris Pigeot, Gerhard Tutz: Statistik. Der Weg zur Datenanalyse, Springer Spektrum, Berlin.
• Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik, De Gruyter, Berlin.
• Student (William Sealy Gosset): The Probable Error of a Mean, Biometrika 6 (1908).