Grenzwertsätze: Gesetz der großen Zahlen und zentraler Grenzwertsatz

Wirfst du eine Münze 10-mal, ist das Ergebnis unvorhersehbar. Wirfst du sie 10 000-mal, liegt der Anteil Kopf fast sicher nahe bei 0,5. Und die Summe von 100 Würfelwürfen verteilt sich fast genau wie eine Gauß-Glocke, obwohl ein einzelner Wurf gleichverteilt ist. Das sind keine Beobachtungen über Münzen und Würfel, sondern Sätze über beliebige Zufallsgrößen: das Gesetz der großen Zahlen und der zentrale Grenzwertsatz. Zusammen sind sie das Fundament der Statistik, denn sie erklären, warum Umfragen, Messreihen und Simulationen funktionieren.

Die Grundidee des Gesetzes der großen Zahlen steht auf den Seiten Zufallsgrößen und Wahrscheinlichkeitsrechnung. Hier beweist du die Aussage und lernst ihre stärkeren Fassungen. Die Näherung der Binomialverteilung durch die Glocke übst du auf der Seite Normalverteilung. Die Grundlagen zu Dichten stehen auf der Seite Stetige Verteilungen.

Die Ungleichungen von Markow und Tschebyschow

Beweis. Es gilt $Y\ge a·{\mathbf{1}}_{\{Y\ge a\}}$ (auf $\{Y\ge a\}$ ist $Y\ge a$, sonst ist die rechte Seite 0 und $Y\ge 0$). Der Erwartungswert ist monoton, also $E(Y)\ge a·P(Y\ge a)$. Division durch $a$ liefert die Behauptung.

Beweis. Wende die Markow-Ungleichung auf $Y={(X-\mu )}^2$ und $a=k^2$ an: $P(|X-\mu |\ge k)=P({(X-\mu )}^2\ge k^2)\le \frac{E({(X-\mu )}^2)}{k^2}=\frac{{\sigma }^2}{k^2}$.

Die Schranke ist grob, dafür gilt sie für jede Verteilung. Für $k=2\sigma$ sagt sie: Höchstens ein Viertel der Wahrscheinlichkeit liegt mehr als $2\sigma$ vom Mittelwert entfernt. Bei einer Normalverteilung sind es tatsächlich nur 4,6 Prozent, bei einer passend gewählten Verteilung wird die Schranke sogar erreicht.

Das Gesetz der großen Zahlen

Beweis. Es ist $E\left({\overline{X}}_n\right)=\mu$, und wegen der Unabhängigkeit $\mathrm{Var}\left({\overline{X}}_n\right)=\frac{1}{n^2}·n{\sigma }^2=\frac{{\sigma }^2}{n}$. Die Tschebyschow-Ungleichung für ${\overline{X}}_n$ mit $k=\epsilon$ ergibt die Schranke.

Man sagt: ${\overline{X}}_n$ konvergiert in Wahrscheinlichkeit gegen $\mu$. Für Bernoulli-Ketten ($X_i\in \{0,1\}$ mit $P(X_i=1)=p$) ist ${\overline{X}}_n$ die relative Häufigkeit $h_n$, und es gilt ${\sigma }^2=p(1-p)\le \frac{1}{4}$. Damit ist $P(|h_n-p|\ge \epsilon )\le \frac{1}{4n{\epsilon }^2}$. Das ist genau die Aussage, die Jakob Bernoulli in seiner Ars conjectandi bewies und die den Wahrscheinlichkeitsbegriff als Grenzwert relativer Häufigkeiten rechtfertigt.

Das starke Gesetz ist eine Aussage über jeden einzelnen Versuchsverlauf: Fast jede unendliche Folge von Würfen hat den Grenzwert $\mu$. Es impliziert das schwache Gesetz. Der Unterschied zeigt sich bei der Interpretation: Das schwache Gesetz sagt, dass für jedes feste große $n$ eine Abweichung unwahrscheinlich ist. Das starke Gesetz sagt, dass die Folge der Mittelwerte mit Sicherheit von einem Index an in jedem Streifen um $\mu$ bleibt. Beide gelten nicht ohne Voraussetzung: Für die Cauchy-Verteilung, die keinen Erwartungswert besitzt, hat der Mittelwert von $n$ Beobachtungen wieder dieselbe Verteilung wie eine einzelne Beobachtung, er stabilisiert sich also nie.

Ein häufiges Missverständnis ist das „Gesetz des Ausgleichs“: Nach zehn Mal Kopf wird Zahl nicht wahrscheinlicher. Die absolute Differenz zwischen Kopf und Zahl wächst im Schnitt sogar wie $\sqrt{n}$. Es stabilisiert sich nur der Anteil, weil $\sqrt{n}$ langsamer wächst als $n$.

Der zentrale Grenzwertsatz

Das Gesetz der großen Zahlen sagt, wohin der Mittelwert läuft. Es sagt nicht, wie die Abweichungen aussehen. Das leistet der zentrale Grenzwertsatz: Skaliert man die Abweichung mit $\sqrt{n}$, entsteht immer dieselbe Verteilung.

Die Verteilung der $X_i$ spielt keine Rolle, solange Erwartungswert und Varianz existieren. Die Summe von 100 Würfelwürfen, von 100 gleichverteilten Zahlen oder von 100 Bernoulli-Variablen ist näherungsweise normalverteilt mit Erwartungswert $n\mu$ und Standardabweichung $\sigma \sqrt{n}$. Das erklärt, warum die Glockenkurve überall in der Statistik auftaucht: Viele Messgrößen sind Summen vieler kleiner unabhängiger Einflüsse.

Beweisidee (mit charakteristischen Funktionen). Die charakteristische Funktion $\phi (t)=E(e^{itX})$ bestimmt die Verteilung. Für $Y_i=\frac{X_i-\mu }{\sigma }$ gilt ${\phi }_Y(t)=1-\frac{t^2}{2}+o(t^2)$. Die standardisierte Summe $Z_n=\frac{1}{\sqrt{n}}\sum Y_i$ hat wegen der Unabhängigkeit die charakteristische Funktion ${\phi }_Y{\left(\frac{t}{\sqrt{n}}\right)}^n={(1-\frac{t^2}{2n}+o(\frac{1}{n}\left)\right)}^n\to e^{-t^2/2}$. Das ist die charakteristische Funktion der Standardnormalverteilung, und nach dem Stetigkeitssatz von Lévy folgt die Konvergenz der Verteilungen.

Wie schnell die Näherung besser wird, sagt der Satz von Berry-Esseen: Hat $X_i$ das dritte absolute zentrale Moment $\rho =E(|X_i-\mu {|}^3)<\infty$, so gilt $\underset{z}{\sup }|P(Z_n\le z)-\Phi (z)|\le C·\frac{\rho }{{\sigma }^3\sqrt{n}}$ mit einer universellen Konstanten $C$. Der Fehler fällt also nur wie $\frac{1}{\sqrt{n}}$. Für stark schiefe Verteilungen (kleines $p$ bei der Binomialverteilung) braucht man deshalb mehr Beobachtungen, die Faustregel $np(1-p)>9$ bei der Binomialverteilung spiegelt das wider.

Was folgt daraus?

• Umfragen und Konfidenzintervalle: Der Anteil in einer Stichprobe ist nach dem Gesetz der großen Zahlen ein guter Schätzer, und nach dem Grenzwertsatz ist seine Abweichung ungefähr normalverteilt. Das liefert die Formeln für Konfidenzintervalle.
• Simulation (Monte-Carlo): Ein Integral oder eine Wahrscheinlichkeit wird als Mittelwert vieler Zufallsexperimente geschätzt. Der Fehler fällt wie $\frac{1}{\sqrt{n}}$, unabhängig von der Dimension.
• Versicherungen: Der durchschnittliche Schaden vieler Verträge ist gut vorhersagbar, obwohl der einzelne Schaden es nicht ist.
• Messtechnik: Mittelt man $n$ unabhängige Messungen, sinkt die Standardabweichung des Mittelwerts auf $\frac{\sigma }{\sqrt{n}}$. Für die doppelte Genauigkeit braucht man viermal so viele Messungen.
• Tests: Die Verteilungen der Prüfgrößen beim Hypothesentest und beim t-Test (Schätzer und Tests) beruhen auf dem Grenzwertsatz.

Typische Fehler

Übungen

Geschichte: von Bernoulli zu Kolmogorow

Das erste Grenzwertgesetz stammt von Jakob Bernoulli, der in der Ars conjectandi (1713, nach seinem Tod erschienen) zeigte, dass die relative Häufigkeit gegen die Wahrscheinlichkeit konvergiert. Abraham de Moivre benutzte 1733 die Normalverteilung, um die Zahl der Köpfe bei vielen Münzwürfen zu nähern. Pierre-Simon Laplace dehnte das Ergebnis 1812 in der Théorie analytique des probabilités auf die Binomialverteilung aus. Irénée-Jules Bienaymé fand 1853 die Ungleichung, die heute meist nach Pafnuti Tschebyschow benannt ist, der sie 1867 veröffentlichte. Aleksandr Ljapunow bewies 1901 den Grenzwertsatz in allgemeiner Form, Jarl Waldemar Lindeberg kam in den 1920er-Jahren mit schwächeren Bedingungen aus. Die starken Gesetze begannen mit Émile Borel (1909, für Münzwürfe) und Francesco Cantelli (1917). Paul Lévy veröffentlichte 1937 den ersten vollständigen Beweis der allgemeinen Fassung. Mit Kolmogorows Axiomatik von 1933 hatten alle diese Sätze ein gemeinsames Fundament.

Häufige Fragen

Quellen und weiterführende Literatur

• Wikipedia: Gesetz der großen Zahlen
• Wikipedia: Zentraler Grenzwertsatz
• Wikipedia: Tschebyschow-Ungleichung
• Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik, De Gruyter, Berlin.
• Achim Klenke: Wahrscheinlichkeitstheorie, Springer Spektrum, Berlin.
• Jakob Bernoulli: Ars conjectandi, Basel 1713.