Lineare Regression

Du hast Messwerte zu zwei Größen, zum Beispiel die Höhe einer Pflanze in jeder Woche. Trägst du die Wertepaare in ein Koordinatensystem ein, entsteht eine Punktwolke. Die lineare Regression legt eine Gerade so durch diese Punktwolke, dass sie den Zusammenhang möglichst gut beschreibt. Diese Gerade heißt Regressionsgerade oder Ausgleichsgerade.

Mit der Geraden kannst du Werte vorhersagen, die du nicht gemessen hast. Wie verlässlich das ist, sagen dir zwei Kennzahlen: der Korrelationskoeffizient r und das Bestimmtheitsmaß R². Grundbegriffe wie den Mittelwert findest du auf der Seite Statistik, die Gerade selbst kennst du von den linearen Funktionen.

Von der Punktwolke zur Geraden

Eine Pflanze wird fünf Wochen lang jede Woche gemessen. Die Tabelle zeigt die Wochen x und die Höhe y in Zentimetern:

Die Punkte liegen nicht genau auf einer Geraden, denn jede Messung hat kleine Fehler. Trotzdem ist die Richtung klar: Je mehr Wochen vergehen, desto höher wird die Pflanze. Du suchst eine Gerade $\widehat{y}=ax+b$. Dabei ist $\widehat{y}$ (gesprochen: „y Dach“) der Wert, den die Gerade bei x vorhersagt, a ist die Steigung und b der Achsenabschnitt.

Welche Gerade ist die beste? Nach Augenmaß würde jeder eine etwas andere zeichnen. Du brauchst ein Kriterium, das eindeutig ist. Dafür misst du, wie weit die Gerade an jedem Punkt danebenliegt.

Der Unterschied zwischen dem gemessenen Wert $y_i$ und dem Wert ${\widehat{y}}_i$ der Geraden heißt Residuum (von lateinisch residuum, „Rest“):

Ein Residuum misst den Abstand in y-Richtung, also senkrecht. Liegt der Punkt über der Geraden, ist $e_i$ positiv, liegt er darunter, ist $e_i$ negativ.

Die Methode der kleinsten Quadrate

Zählst du alle Residuen einfach zusammen, heben sich positive und negative auf. Deshalb quadrierst du sie zuerst. Die Summe der Abweichungsquadrate ist

Die beste Gerade ist die, bei der Q am kleinsten ist. Das ist die Methode der kleinsten Quadrate. Das Quadrieren hat zwei Vorteile: Es gibt keine Vorzeichen mehr, und große Abweichungen zählen stärker. Außerdem führt es auf eine feste Formel.

Das Bild zeigt die Idee an drei Punkten, $(1|3)$, $(2|5)$ und $(3|4)$. Die Gerade durch den ersten und den letzten Punkt trifft zwei Punkte genau. Der mittlere Punkt liegt aber um 1,5 darüber, das Quadrat dazu hat den Flächeninhalt ${\mathrm{1,5}}^2=\mathrm{2,25}$. Die Ausgleichsgerade $y=\mathrm{0,5}x+3$ trifft keinen Punkt genau. Ihre Residuen sind $-\mathrm{0,5}$, $1$ und $-\mathrm{0,5}$, und die drei Quadrate haben zusammen den Flächeninhalt $\mathrm{0,25}+1+\mathrm{0,25}=\mathrm{1,5}$. Das ist weniger, und keine andere Gerade schafft das.

Ist dir der Mittelwert geläufig, kannst du diese Formeln direkt benutzen. $S_{xx}$ ist auch die Grundlage der Varianz, die du unter Varianz und Standardabweichung kennenlernst. Oft findest du die gleiche Steigung in der Form $a=\frac{\sum x_i{y}_i-n\overline{x}\overline{y}}{\sum x_i^2-n{\overline{x}}^2}$. Beide Formeln liefern dasselbe Ergebnis.

Schritt für Schritt rechnen

So gehst du bei der Pflanze vor:

1. Mittelwerte bestimmen: $\overline{x}=\frac{1+2+3+4+5}{5}=3$ und $\overline{y}=\frac{\mathrm{2,1}+\mathrm{3,9}+\mathrm{6,2}+\mathrm{7,8}+\mathrm{10,1}}{5}=\frac{\mathrm{30,1}}{5}=\mathrm{6,02}$.
2. Eine Tabelle mit den Abweichungen $x_i-\overline{x}$ und $y_i-\overline{y}$ anlegen und die Produkte bilden.
3. Die Spalten aufsummieren, das ergibt $S_{xx}$ und $S_{xy}$.
4. Mit den Formeln a und b berechnen.

Als Probe kannst du die Formel mit den Summen prüfen: Es ist $\sum x_i{y}_i=\mathrm{110,2}$, $n\overline{x}\overline{y}=5·3·\mathrm{6,02}=\mathrm{90,3}$ und $\sum x_i^2=55$, $n{\overline{x}}^2=45$. Dann ist $a=\frac{\mathrm{110,2}-\mathrm{90,3}}{55-45}=\frac{\mathrm{19,9}}{10}=\mathrm{1,99}$. Das stimmt.

Die Gerade geht durch den Schwerpunkt

Aus $b=\overline{y}-a\overline{x}$ folgt $\overline{y}=a\overline{x}+b$. Das bedeutet: Der Punkt $(\overline{x}|\overline{y})$ liegt auf der Regressionsgeraden. Er ist der Schwerpunkt der Punktwolke, der Mittelwert aller Punkte. Bei der Pflanze ist $S(3|\mathrm{6,02})$, und tatsächlich gilt $\mathrm{1,99}·3+\mathrm{0,05}=\mathrm{6,02}$.

Daraus ergibt sich ein einfacher Weg zum Zeichnen: Du markierst den Schwerpunkt und gehst mit der Steigung a nach links und rechts.

Noch eine zweite Kontrolle gibt es. Die Residuen einer Regressionsgeraden ergeben zusammen immer null. Bei der Pflanze sind sie $\mathrm{0,06}$, $-\mathrm{0,13}$, $\mathrm{0,18}$, $-\mathrm{0,21}$ und $\mathrm{0,10}$, und es ist $\mathrm{0,06}-\mathrm{0,13}+\mathrm{0,18}-\mathrm{0,21}+\mathrm{0,10}=0$. Die Summe der Quadrate ist $Q=\mathrm{0,0036}+\mathrm{0,0169}+\mathrm{0,0324}+\mathrm{0,0441}+\mathrm{0,01}=\mathrm{0,107}$. Weicht deine Summe der Residuen davon ab, hast du dich verrechnet.

Prognose, Interpolation und Extrapolation

Mit der Geraden kannst du für jedes x einen Wert vorhersagen. Liegt das x zwischen den gemessenen Werten, nennt man das Interpolation. Liegt es außerhalb, heißt es Extrapolation.

Der Korrelationskoeffizient r

Die Gerade gibt es immer, auch wenn die Punkte wild streuen. Wie gut sie passt, misst der Korrelationskoeffizient r:

So liest du r:

• $r$ nahe 1: Die Punkte liegen eng um eine steigende Gerade. Große x-Werte gehören zu großen y-Werten.
• $r$ nahe −1: Die Punkte liegen eng um eine fallende Gerade.
• $r$ nahe 0: Es gibt keinen linearen Zusammenhang.
• $r=1$ oder $r=-1$: Alle Punkte liegen genau auf einer Geraden.

Als grobe Faustregel gilt: Ab $|r|>\mathrm{0,7}$ spricht man oft von einem starken Zusammenhang, unter $\mathrm{0,3}$ von einem schwachen. Feste Grenzen gibt es nicht.

Wichtig ist das Wort linear. Die Punkte $(-2|4)$, $(-1|1)$, $(0|0)$, $(1|1)$ und $(2|4)$ liegen genau auf der Parabel $y=x^2$. Trotzdem ist $r=0$, denn die Regressionsgerade ist waagerecht: $a=0$ und $b=2$. Ein Wert nahe null schließt also einen gekrümmten Zusammenhang nicht aus. Und selbst ein Wert nahe 1 beweist keine Ursache. Warum, steht unter Korrelation ist nicht Kausalität.

Das Bestimmtheitsmaß R²

Das Bestimmtheitsmaß $R^2$ sagt, welcher Anteil der Streuung der y-Werte durch die Gerade erklärt wird. Bei der einfachen linearen Regression ist es das Quadrat des Korrelationskoeffizienten:

Dabei ist $S_{yy}$ die gesamte Streuung der y-Werte um ihren Mittelwert und Q der Rest, den die Gerade nicht erklärt (die Summe der Abweichungsquadrate von oben).

$R^2$ liegt immer zwischen 0 und 1. Bei 1 liegen alle Punkte auf der Geraden, bei 0 hilft die Gerade nicht besser als der Mittelwert $\overline{y}$. „Erklärt“ meint hier nur statistisch: Es heißt nicht, dass x die Ursache von y ist.

Residuen ansehen

Ein hohes $R^2$ allein garantiert nicht, dass eine Gerade das richtige Modell ist. Deshalb schaust du dir die Residuen an. Dazu zeichnest du sie gegen x auf, in einem Residuenplot.

Als Beispiel dient eine Zellkultur, die stündlich gezählt wird (Beispieldaten). Die Zellzahl y in Tausend nach x Stunden war 100, 152, 224, 340 und 505. Die Regressionsgerade ist $\widehat{y}=\mathrm{99,8}x+\mathrm{64,6}$ mit $R^2\approx \mathrm{0,95}$. Das sieht gut aus. Der Residuenplot zeigt aber etwas anderes.

Die Residuen sind $\mathrm{35,4}$, $-\mathrm{12,4}$, $-\mathrm{40,2}$, $-\mathrm{24,0}$ und $\mathrm{41,2}$. Sie bilden einen Bogen: erst positiv, dann negativ, dann wieder positiv. Ein solches Muster ist ein Warnzeichen.

• Zufällige Streuung um die Nulllinie, ohne erkennbares Muster: Die Gerade passt.
• Bogen oder U-Form: Der Zusammenhang ist gekrümmt, eine Gerade ist nicht das richtige Modell.

Nichtlineare Zusammenhänge: Logarithmieren

Die Zellkultur wächst nicht linear, sondern exponentiell, jede Stunde um etwa denselben Faktor (die Verhältnisse 152 : 100, 224 : 152, 340 : 224 und 505 : 340 liegen alle um 1,5). Ein solches Wachstum hat die Form $y=c·q^x$, wie du es von der Exponentialfunktion kennst.

Mit einem Trick kannst du trotzdem die lineare Regression benutzen. Wenn du den Logarithmus bildest, wird aus dem Produkt eine Summe:

Das ist eine Gerade in x, mit dem Achsenabschnitt $\ln c$ und der Steigung $\ln q$. Du rechnest also die Regression mit den Werten $\ln y$ statt y.

Dasselbe Prinzip gilt für Potenzfunktionen $y=c·x^k$: Hier logarithmierst du beide Größen, denn $\ln y=\ln c+k·\ln x$ ist eine Gerade in $\ln x$. Mehr zu diesen Funktionen steht unter Potenzfunktionen.

Typische Fehler

Übungen

Mehr Aufgaben findest du unter Lineare Regression: Aufgaben. Zum Nachrechnen helfen der Regressionsrechner und der Statistik-Rechner.

Geschichte: von Legendre über Gauß zu Galton

Das Problem entstand in der Astronomie und der Landvermessung: Aus vielen ungenauen Messungen sollte die beste Lösung gefunden werden. Adrien-Marie Legendre veröffentlichte 1805 erstmals die Methode der kleinsten Quadrate (Legendre). Vier Jahre später schrieb Carl Friedrich Gauß in seiner Theoria motus von 1809, er benutze sie schon seit 1795. Gauß begründete sie außerdem mit der Normalverteilung der Messfehler. Berühmt wurde er durch die Bahnberechnung der Ceres im Jahr 1801 (Gauß und die Ceres). Wer die Methode zuerst hatte, wurde zum Prioritätsstreit.

Den Namen Regression verdankt die Methode Francis Galton. Er verglich in den 1880er-Jahren die Körpergrößen von Eltern und ihren erwachsenen Kindern (Veröffentlichung 1886). Kinder sehr großer Eltern waren im Mittel größer als der Durchschnitt, aber kleiner als ihre Eltern. Bei sehr kleinen Eltern war es umgekehrt. Galton sprach von „regression towards mediocrity“, dem Zurückgehen zur Mitte. Der Name blieb, auch wenn die Regression heute viel mehr beschreibt, nämlich jede Anpassung einer Kurve an Daten. Karl Pearson, ein Mitarbeiter Galtons, entwickelte die Korrelationsrechnung weiter. Deshalb heißt der Korrelationskoeffizient auch Bravais-Pearson-Korrelationskoeffizient, nach ihm und nach Auguste Bravais, der schon vorher ähnliche Formeln aufgestellt hatte.

Häufige Fragen

Quellen und weiterführende Literatur

• Wikipedia: Lineare Einfachregression
• Wikipedia: Methode der kleinsten Quadrate
• Wikipedia: Anscombe-Quartett
• Francis Galton: Regression Towards Mediocrity in Hereditary Stature. The Journal of the Anthropological Institute of Great Britain and Ireland, Band 15, 1886, ab S. 246 (DOI 10.2307/2841583)
• Francis J. Anscombe: Graphs in Statistical Analysis. The American Statistician, Band 27, Heft 1, 1973, S. 17 bis 21 (DOI 10.1080/00031305.1973.10478966)
• Ludwig Fahrmeir, Christian Heumann, Rita Künstler, Iris Pigeot, Gerhard Tutz: Statistik. Der Weg zur Datenanalyse. Springer, 2023 (DOI 10.1007/978-3-662-67526-7)