Skalarprodukt, Orthogonalität und Spektralsatz

Ein Vektorraum allein kennt keine Längen und keine Winkel. Er erlaubt nur Summen und Vielfache. Erst ein Skalarprodukt macht daraus einen Raum, in dem man messen kann: Länge eines Vektors, Winkel zwischen Vektoren, Abstand und vor allem Orthogonalität. Sie ist das Werkzeug für die beste Näherung, für numerisch stabile Rechnungen und für den Spektralsatz, den schönsten Satz der Linearen Algebra II.

Du kennst das Skalarprodukt im ${ℝ}^n$ aus der Seite Vektoren. Hier wird es axiomatisch eingeführt, sodass es auch für Funktionenräume gilt, und mit zwei Algorithmen verbunden, Orthogonalprojektion und Gram-Schmidt. Voraussetzungen sind Vektorräume, lineare Abbildungen und Eigenwerte.

Das Skalarprodukt

Der Nachweis von (S3) für das Integral: $⟨f,f⟩=\int f^2\ge 0$, und für eine stetige Funktion $f\ne 0$ ist $f^2$ in einer ganzen Umgebung einer Stelle positiv, das Integral also positiv.

Beweis. Für $v=0$ ist alles klar. Sei $v\ne 0$ und $\lambda =\frac{⟨u,v⟩}{⟨v,v⟩}$. Dann gilt $0\le ⟨u-\lambda v,u-\lambda v⟩=⟨u,u⟩-2\lambda ⟨u,v⟩+{\lambda }^2⟨v,v⟩$. Mit dem Wert von $\lambda$ ist das gleich $\Vert u{\Vert }^2-\frac{⟨u,v{⟩}^2}{\Vert v{\Vert }^2}$. Umstellen ergibt die Behauptung. Gleichheit gilt genau dann, wenn $u-\lambda v=0$ ist.

Aus Cauchy-Schwarz folgt die Dreiecksungleichung $\Vert u+v\Vert \le \Vert u\Vert +\Vert v\Vert$, denn $\Vert u+v{\Vert }^2=\Vert u{\Vert }^2+2⟨u,v⟩+\Vert v{\Vert }^2\le {(\Vert u\Vert +\Vert v\Vert )}^2$. Damit ist $d(u,v)=\Vert u-v\Vert$ eine Metrik (siehe Metrische Räume). Wegen $\left|\frac{⟨u,v⟩}{\Vert u\Vert \Vert v\Vert }\right|\le 1$ lässt sich der Winkel durch $\cos \theta =\frac{⟨u,v⟩}{\Vert u\Vert \Vert v\Vert }$ erklären, in jedem euklidischen Raum.

Orthogonalität und Orthonormalbasen

Zwei Vektoren heißen orthogonal ($u\perp v$), wenn $⟨u,v⟩=0$. Aus $\Vert u+v{\Vert }^2=\Vert u{\Vert }^2+\Vert v{\Vert }^2$ für $u\perp v$ folgt der Satz des Pythagoras. Ein System $u_1,\dots ,u_k$ heißt Orthonormalsystem, wenn $⟨u_i,u_j⟩={\delta }_{ij}$ gilt (paarweise orthogonal, jeweils Länge 1). Orthogonale Vektoren ungleich 0 sind automatisch linear unabhängig: Aus $\sum c_i{u}_i=0$ folgt durch Skalarprodukt mit $u_j$ sofort $c_j=0$.

Koordinaten bekommt man also ohne ein Gleichungssystem zu lösen. Das ist der Vorteil orthogonaler Basen. Eine Matrix $Q$, deren Spalten eine ONB bilden, heißt orthogonal. Sie erfüllt $Q^{\top }Q=E$, also $Q^{-1}=Q^{\top }$, und erhält Längen und Winkel. Orthogonale Matrizen sind Drehungen und Spiegelungen (siehe Determinanten: $\det Q=\pm 1$).

Orthogonale Projektion

Die Projektion von $v$ auf die Richtung von $u\ne 0$ ist ${\mathrm{proj}}_{u}v=\frac{⟨v,u⟩}{⟨u,u⟩}u$. Der Rest $v-{\mathrm{proj}}_{u}v$ steht senkrecht auf $u$. Allgemeiner:

Beweis. Für $w\in U$ steht $v-Pv$ senkrecht auf $Pv-w\in U$, also ist nach Pythagoras $\Vert v-w{\Vert }^2=\Vert v-Pv{\Vert }^2+\Vert Pv-w{\Vert }^2\ge \Vert v-Pv{\Vert }^2$.

Die Menge aller Vektoren, die auf $U$ senkrecht stehen, heißt orthogonales Komplement $U^{\perp }$. Es gilt $V=U\oplus U^{\perp }$ und $\dim U+\dim U^{\perp }=\dim V$.

Das Gram-Schmidt-Verfahren

Aus jeder Basis $v_1,\dots ,v_n$ lässt sich eine Orthonormalbasis konstruieren, indem man von jedem neuen Vektor den Anteil abzieht, der in Richtung der bereits konstruierten liegt:

Warum es funktioniert. Der Vektor $w_k$ ist $v_k$ minus seiner Projektion auf $\mathrm{span}(u_1,\dots ,u_{k-1})$, steht also senkrecht auf allen früheren $u_i$. Er ist nicht 0, weil $v_k$ von $v_1,\dots ,v_{k-1}$ linear unabhängig ist.

Fasst man die Rechnung als Matrix zusammen, erhält man die QR-Zerlegung $A=QR$: Die Spalten von $A$ sind die $v_k$, die von $Q$ die $u_k$, und $R$ ist eine obere Dreiecksmatrix mit $r_{ik}=⟨u_i,v_k⟩$ und $r_{kk}=\Vert w_k\Vert$. Im Beispiel ist $r_{11}=\sqrt{2}$, $r_{22}=\sqrt{3/2}$, $r_{33}=\frac{2}{\sqrt{3}}$. Die QR-Zerlegung ist ein Grundbaustein der numerischen Linearen Algebra (Ausgleichsrechnung, Eigenwertverfahren). In Rechnern nutzt man statt des klassischen Verfahrens stabilere Varianten wie Householder-Spiegelungen.

Der Spektralsatz für symmetrische Matrizen

Beweis in drei Schritten.

1. Reelle Eigenwerte. Sei $Ax=\lambda x$ mit einem komplexen Eigenwert $\lambda$ und $x\ne 0$. Dann gilt $\lambda \Vert x{\Vert }^2=⟨Ax,x⟩=⟨x,Ax⟩=\overline{\lambda }\Vert x{\Vert }^2$ (das komplexe Skalarprodukt, $A$ ist reell und symmetrisch). Also ist $\lambda =\overline{\lambda }$.
2. Orthogonale Eigenräume. Ist $Ax=\lambda x$ und $Ay=\mu y$ mit $\lambda \ne \mu$, so gilt $\lambda ⟨x,y⟩=⟨Ax,y⟩=⟨x,Ay⟩=\mu ⟨x,y⟩$, also $⟨x,y⟩=0$.
3. Induktion. Es gibt einen Eigenvektor $x$: Das charakteristische Polynom hat eine komplexe Nullstelle, und Schritt 1 zeigt, dass sie reell ist. Der Unterraum $x^{\perp }$ ist $A$-invariant, denn aus $⟨y,x⟩=0$ folgt $⟨Ay,x⟩=⟨y,Ax⟩=\lambda ⟨y,x⟩=0$. Auf ihm ist $A$ wieder symmetrisch, und die Induktion liefert die Orthonormalbasis.

Der Satz erklärt, warum symmetrische Matrizen so gut zu handhaben sind: Man kann sie ohne Gleichungssystem diagonalisieren, mit $Q^{-1}=Q^{\top }$, und Funktionen von $A$ lassen sich über die Eigenwerte definieren, etwa $A^k=Q{\Lambda }^k{Q}^{\top }$. Für nicht symmetrische Matrizen gilt der Satz nicht: $\left(\begin{array}{cc}1& 1\\ 0& 1\end{array}\right)$ ist nicht einmal diagonalisierbar (siehe Jordan-Normalform). Die Hauptachsentransformation von Kurven und Flächen zweiter Ordnung ist eine Anwendung auf der Seite Bilinearformen und Quadriken. Für unendlichdimensionale Räume (Hilberträume) gilt eine Verallgemeinerung für selbstadjungierte Operatoren.

Typische Fehler

Übungen

Geschichte: von Längen zu Funktionenräumen

Die Ungleichung von Cauchy-Schwarz entstand in Etappen: Cauchy (1821) für Summen, Bunjakowski (1859) für Integrale, und Schwarz veröffentlichte später seine Fassung ohne Bezug auf Bunjakowski. Gram veröffentlichte sein Orthogonalisierungsverfahren 1883 im Journal für die reine und angewandte Mathematik (Band 94), Schmidt 1907 in den Mathematischen Annalen (Band 63). David Hilbert bewies 1906 in seiner vierten Mitteilung über Integralgleichungen den Spektralsatz für kompakte und beschränkte selbstadjungierte Operatoren. Daraus wuchs die Theorie der Hilberträume, in denen Skalarprodukt, Orthogonalität und Spektralsatz die Rolle übernehmen, die auf dieser Seite im Endlichdimensionalen gespielt wird.

Häufige Fragen

Quellen und weiterführende Literatur

• Wikipedia: Skalarprodukt
• Wikipedia: Gram-Schmidtsches Orthogonalisierungsverfahren
• Wikipedia: Spektralsatz
• Gerd Fischer: Lineare Algebra. Eine Einführung für Studienanfänger, Springer Spektrum, Wiesbaden.
• Siegfried Bosch: Lineare Algebra, Springer Spektrum, Berlin.
• Sheldon Axler: Linear Algebra Done Right, Springer, Cham.