Mehrdimensionale Analysis: Gradient, Jacobi-Matrix und Extrema

Im Alltag hängen Größen von mehreren Eingaben ab: Die Temperatur in einem Raum von Ort und Zeit, die Kosten einer Produktion von mehreren Mengen, die Höhe eines Geländes von Länge und Breite. Mathematisch sind das Funktionen $f:{ℝ}^n\to ℝ$ oder allgemeiner $f:{ℝ}^n\to {ℝ}^m$. Die Frage der Differentialrechnung bleibt dieselbe wie in einer Variablen: Wie ändert sich $f$, wenn man den Eingang ein wenig verschiebt, und welche lineare Funktion approximiert $f$ lokal am besten?

Mit einer Veränderlichen ist die Antwort eine Zahl, die Steigung $f^{\prime }(a)$. Mit mehreren ist es eine ganze Matrix. Diese Seite baut die Begriffe nacheinander auf: partielle Ableitungen, Gradient, totale Differenzierbarkeit, Kettenregel, Hesse-Matrix und lokale Extrema. Du brauchst dafür Differenzierbarkeit und etwas Matrizenrechnung, und die Begriffe Umgebung und Stetigkeit im ${ℝ}^n$ stehen auf der Seite Metrische Räume und Topologie.

Funktionen mehrerer Variablen

Eine Funktion $f:{ℝ}^2\to ℝ$ hat als Graph eine Fläche im Raum. Zur Anschauung zeichnet man die Höhenlinien (Niveaulinien) $\{(x,y):f(x,y)=c\}$, wie auf einer Wanderkarte. Für $f(x,y)=x^2+3y^2$ sind das Ellipsen, für $f(x,y)=x^2-y^2$ Hyperbeln.

Stetigkeit bedeutet wie bisher: $\underset{x\to a}{\lim }f(x)=f(a)$, nun mit dem Abstand im ${ℝ}^n$. Hier steckt eine Falle. Der Grenzwert muss auf allen Wegen gegen $a$ derselbe sein, nicht nur längs der Achsen.

Partielle Ableitungen

In der Praxis leitest du nach einer Variablen ab und behandelst alle anderen wie Konstanten. Es gelten alle Regeln der Analysis I.

Ableitet man die partiellen Ableitungen erneut, entstehen die zweiten Ableitungen ${\partial }_i{\partial }_{j}f$. Der Satz von Schwarz sagt: Sind alle zweiten partiellen Ableitungen stetig, so spielt die Reihenfolge keine Rolle, ${\partial }_i{\partial }_{j}f={\partial }_j{\partial }_{i}f$. Zum Beispiel ist für $f=x^3{y}^2$: ${\partial }_{x}f=3x^2{y}^2$, dann ${\partial }_y{\partial }_{x}f=6x^{2}y$, und ${\partial }_{y}f=2x^{3}y$, dann ${\partial }_x{\partial }_{y}f=6x^{2}y$. Ohne die Stetigkeit kann der Satz falsch werden: Bei $f(x,y)=\frac{xy(x^2-y^2)}{x^2+y^2}$ mit $f(0,0)=0$ erhält man in $(0,0)$ die gemischten Ableitungen $-1$ und $+1$.

Gradient und Richtungsableitung

Aus dem Skalarprodukt folgt: $D_{v}f=\Vert \nabla f\Vert \cos \theta$ mit dem Winkel $\theta$ zwischen $v$ und $\nabla f$. Die Richtungsableitung ist am größten für $\theta =0$, also in Richtung des Gradienten, mit dem Wert $\Vert \nabla f\Vert$. Der Gradient zeigt damit in die Richtung des steilsten Anstiegs, und $-\nabla f$ in die des steilsten Abstiegs. Das ist die Grundlage des Gradientenverfahrens in der Optimierung. Entlang einer Höhenlinie bleibt $f$ konstant, die Richtungsableitung ist dort 0, also steht $\nabla f$ senkrecht auf der Höhenlinie.

Totale Differenzierbarkeit und Jacobi-Matrix

Partielle Ableitungen betrachten nur die Achsenrichtungen. Das genügt nicht für eine gute Approximation: Die Funktion $\frac{xy}{x^2+y^2}$ von oben hat in $(0,0)$ beide partiellen Ableitungen (beide gleich 0), ist dort aber nicht einmal stetig. Der richtige Begriff verlangt die Approximation in allen Richtungen zugleich.

Beweisidee zu (b) (für $n=2$). Man zerlegt $f(a+h)-f(a)$ in zwei Schritte, zuerst in $x$-Richtung, dann in $y$-Richtung, und wendet in jedem den Mittelwertsatz an: $f(a_1+h_1,a_2+h_2)-f(a)$ $={\partial }_{1}f(\xi )h_1+{\partial }_{2}f(\eta )h_2$ mit Zwischenstellen $\xi ,\eta$. Wegen der Stetigkeit der partiellen Ableitungen unterscheiden sich diese Werte von ${\partial }_{1}f(a)$ und ${\partial }_{2}f(a)$ nur um etwas, das mit $h\to 0$ verschwindet.

Für $m=1$ ist die Jacobi-Matrix die Zeile $\nabla f{(a)}^{\top }$. Die Linearisierung $f(a+h)\approx f(a)+\nabla f(a)·h$ liefert bei zwei Variablen die Tangentialebene.

Die Kettenregel

Die Ableitungen werden also als Matrizen multipliziert, in derselben Reihenfolge wie die Abbildungen. Für $g:{ℝ}^2\to ℝ$ und eine Kurve $\gamma (t)=(x(t),y(t))$ ergibt das die vertraute Form $\frac{d}{dt}g(\gamma (t))={\partial }_{x}g·x^{\prime }(t)+{\partial }_{y}g·y^{\prime }(t)$.

Aus der Kettenregel folgt auch, dass der Gradient auf den Höhenlinien senkrecht steht: Ist $\gamma$ eine Kurve mit $f(\gamma (t))=c$, so ist $0=\frac{d}{dt}f(\gamma (t))=\nabla f·{\gamma }^{\prime }(t)$.

Zweite Ableitung und Hesse-Matrix

Sie ersetzt die zweite Ableitung aus der Analysis I. Die Taylorformel zweiter Ordnung lautet

Der letzte Term ist eine quadratische Form in $h$. Ob sie nur positive, nur negative oder gemischte Werte annimmt, entscheidet über die Art eines kritischen Punkts. Das untersucht die Seite Bilinearformen und Quadriken genauer.

Lokale Extrema

Ein Punkt $a$ ist ein lokales Maximum (Minimum), wenn $f(x)\le f(a)$ ($\ge$) in einer Umgebung gilt. Wie in einer Variablen muss dort die Ableitung verschwinden:

Beweisidee. Für (a) ist $t\mapsto f(a+tv)$ eine Funktion einer Variablen mit Extremum bei $0$, ihre Ableitung $\nabla f(a)·v$ verschwindet für jedes $v$. Für (b) setzt man $\nabla f(a)=0$ in die Taylorformel ein: Es bleibt $f(a+h)-f(a)\approx \frac{1}{2}{h}^{\top }Hh$, und bei positiv definiter $H$ ist das für alle $h\ne 0$ positiv, nämlich mindestens $\frac{1}{2}{\lambda }_{\min }\Vert h{\Vert }^2$ mit dem kleinsten Eigenwert ${\lambda }_{\min }>0$.

Bei zwei Variablen prüft man die Definitheit mit der Determinante und dem Eintrag $f_{xx}$: Sei $D=\det H=f_{xx}{f}_{yy}-f_{xy}^2$. Bei $D>0$ und $f_{xx}>0$ liegt ein Minimum vor, bei $D>0$ und $f_{xx}<0$ ein Maximum, bei $D<0$ ein Sattelpunkt. Bei $D=0$ liefert der Test keine Aussage.

Auf einer kompakten Menge nimmt eine stetige Funktion ihr Maximum und Minimum an (siehe Kompaktheit). Liegt das Extremum auf dem Rand, ist es kein kritischer Punkt im Inneren. Wie man Extrema auf einer Kurve wie einem Kreis findet, steht auf der Seite Extrema mit Nebenbedingungen.

Typische Fehler

Übungen

Geschichte: von Euler zu Jacobi und Hesse

Dass sich gemischte partielle Ableitungen vertauschen lassen, wurde lange stillschweigend benutzt. Euler und Clairaut (beide 1740) veröffentlichten Beweisversuche, die nicht gelangen. Lagrange (1797) und Cauchy (1823) verbesserten sie, Lindelöf analysierte 1867 die Fehler und gab ein Gegenbeispiel. Erst Schwarz bewies den Satz 1873 streng. Die Matrix der ersten Ableitungen trägt den Namen von Carl Gustav Jacob Jacobi, die der zweiten den von Ludwig Otto Hesse. Das Symbol $\nabla$ für den Gradienten geht auf William Rowan Hamilton zurück.

Häufige Fragen

Quellen und weiterführende Literatur

• Wikipedia: Totale Differenzierbarkeit
• Wikipedia: Hesse-Matrix
• Wikipedia: Satz von Schwarz
• Otto Forster: Analysis 2. Differentialrechnung im R^n, gewöhnliche Differentialgleichungen, Springer Spektrum, Wiesbaden.
• Konrad Königsberger: Analysis 2, Springer, Berlin.
• Tom M. Apostol: Mathematical Analysis, Addison-Wesley.