Eigenwerte intuitiv verstehen (die Richtungen, die eine Matrix in Ruhe lässt)

Leg ein Gummituch auf einen Tisch, zeichne hundert kurze Pfeile in alle Richtungen darauf und zieh das Tuch so, dass es sich seitwärts doppelt so weit dehnt wie nach oben. Beobachte die Pfeile. Fast alle schwenken zur Waagerechten hin, während sich das Tuch verformt. Zwei bewegen sich überhaupt nicht. Der Pfeil, der schon waagerecht lag, bleibt waagerecht und wird doppelt so lang. Der Pfeil, der senkrecht stand, bleibt senkrecht und behält seine Länge.

Diese beiden Pfeile sind die Eigenvektoren der Streckung, und die Zahlen 2 und 1 sind ihre Eigenwerte. Alles in diesem Themengebiet, die Formel mit der Determinante, das charakteristische Polynom, die Diagonalisierung, die komplexen Zahlen, die auftauchen, sobald eine Matrix dreht, ist ein Weg, diese besonderen Pfeile für eine Maschine zu finden, der man sie nicht ansieht.

Falls du Matrizen intuitiv verstehen noch nicht gelesen hast: Das hier ist die Fortsetzung. Jener Beitrag hat das Bild einer Matrix als Maschine aufgebaut, die eine Reise entgegennimmt und eine Reise zurückgibt. Dieser stellt der Maschine eine einzige Frage: Welche Reisen lässt du in Ruhe?

Eine Matrix ist eine Maschine, und die meisten Pfeile werden gedreht

Eine Matrix $A$ nimmt einen Vektor $\vec{v}$ und erzeugt einen neuen Vektor $A\vec{v}$. Bei den meisten Eingaben zeigt die Ausgabe irgendwo anders hin. Eine Scherung kippt Pfeile. Eine Drehung schwenkt jeden Pfeil um denselben Winkel. Eine Streckung, die in eine Richtung stärker zieht als in eine andere, zerrt Pfeile zur Richtung des stärkeren Zugs.

Stell dir die Matrix als Windkanal vor. Pfeile fliegen hinein, der Wind trifft sie, und sie kommen verbogen heraus. Die interessante Frage ist nicht, was mit einem typischen Pfeil geschieht. Sie lautet, ob es überhaupt einen Pfeil gibt, den der Wind nicht verbiegen kann, einen Pfeil, der exakt so herauskommt, wie er hineinging, nur länger oder kürzer.

Die Pfeile, die sich nicht drehen lassen

Ein Eigenvektor von $A$ ist ein Vektor $\vec{v}$ ungleich null, den die Maschine auf seiner eigenen Geraden hält:

$$A\vec{v} = \lambda\vec{v}$$

Der griechische Buchstabe Lambda, $\lambda$, ist der Eigenwert: der Faktor, mit dem der Pfeil skaliert wurde. Die Gleichung sagt, dass die Wirkung der Maschine auf genau diesen Pfeil von einer schlichten Multiplikation mit einer Zahl nicht zu unterscheiden ist. Entlang eines Eigenvektors hört die Matrix auf, eine Matrix zu sein, und wird zum Skalar.

Der Eigenwert trägt eine Menge Information in einer einzigen Zahl:

• $\lambda > 1$ bedeutet, dass die Maschine diese Richtung verlängert.
• $0 < \lambda < 1$ bedeutet, dass sie sie verkürzt.
• $\lambda = 1$ bedeutet, dass sie diese Richtung völlig unangetastet lässt.
• $\lambda < 0$ bedeutet, dass sie den Pfeil in die Gegenrichtung umklappt und dann skaliert.
• $\lambda = 0$ bedeutet, dass sie diese Richtung zu nichts zusammendrückt. Die Maschine plattet den Raum entlang dieser Geraden ab.

Beachte, was ein Eigenvektor nicht ist. Er ist kein einzelner Pfeil, sondern eine Richtung: Ist $\vec{v}$ ein Eigenvektor, dann auch $3\vec{v}$, mit demselben Eigenwert. Und der Nullvektor ist per Definition ausgeschlossen, denn jede Matrix schickt null auf null, was jede Zahl zu einem Eigenwert machen und die ganze Idee wertlos machen würde.

Woher die Formel kommt

Lehrbücher reichen dir $\det(A - \lambda I) = 0$ so, als sei sie vom Himmel gefallen. Sie stammt aus dem Satz oben.

Beginne mit $A\vec{v} = \lambda\vec{v}$. Die rechte Seite ist eine Zahl mal ein Vektor. Um sie über das Gleichheitszeichen zu schieben, brauchst du sie in Matrixform, und $\lambda\vec{v}$ ist dasselbe wie $\lambda I\vec{v}$, wobei $I$ die Einheitsmatrix ist, die nichts tut. Nun subtrahiere:

$$(A - \lambda I)\vec{v} = \vec{0}$$

Lies das als Aussage über eine neue Maschine, $A - \lambda I$. Sie nimmt einen Pfeil $\vec{v}$ ungleich null und gibt den Nullvektor zurück. Eine Maschine, die einen echten Pfeil auf einen Punkt schickt, hat mindestens eine Richtung des Raums plattgedrückt. Im Matrizen-Beitrag haben wir gesehen, dass die Determinante misst, wie viel Fläche eine Maschine überlebt, eine plattdrückende Maschine hat also Determinante null:

$$\det(A - \lambda I) = 0$$

Das ist die gesamte Herleitung. Die Eigenwerte sind die Werte von $\lambda$, die die Maschine $A - \lambda I$ kaputt machen, und die Eigenvektoren sind die Richtungen, entlang derer sie kaputtgeht. Entwickelt man die Determinante, erhält man ein Polynom in $\lambda$, das charakteristische Polynom, und seine Nullstellen sind die Eigenwerte. Für eine $2 \times 2$-Matrix ist es quadratisch; für $n \times n$ hat es den Grad $n$, und deshalb hat eine $n \times n$-Matrix höchstens $n$ Eigenwerte.

Ein durchgerechnetes Beispiel, in Ruhe

Nimm die Matrix

$$A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix}$$

Ziehe $\lambda$ entlang der Diagonalen ab und bilde die Determinante:

$$\det\begin{pmatrix} 2 - \lambda & 1 \\ 1 & 2 - \lambda \end{pmatrix} = (2 - \lambda)^2 - 1 = \lambda^2 - 4\lambda + 3$$

Setze das gleich null und faktorisiere: $(\lambda - 3)(\lambda - 1) = 0$, die Eigenwerte sind also $\lambda = 3$ und $\lambda = 1$.

Nun finde die Richtung zu jedem. Für $\lambda = 3$ löse $(A - 3I)\vec{v} = \vec{0}$:

$$\begin{pmatrix} -1 & 1 \\ 1 & -1 \end{pmatrix}\begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \end{pmatrix}$$

Beide Zeilen sagen $x = y$, der Eigenvektor ist also jedes Vielfache von $(1, 1)$. Prüfe es an der ursprünglichen Maschine nach: $A(1,1) = (3, 3) = 3 \cdot (1, 1)$. Der Diagonalpfeil kommt dreimal so lang heraus und zeigt in dieselbe Richtung.

Für $\lambda = 1$ sagen die Zeilen $x = -y$, der Eigenvektor ist also jedes Vielfache von $(1, -1)$, und tatsächlich gilt $A(1,-1) = (1,-1)$. Der Pfeil auf der Gegendiagonalen bleibt unangetastet.

Jetzt kannst du diese Matrix in einem Satz beschreiben, was dir ihre vier Einträge nicht erlaubt hätten: Sie streckt den Raum entlang der Diagonalen um den Faktor 3 und lässt die Gegendiagonale in Ruhe. Jeder andere Pfeil der Ebene wird zur Diagonalen hin gezerrt, weil der Diagonalanteil dreimal so schnell wächst wie der andere.

Was die Eigenwerte über die Maschine verraten

Zwei Tatsachen fallen aus dem charakteristischen Polynom heraus und lohnen sich zu merken.

Das Produkt der Eigenwerte ist die Determinante. Im Beispiel ist $3 \times 1 = 3$, und die Determinante von $A$ ist $2 \cdot 2 - 1 \cdot 1 = 3$. Das ergibt Sinn: Die Determinante ist die Flächenskalierung der gesamten Maschine, und wenn die Maschine in eine Richtung um 3 und in eine andere um 1 streckt, skaliert die Fläche mit 3.

Die Summe der Eigenwerte ist die Spur, also die Summe der Diagonaleinträge. Hier ist $3 + 1 = 4 = 2 + 2$. Beide Tatsachen sind schnelle Kontrollen, ob deine Rechnung heil geblieben ist.

Allgemeiner sind die Eigenwerte ein Spektrum der Maschine. Die großen sind die Richtungen, die dominieren, wenn die Maschine viele Male angewendet wird. Eine Maschine mit den Eigenwerten $3$ und $1$ streckt, zehnmal angewendet, ihren ersten Eigenvektor um $3^{10}$ und ihren zweiten um $1$. Jeder Startpfeil, der auch nur eine Spur der ersten Richtung enthält, ist am Ende nahezu perfekt an ihr ausgerichtet. Deshalb pendeln sich wiederholte Vorgänge auf einen Eigenvektor ein: Es ist die Richtung, die gewinnt.

Komplexe Eigenwerte bedeuten Drehung

Drehe die Ebene um 90 Grad. Jeder Pfeil dreht sich mit. Keine Richtung bleibt unangetastet, es sollte also keine Eigenvektoren geben, und die Formel stimmt zu. Die Drehmatrix ist

$$R = \begin{pmatrix} 0 & -1 \\ 1 & 0 \end{pmatrix}$$

und ihr charakteristisches Polynom ist $\lambda^2 + 1 = 0$, was keine reellen Lösungen hat. Ihre Eigenwerte sind $i$ und $-i$.

Das ist kein Versagen der Methode. Es ist die Methode, die dir etwas Wahres mitteilt: Diese Maschine dreht, und eine Drehung hat in der reellen Ebene keine feste Richtung. Ein komplexer Eigenwert ist das Kennzeichen einer Drehung. Eine allgemeine Drehung um den Winkel $\theta$ hat die Eigenwerte $e^{i\theta}$ und $e^{-i\theta}$, dieselben rotierenden Zahlen wie in Eulers Identität, und eine Matrix mit Eigenwerten wie $0.9 e^{\pm i\theta}$ spiralt nach innen, dreht und schrumpft also zugleich. Falls sich komplexe Zahlen noch wie ein Taschenspielertrick anfühlen: Imaginäre Zahlen anschaulich baut das Bild von $i$ als Vierteldrehung auf, und genau diese Rolle spielt es hier.

Diagonalisierung: Wechsle den Sitzplatz, und die Maschine wird zur Multiplikation

Angenommen, eine $n \times n$-Matrix hat $n$ Eigenvektoren, die in wirklich verschiedene Richtungen zeigen. Dann können diese Eigenvektoren als neuer Satz von Achsen dienen. Beschreibe jeden Vektor dadurch, wie viel er von jedem Eigenvektor enthält, und die Maschine wird trivial: Sie multipliziert einfach jede Koordinate mit dem zugehörigen Eigenwert.

Ausgeschrieben: Ist $P$ die Matrix, deren Spalten die Eigenvektoren sind, und $D$ die Diagonalmatrix der Eigenwerte, dann gilt

$$A = P D P^{-1}$$

Lies es von rechts nach links. $P^{-1}$ übersetzt einen Vektor in Eigenvektorkoordinaten, $D$ skaliert jede Koordinate, und $P$ übersetzt zurück. Die Maschine hat sich nicht verändert. Du hast die Sitzplätze gefunden, von denen aus sie wie eine Liste von Zahlen aussieht.

Der Gewinn liegt bei den Potenzen. Die Maschine hundertmal anzuwenden bedeutet

$$A^{100} = P D^{100} P^{-1}$$

und $D^{100}$ ist einfach jeder Eigenwert in der hundertsten Potenz. Eine Rechnung, die hundert Matrixmultiplikationen bräuchte, schrumpft auf eine Handvoll skalarer Multiplikationen. Jede Langzeitfrage über eine Matrix, was eine Population nach fünfzig Generationen tut, wogegen eine Irrfahrt konvergiert, wie eine Schwingung abklingt, ist eine Frage über $D^n$.

Warum überall nach Eigenvektoren gesucht wird

Sobald du Eigenvektoren als die Richtungen siehst, die unter Wiederholung gewinnen, hören die Anwendungen auf, wie eine Liste auszusehen, und werden zu einer einzigen Idee.

• PageRank. Googles ursprüngliches Ranking ist der Eigenvektor zum Eigenwert 1 einer riesigen Matrix, die beschreibt, welche Seiten auf welche verlinken. Es ist die Verteilung der Aufmerksamkeit, die sich nicht mehr ändert, wenn man den Links ein weiteres Mal folgt.
• Differentialgleichungen. Ein System $\dot{\vec{x}} = A\vec{x}$ hat Lösungen, die entlang jedes Eigenvektors aus $e^{\lambda t}$ aufgebaut sind. Positive Eigenwerte wachsen, negative klingen ab, komplexe schwingen. Die Eigenwerte sind die Raten des Systems. Die Laplace-Transformation ist dieselbe Suche nach exponentiellem Verhalten, nur mit einem Integral statt einer Determinante ausgeführt.
• Schwingungen. Eine Brücke, eine Gitarrensaite oder ein Molekül hat Eigenfrequenzen, und das sind die Eigenwerte ihrer Steifigkeitsmatrix. Die Eigenvektoren sind die Formen, in denen sie schwingen.
• Daten. Die Hauptkomponentenanalyse findet die Eigenvektoren einer Kovarianzmatrix. Der Eigenvektor mit dem größten Eigenwert ist die Richtung, entlang derer die Daten am stärksten streuen, also die erste Achse, die du zur Zusammenfassung wählen würdest.
• Quantenmechanik. Beobachtbare Größen sind Eigenwerte von Operatoren. Eine Messung liefert einen der Eigenwerte, und die Eigenvektoren sind die Zustände, in die sich das System einpendelt.

In jedem Fall ist die Methode dieselbe: Finde die Richtungen, die die Maschine in Ruhe lässt, und das komplizierte Verhalten wird zur Multiplikation entlang dieser Richtungen.

Wo die typischen Fehler entstehen

Die Fehler in diesem Themengebiet sind gleichbleibend, und die meisten entstehen dadurch, dass das Bild verloren geht.

Den Nullvektor akzeptieren. Beim Lösen von $(A - \lambda I)\vec{v} = \vec{0}$ ist $\vec{v} = \vec{0}$ immer erlaubt. Das ist kein Eigenvektor. Ist null deine einzige Lösung, hast du das falsche $\lambda$ benutzt.

Erwarten, dass eine Zeile die Antwort liefert. Im durchgerechneten Beispiel sagten beide Zeilen von $(A - \lambda I)$ dasselbe, nämlich $x = y$. Diese Redundanz ist kein Fehler; sie ist das Plattdrücken. Liefern beide Zeilen unabhängige Gleichungen mit ausschließlich der Nulllösung, ist der Eigenwert falsch.

Annehmen, es gebe immer genug Eigenvektoren. Die Scherungsmatrix mit den Zeilen $(1, 1)$ und $(0, 1)$ hat den einzigen, doppelt auftretenden Eigenwert $1$, aber nur eine Eigenvektorrichtung. Sie lässt sich nicht diagonalisieren. Bei mehrfachen Eigenwerten wird geprüft statt angenommen.

Die beiden Wörter verwechseln. Ein Eigenwert ist eine Zahl. Ein Eigenvektor ist eine Richtung. Aufgaben, die nach dem einen fragen, brauchen das andere meist als Zwischenschritt, und Antworten, die die falsche Art von Objekt zurückgeben, sind die häufigste Art, Punkte zu verlieren.

Vorzeichenfehler im charakteristischen Polynom. Für eine $2 \times 2$-Matrix lautet das Polynom immer $\lambda^2 - (\text{trace})\lambda + \det$. Schreibt man es so auf und prüft, dass sich die Nullstellen zur Determinante multiplizieren, fängt man die meisten Ausrutscher ab.

Normieren, ohne dass jemand danach gefragt hat. Ein Eigenvektor ist jeder Vektor ungleich null auf seiner Geraden. Ihn auf die Länge 1 zu skalieren, ist manchmal verlangt und oft freiwillig; tu es nur, wenn die Aufgabe es sagt, und verliere dabei nie die Richtung.

Wo Math Zen ansetzt

Das Bild einer Maschine, die manche Richtungen streckt und andere dreht, ist eine Stunde Betrachtung wert. Die Mechanik, $\lambda$ entlang der Diagonalen abziehen, die Determinante entwickeln, faktorisieren, rückwärts einsetzen, um die Richtung zu bekommen, ist dreißig Aufgaben wert, denn jeder der obigen Fehler ist eine Gewohnheit, die nur Wiederholung bricht.

Das Themengebiet Matrizen in Math Zen erzeugt frische Eigenwertaufgaben und prüft die Lösung gegen deine Rechnung, von charakteristischen Polynomen bei $2 \times 2$ über Eigenvektoren bis zu den Kontrollen mit Spur und Determinante, dazu die Determinanten und Inversen, auf denen sie aufbauen. Die Erklärung neben jeder Aufgabe zeigt das Bild vom Plattdrücken und nicht nur die Algebra, damit die Formel mit dem Grund, warum sie funktioniert, verbunden bleibt.

Das Fazit

Eine Matrix dreht die meisten Pfeile. Ein Eigenvektor ist ein Pfeil, den sie nicht dreht, und der Eigenwert ist das Maß, um das sie diesen Pfeil stattdessen streckt. Die Formel $\det(A - \lambda I) = 0$ ist nichts weiter als die Beobachtung, dass $A - \lambda I$ den Raum entlang eines Eigenvektors plattdrücken muss und eine plattdrückende Maschine Determinante null hat. Komplexe Eigenwerte bedeuten, dass die Maschine dreht, Diagonalisierung bedeutet, die Maschine von den Sitzplätzen aus zu beschreiben, von denen sie wie eine schlichte Multiplikation aussieht, und wiederholte Vorgänge landen auf dem Eigenvektor mit dem größten Eigenwert. Deshalb laufen Suchmaschinen, Brücken und Populationen alle auf dieselbe Rechnung hinaus.

Finde die Richtungen, die die Maschine in Ruhe lässt, und die Maschine hört auf, geheimnisvoll zu sein.