Eigenwaarden intuïtief begrijpen (De richtingen die een matrix met rust laat)

Leg een vel rubber op tafel, teken er honderd korte pijlen op in alle richtingen, en trek aan het vel zodat het zijwaarts twee keer zo ver uitrekt als omhoog. Kijk naar de pijlen. Bijna allemaal zwaaien ze naar de horizontaal toe terwijl het vel vervormt. Twee ervan bewegen helemaal niet. De pijl die al horizontaal was blijft horizontaal en wordt twee keer zo lang. De pijl die verticaal was blijft verticaal en behoudt zijn lengte.

Die twee pijlen zijn de eigenvectoren van de rekking, en de getallen 2 en 1 zijn de eigenwaarden ervan. Alles in dit onderwerp, de formule met de determinant, de karakteristieke veelterm, diagonalisatie, de complexe getallen die opduiken zodra een matrix draait, is een manier om die bijzondere pijlen te vinden voor een machine die je niet met het blote oog kunt doorzien.

Heb je Matrices intuïtief begrijpen nog niet gelezen, dan is dit het vervolg. Dat artikel zette het beeld neer van een matrix als een machine die een reis aanneemt en een reis teruggeeft. Dit artikel stelt die machine één enkele vraag: welke reizen laat je met rust?

Een matrix is een machine, en de meeste pijlen worden gedraaid

Een matrix $A$ neemt een vector $\vec{v}$ en produceert een nieuwe vector $A\vec{v}$. Voor de meeste invoeren wijst de uitvoer een andere kant op. Een afschuiving kantelt pijlen. Een draaiing zwaait elke pijl over dezelfde hoek. Een rekking die in de ene richting sterker is dan in de andere sleept pijlen mee naar de richting van de sterkste trek.

Zie de matrix als een windtunnel. Er gaan pijlen in, de wind grijpt ze, en ze komen er verbogen uit. De interessante vraag is niet wat er met een willekeurige pijl gebeurt. De vraag is of er een pijl bestaat die de wind niet kan verbuigen, een pijl die er precies zo uitkomt als hij erin ging, alleen langer of korter.

De pijlen die weigeren te draaien

Een eigenvector van $A$ is een vector $\vec{v}$ ongelijk aan nul die de machine op zijn eigen lijn houdt:

$$A\vec{v} = \lambda\vec{v}$$

De Griekse letter lambda, $\lambda$, is de eigenwaarde: de factor waarmee de pijl geschaald is. De vergelijking zegt dat de machine, toegepast op deze bepaalde pijl, niet te onderscheiden is van gewoon vermenigvuldigen met een getal. Langs een eigenvector houdt de matrix op matrix te zijn en wordt ze een scalair.

De eigenwaarde draagt veel informatie in één getal:

• $\lambda > 1$ betekent dat de machine die richting verlengt.
• $0 < \lambda < 1$ betekent dat ze hem verkort.
• $\lambda = 1$ betekent dat ze die richting volstrekt onaangeroerd laat.
• $\lambda < 0$ betekent dat ze de pijl omklapt naar de tegenovergestelde kant en hem daarna schaalt.
• $\lambda = 0$ betekent dat ze die richting tot niets platdrukt. De machine drukt de ruimte plat langs die lijn.

Let op wat een eigenvector niet is. Het is niet één enkele pijl maar een richting: is $\vec{v}$ een eigenvector, dan is $3\vec{v}$ het ook, met dezelfde eigenwaarde. En de nulvector is per definitie uitgesloten, want elke matrix stuurt nul naar nul, waardoor elk getal een eigenwaarde zou zijn en het hele idee waardeloos.

Waar de formule vandaan komt

Leerboeken zetten $\det(A - \lambda I) = 0$ voor je neer alsof hij uit de lucht is komen vallen. Hij volgt uit de zin hierboven.

Begin met $A\vec{v} = \lambda\vec{v}$. De rechterkant is een getal maal een vector. Om hem naar de andere kant van het isgelijkteken te halen heb je hem in matrixvorm nodig, en $\lambda\vec{v}$ is hetzelfde als $\lambda I\vec{v}$, waarbij $I$ de eenheidsmatrix is die niets doet. Trek nu af:

$$(A - \lambda I)\vec{v} = \vec{0}$$

Lees dit als een uitspraak over een nieuwe machine, $A - \lambda I$. Die neemt een pijl $\vec{v}$ ongelijk aan nul en geeft de nulvector terug. Een machine die een echte pijl naar een punt stuurt, heeft minstens één richting van de ruimte platgedrukt. In het matrix-artikel zagen we dat de determinant meet hoeveel oppervlakte een machine overleeft, dus een machine die platdrukt heeft determinant nul:

$$\det(A - \lambda I) = 0$$

Dat is de hele afleiding. De eigenwaarden zijn de waarden van $\lambda$ die de machine $A - \lambda I$ stukmaken, en de eigenvectoren zijn de richtingen waarlangs ze stukgaat. De determinant uitwerken geeft een veelterm in $\lambda$, de karakteristieke veelterm, en de wortels daarvan zijn de eigenwaarden. Voor een $2 \times 2$ matrix is het een kwadratische vergelijking; voor $n \times n$ heeft ze graad $n$, en daarom heeft een $n \times n$ matrix hooguit $n$ eigenwaarden.

Een uitgewerkt voorbeeld, stap voor stap

Neem de matrix

$$A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix}$$

Trek $\lambda$ af langs de diagonaal en neem de determinant:

$$\det\begin{pmatrix} 2 - \lambda & 1 \\ 1 & 2 - \lambda \end{pmatrix} = (2 - \lambda)^2 - 1 = \lambda^2 - 4\lambda + 3$$

Stel hem gelijk aan nul en ontbind: $(\lambda - 3)(\lambda - 1) = 0$, dus de eigenwaarden zijn $\lambda = 3$ en $\lambda = 1$.

Zoek nu de richting bij elk van beide. Voor $\lambda = 3$ los je $(A - 3I)\vec{v} = \vec{0}$ op:

$$\begin{pmatrix} -1 & 1 \\ 1 & -1 \end{pmatrix}\begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \end{pmatrix}$$

Beide rijen zeggen $x = y$, dus de eigenvector is elk veelvoud van $(1, 1)$. Controleer het bij de oorspronkelijke machine: $A(1,1) = (3, 3) = 3 \cdot (1, 1)$. De diagonale pijl komt er drie keer zo lang uit en wijst dezelfde kant op.

Voor $\lambda = 1$ zeggen de rijen $x = -y$, dus de eigenvector is elk veelvoud van $(1, -1)$, en inderdaad geldt $A(1,-1) = (1,-1)$. De antidiagonale pijl blijft onaangeroerd.

Nu kun je deze matrix in één zin beschrijven, wat met haar vier getallen niet lukte: ze rekt de ruimte met een factor 3 langs de diagonaal uit en laat de antidiagonaal met rust. Elke andere pijl in het vlak wordt naar de diagonaal toe getrokken, omdat de diagonale component drie keer zo snel groeit als de andere.

Wat de eigenwaarden je over de machine vertellen

Uit de karakteristieke veelterm rollen twee feiten die het onthouden waard zijn.

Het product van de eigenwaarden is de determinant. In het voorbeeld is $3 \times 1 = 3$, en de determinant van $A$ is $2 \cdot 2 - 1 \cdot 1 = 3$. Dat is logisch: de determinant is de oppervlakteschaling van de hele machine, en als de machine met 3 rekt in de ene richting en met 1 in de andere, schaalt de oppervlakte met 3.

De som van de eigenwaarden is het spoor, de som van de diagonaalelementen. Hier is $3 + 1 = 4 = 2 + 2$. Beide feiten zijn snelle controles of je rekenwerk het heeft overleefd.

Ruimer bekeken vormen de eigenwaarden een spectrum van de machine. De grote zijn de richtingen die de overhand krijgen wanneer de machine vaak wordt toegepast. Een machine met eigenwaarden $3$ en $1$, tien keer toegepast, rekt haar eerste eigenvector met $3^{10}$ en haar tweede met $1$. Elke beginpijl met ook maar een spoortje van de eerste richting eindigt vrijwel perfect langs die richting. Daarom komen herhaalde processen op een eigenvector uit: dat is de richting die wint.

Complexe eigenwaarden betekenen rotatie

Draai het vlak over 90 graden. Elke pijl draait mee. Geen enkele richting blijft met rust, dus zouden er geen eigenvectoren mogen zijn, en de formule is het daarmee eens. De rotatiematrix is

$$R = \begin{pmatrix} 0 & -1 \\ 1 & 0 \end{pmatrix}$$

en haar karakteristieke veelterm is $\lambda^2 + 1 = 0$, die geen reële oplossingen heeft. Haar eigenwaarden zijn $i$ en $-i$.

Dat is geen falen van de methode. Het is de methode die je iets waars vertelt: deze machine draait, en een draaiing heeft in het reële vlak geen vaste richting. Een complexe eigenwaarde is het handelsmerk van een wenteling. Een algemene draaiing over een hoek $\theta$ heeft eigenwaarden $e^{i\theta}$ en $e^{-i\theta}$, dezelfde draaiende getallen uit de formule van Euler, en een matrix met eigenwaarden als $0.9 e^{\pm i\theta}$ spiraalt naar binnen, draaiend en krimpend tegelijk. Voelen complexe getallen nog als een truc, dan bouwt Imaginaire getallen intuïtief begrijpen het beeld op van $i$ als een kwartslag, precies de rol die hij hier speelt.

Diagonalisatie: verwissel van stoel en de machine wordt vermenigvuldiging

Stel dat een $n \times n$ matrix $n$ eigenvectoren heeft die echt verschillende kanten op wijzen. Dan kunnen die eigenvectoren dienen als een nieuw stel assen. Beschrijf elke vector in termen van hoeveel van elke eigenvector erin zit, en de machine wordt triviaal: ze vermenigvuldigt elke coördinaat gewoon met de bijbehorende eigenwaarde.

Uitgeschreven: is $P$ de matrix met de eigenvectoren als kolommen en $D$ de diagonaalmatrix van eigenwaarden, dan geldt

$$A = P D P^{-1}$$

Lees het van rechts naar links. $P^{-1}$ vertaalt een vector naar eigenvectorcoördinaten, $D$ schaalt elke coördinaat, en $P$ vertaalt terug. De machine is niet veranderd. Je hebt de stoelen gevonden vanwaar ze eruitziet als een rijtje getallen.

De winst zit in machten. De machine honderd keer toepassen betekent

$$A^{100} = P D^{100} P^{-1}$$

en $D^{100}$ is niets anders dan elke eigenwaarde tot de honderdste macht. Een berekening die honderd matrixvermenigvuldigingen zou kosten, wordt een handvol vermenigvuldigingen met getallen. Elke langetermijnvraag over een matrix, wat een populatie na vijftig generaties doet, waar een toevallige wandeling naartoe convergeert, hoe een trilling uitdooft, is een vraag over $D^n$.

Waarom overal op eigenvectoren wordt gejaagd

Zodra je eigenvectoren ziet als de richtingen die winnen bij herhaling, houden de toepassingen op een lijstje te zijn en worden ze één idee.

• PageRank. De oorspronkelijke rangschikking van Google is de eigenvector, met eigenwaarde 1, van een gigantische matrix die beschrijft welke pagina's naar welke linken. Het is de verdeling van aandacht die blijft staan wanneer je de links nog een keer volgt.
• Differentiaalvergelijkingen. Een stelsel $\dot{\vec{x}} = A\vec{x}$ heeft oplossingen die langs elke eigenvector uit $e^{\lambda t}$ zijn opgebouwd. Positieve eigenwaarden groeien, negatieve doven uit, complexe trillen. De eigenwaarden zijn de snelheden van het stelsel. Laplace-transformaties zijn dezelfde jacht op exponentieel gedrag, uitgevoerd met een integraal in plaats van met een determinant.
• Trillingen. Een brug, een gitaarsnaar of een molecuul heeft eigenfrequenties, en dat zijn de eigenwaarden van de stijfheidsmatrix. De eigenvectoren zijn de vormen waarin het geheel trilt.
• Data. Principale-componentenanalyse zoekt de eigenvectoren van een covariantiematrix. De eigenvector met de grootste eigenwaarde is de richting waarlangs de data het sterkst variëren, en dat is de eerste as die je zou kiezen om ze samen te vatten.
• Kwantummechanica. Waarneembare grootheden zijn eigenwaarden van operatoren. Een meting levert een van de eigenwaarden op, en de eigenvectoren zijn de toestanden waarin het systeem terechtkomt.

In elk geval is de methode dezelfde: vind de richtingen die de machine met rust laat, en het ingewikkelde gedrag wordt vermenigvuldiging langs die richtingen.

Waar de typische denkfouten ontstaan

De fouten bij dit onderwerp zijn consequent, en de meeste komen doordat het beeld verloren gaat.

De nulvector accepteren. Het oplossen van $(A - \lambda I)\vec{v} = \vec{0}$ laat altijd $\vec{v} = \vec{0}$ toe. Dat is geen eigenvector. Is nul je enige oplossing, dan heb je de verkeerde $\lambda$ gebruikt.

Verwachten dat één rij het antwoord geeft. In het uitgewerkte voorbeeld zeiden beide rijen van $(A - \lambda I)$ hetzelfde: $x = y$. Die overtolligheid is geen fout, het is juist het platdrukken. Geven beide rijen onafhankelijke vergelijkingen met alleen de nuloplossing, dan klopt de eigenwaarde niet.

Aannemen dat er altijd genoeg eigenvectoren zijn. De afschuivingsmatrix met rijen $(1, 1)$ en $(0, 1)$ heeft de enkele eigenwaarde $1$, dubbel, maar slechts één eigenvectorrichting. Ze is niet te diagonaliseren. Bij dubbele eigenwaarden controleer je, in plaats van aan te nemen.

De twee woorden verwarren. Een eigenwaarde is een getal. Een eigenvector is een richting. Vragen die om het een vragen, hebben het ander meestal als tussenstap nodig, en antwoorden die het verkeerde soort object teruggeven zijn de meest voorkomende manier om het punt te verspelen.

Tekenfouten in de karakteristieke veelterm. Voor een $2 \times 2$ matrix is de veelterm altijd $\lambda^2 - (\text{trace})\lambda + \det$. Door hem zo op te schrijven, en te controleren of het product van de wortels de determinant is, vang je de meeste vergissingen af.

Normeren terwijl niemand erom vroeg. Een eigenvector is elke vector ongelijk aan nul op zijn lijn. Hem schalen naar lengte 1 is soms vereist en vaak optioneel; doe het alleen als de opgave erom vraagt, en verlies er nooit de richting bij.

Waar Math Zen van pas komt

Het beeld van een machine die sommige richtingen rekt en andere draait, is een uur staren waard. De mechaniek, $\lambda$ aftrekken langs de diagonaal, de determinant uitwerken, ontbinden, terugsubstitueren om de richting te krijgen, is dertig opgaven waard, want elk van de bovenstaande fouten is een gewoonte die alleen door herhaling doorbroken wordt.

Het onderwerp Matrices in Math Zen genereert steeds nieuwe eigenwaardeopgaven met het antwoord getoetst aan jouw werk, van $2 \times 2$ karakteristieke veeltermen tot eigenvectoren en de controles met spoor en determinant, naast de determinanten en inversen waarop ze steunen. De uitleg naast elke opgave laat het platdrukbeeld zien en niet alleen de algebra, zodat de formule verbonden blijft met de reden dat hij werkt.

De conclusie

Een matrix draait de meeste pijlen. Een eigenvector is een pijl die ze niet draait, en de eigenwaarde is hoeveel ze die pijl in plaats daarvan uitrekt. De formule $\det(A - \lambda I) = 0$ is niets anders dan de constatering dat $A - \lambda I$ de ruimte langs een eigenvector moet platdrukken, en dat een platdrukkende machine determinant nul heeft. Complexe eigenwaarden betekenen dat de machine draait, diagonalisatie betekent de machine beschrijven vanaf de stoelen waar ze eruitziet als gewone vermenigvuldiging, en herhaalde processen eindigen langs de eigenvector met de grootste eigenwaarde. Daarom komen zoekmachines, bruggen en populaties allemaal op dezelfde berekening neer.

Vind de richtingen die de machine met rust laat, en de machine houdt op raadselachtig te zijn.