Förstå egenvärden intuitivt (Riktningarna en matris lämnar i fred)

Lägg ett gummiark på ett bord, rita hundra korta pilar på det åt alla håll, och dra i arket så att det sträcks dubbelt så mycket i sidled som på höjden. Titta på pilarna. Nästan alla svänger mot horisontalen medan arket deformeras. Två av dem rör sig inte alls. Pilen som redan var vågrät förblir vågrät och blir dubbelt så lång. Pilen som var lodrät förblir lodrät och behåller sin längd.

De två pilarna är sträckningens egenvektorer, och talen 2 och 1 är dess egenvärden. Allt i det här ämnet, formeln med determinanten, det karakteristiska polynomet, diagonaliseringen, de komplexa talen som dyker upp när en matris roterar, är sätt att hitta dessa speciella pilar för en maskin du inte kan genomskåda bara genom att titta.

Om du inte har läst Förstå matriser intuitivt är det här uppföljaren. Den artikeln byggde upp bilden av en matris som en maskin som tar emot en resa och lämnar tillbaka en resa. Den här ställer maskinen en enda fråga: vilka resor lämnar du i fred?

En matris är en maskin, och de flesta pilar blir vridna

En matris $A$ tar en vektor $\vec{v}$ och producerar en ny vektor $A\vec{v}$. För de flesta indata pekar utdata åt ett nytt håll. En skjuvning lutar pilar. En rotation svänger varje pil lika mycket. En sträckning som är starkare i en riktning än i en annan drar pilarna mot den starkare dragningens riktning.

Tänk på matrisen som en vindtunnel. Pilar går in, vinden träffar dem, och de kommer ut böjda. Den intressanta frågan är inte vad som händer med en typisk pil. Den är om det finns någon pil som vinden inte kan böja, en pil som kommer ut pekande exakt åt samma håll som den gick in, bara längre eller kortare.

Pilarna som vägrar vrida sig

En egenvektor till $A$ är en nollskild vektor $\vec{v}$ som maskinen håller kvar på dess egen linje:

$$A\vec{v} = \lambda\vec{v}$$

Den grekiska bokstaven lambda, $\lambda$, är egenvärdet: faktorn som pilen skalades med. Ekvationen säger att maskinens verkan på just den här pilen inte går att skilja från vanlig multiplikation med ett tal. Längs en egenvektor slutar matrisen vara en matris och blir en skalär.

Egenvärdet bär mycket information i ett enda tal:

• $\lambda > 1$ betyder att maskinen förlänger den riktningen.
• $0 < \lambda < 1$ betyder att den förkortar den.
• $\lambda = 1$ betyder att den lämnar den riktningen helt orörd.
• $\lambda < 0$ betyder att den vänder pilen åt motsatt håll och sedan skalar den.
• $\lambda = 0$ betyder att den krossar den riktningen till ingenting. Maskinen plattar till rummet längs den linjen.

Lägg märke till vad en egenvektor inte är. Den är inte en enskild pil utan en riktning: om $\vec{v}$ är en egenvektor så är även $3\vec{v}$ det, med samma egenvärde. Och nollvektorn är utesluten per definition, eftersom varje matris skickar noll till noll, vilket skulle göra varje tal till ett egenvärde och hela idén oanvändbar.

Varifrån formeln kommer

Läroböcker räcker dig $\det(A - \lambda I) = 0$ som om den fallit ner från himlen. Den kommer från meningen ovan.

Utgå från $A\vec{v} = \lambda\vec{v}$. Högerledet är ett tal gånger en vektor. För att flytta över det till andra sidan likhetstecknet behöver du det på matrisform, och $\lambda\vec{v}$ är samma sak som $\lambda I\vec{v}$, där $I$ är enhetsmatrisen som inte gör någonting. Subtrahera nu:

$$(A - \lambda I)\vec{v} = \vec{0}$$

Läs detta som ett påstående om en ny maskin, $A - \lambda I$. Den tar en nollskild pil $\vec{v}$ och returnerar nollvektorn. En maskin som skickar en verklig pil till en punkt har plattat till minst en av rummets riktningar. I artikeln om matriser såg vi att determinanten mäter hur mycket area som överlever en maskin, så en maskin som plattar till har determinanten noll:

$$\det(A - \lambda I) = 0$$

Det är hela härledningen. Egenvärdena är de värden på $\lambda$ som får maskinen $A - \lambda I$ att gå sönder, och egenvektorerna är riktningarna den går sönder längs. Att utveckla determinanten ger ett polynom i $\lambda$, kallat det karakteristiska polynomet, och dess rötter är egenvärdena. För en $2 \times 2$-matris är det en andragradare; för $n \times n$ har det gradtalet $n$, vilket är anledningen till att en $n \times n$-matris har högst $n$ egenvärden.

Ett genomräknat exempel, i lugn takt

Ta matrisen

$$A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix}$$

Subtrahera $\lambda$ längs diagonalen och ta determinanten:

$$\det\begin{pmatrix} 2 - \lambda & 1 \\ 1 & 2 - \lambda \end{pmatrix} = (2 - \lambda)^2 - 1 = \lambda^2 - 4\lambda + 3$$

Sätt det till noll och faktorisera: $(\lambda - 3)(\lambda - 1) = 0$, så egenvärdena är $\lambda = 3$ och $\lambda = 1$.

Hitta nu riktningen för vart och ett. För $\lambda = 3$, lös $(A - 3I)\vec{v} = \vec{0}$:

$$\begin{pmatrix} -1 & 1 \\ 1 & -1 \end{pmatrix}\begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \end{pmatrix}$$

Båda raderna säger $x = y$, så egenvektorn är vilken multipel som helst av $(1, 1)$. Kontrollera mot den ursprungliga maskinen: $A(1,1) = (3, 3) = 3 \cdot (1, 1)$. Den diagonala pilen kommer ut tre gånger längre och pekar åt samma håll.

För $\lambda = 1$ säger raderna $x = -y$, så egenvektorn är vilken multipel som helst av $(1, -1)$, och mycket riktigt är $A(1,-1) = (1,-1)$. Den antidiagonala pilen är orörd.

Nu kan du beskriva den här matrisen i en enda mening, vilket du inte kunde utifrån dess fyra element: den sträcker rummet med faktorn 3 längs diagonalen och lämnar antidiagonalen i fred. Varje annan pil i planet dras mot diagonalen, eftersom diagonalkomponenten växer tre gånger snabbare än den andra.

Vad egenvärdena berättar om maskinen

Två fakta faller ut ur det karakteristiska polynomet och är värda att behålla.

Produkten av egenvärdena är determinanten. I exemplet är $3 \times 1 = 3$, och determinanten av $A$ är $2 \cdot 2 - 1 \cdot 1 = 3$. Det är rimligt: determinanten är hela maskinens areaskalning, och om maskinen sträcker med 3 i en riktning och 1 i en annan, skalas arean med 3.

Summan av egenvärdena är spåret, summan av diagonalelementen. Här är $3 + 1 = 4 = 2 + 2$. Båda fakta är snabba kontroller av att din aritmetik klarade sig.

Mer allmänt är egenvärdena ett spektrum för maskinen. De stora är de riktningar som dominerar efter att maskinen tillämpats många gånger. En maskin med egenvärdena $3$ och $1$, tillämpad tio gånger, sträcker sin första egenvektor med $3^{10}$ och sin andra med $1$. Vilken startpil som helst med minsta lilla inslag av den första riktningen slutar nästan perfekt i linje med den. Det är därför upprepade processer landar i en egenvektor: det är riktningen som vinner.

Komplexa egenvärden betyder rotation

Rotera planet 90 grader. Varje pil vrids. Ingen riktning lämnas i fred, så det borde inte finnas några egenvektorer, och formeln håller med. Rotationsmatrisen är

$$R = \begin{pmatrix} 0 & -1 \\ 1 & 0 \end{pmatrix}$$

och dess karakteristiska polynom är $\lambda^2 + 1 = 0$, som saknar reella lösningar. Dess egenvärden är $i$ och $-i$.

Det är inte ett misslyckande för metoden. Det är metoden som berättar något sant: den här maskinen roterar, och rotation har ingen fix riktning i det reella planet. Ett komplext egenvärde är signaturen hos en vridning. En allmän rotation med vinkeln $\theta$ har egenvärdena $e^{i\theta}$ och $e^{-i\theta}$, samma roterande tal som i Eulers identitet, och en matris med egenvärden som $0.9 e^{\pm i\theta}$ spiralerar inåt, roterar och krymper på samma gång. Om komplexa tal fortfarande känns som ett trick bygger Förstå imaginära tal intuitivt upp bilden av $i$ som ett kvarts varv, vilket är exakt den roll det spelar här.

Diagonalisering: byt plats och maskinen blir multiplikation

Anta att en $n \times n$-matris har $n$ egenvektorer som pekar åt genuint olika håll. Då kan de egenvektorerna fungera som en ny uppsättning axlar. Beskriv varje vektor i termer av hur mycket den innehåller av varje egenvektor, så blir maskinen trivial: den multiplicerar bara varje koordinat med motsvarande egenvärde.

Utskrivet: om $P$ är matrisen vars kolumner är egenvektorerna och $D$ är diagonalmatrisen av egenvärden, så gäller

$$A = P D P^{-1}$$

Läs det från höger till vänster. $P^{-1}$ översätter en vektor till egenvektorkoordinater, $D$ skalar varje koordinat, och $P$ översätter tillbaka. Maskinen har inte förändrats. Du har hittat de platser varifrån den ser ut som en lista med tal.

Vinsten ligger i potenser. Att tillämpa maskinen hundra gånger betyder

$$A^{100} = P D^{100} P^{-1}$$

och $D^{100}$ är bara varje egenvärde upphöjt till hundra. En beräkning som skulle kräva hundra matrismultiplikationer blir en handfull skalära. Varje långsiktig fråga om en matris, vad en population gör efter femtio generationer, vad en slumpvandring konvergerar mot, hur en vibration klingar av, är en fråga om $D^n$.

Varför allt jagar egenvektorer

När du väl ser egenvektorer som de riktningar som vinner under upprepning slutar tillämpningarna se ut som en lista och börjar se ut som en enda idé.

• PageRank. Googles ursprungliga rankning är egenvektorn, med egenvärdet 1, till en gigantisk matris som beskriver vilka sidor som länkar till vilka. Det är den fördelning av uppmärksamhet som stannar kvar när du följer länkarna en gång till.
• Differentialekvationer. Ett system $\dot{\vec{x}} = A\vec{x}$ har lösningar byggda av $e^{\lambda t}$ längs varje egenvektor. Positiva egenvärden växer, negativa klingar av, komplexa svänger. Egenvärdena är systemets takter. Laplacetransformer är samma jakt på exponentiellt beteende, utförd med en integral i stället för en determinant.
• Vibrationer. En bro, en gitarrsträng eller en molekyl har egenfrekvenser, och de är egenvärdena till dess styvhetsmatris. Egenvektorerna är formerna den vibrerar i.
• Data. Principalkomponentanalys hittar egenvektorerna till en kovariansmatris. Egenvektorn med det största egenvärdet är den riktning längs vilken data varierar mest, vilket är den första axel du skulle välja för att sammanfatta den.
• Kvantmekanik. Observerbara storheter är egenvärden till operatorer. En mätning ger ett av egenvärdena, och egenvektorerna är de tillstånd systemet landar i.

I varje fall är metoden densamma: hitta de riktningar maskinen lämnar i fred, så blir det komplicerade beteendet multiplikation längs de riktningarna.

Var misstagen uppstår

Felen i det här ämnet är förutsägbara, och de flesta av dem kommer av att bilden tappas bort.

Att acceptera nollvektorn. Att lösa $(A - \lambda I)\vec{v} = \vec{0}$ tillåter alltid $\vec{v} = \vec{0}$. Det är ingen egenvektor. Om din enda lösning är noll använde du fel $\lambda$.

Att förvänta sig att en rad ger svaret. I det genomräknade exemplet sa båda raderna i $(A - \lambda I)$ samma sak, $x = y$. Den redundansen är inte ett misstag; den är tillplattningen. Om båda raderna ger oberoende ekvationer med bara nollösningen är egenvärdet fel.

Att anta att det alltid finns tillräckligt många egenvektorer. Skjuvningsmatrisen med raderna $(1, 1)$ och $(0, 1)$ har det enda egenvärdet $1$, upprepat, men bara en egenvektorriktning. Den går inte att diagonalisera. Upprepade egenvärden är där du kontrollerar i stället för att anta.

Att blanda ihop de två orden. Ett egenvärde är ett tal. En egenvektor är en riktning. Uppgifter som frågar efter det ena behöver oftast det andra som ett steg på vägen, och svar som lämnar tillbaka fel sorts objekt är det vanligaste sättet att förlora poängen.

Teckenfel i det karakteristiska polynomet. För en $2 \times 2$-matris är polynomet alltid $\lambda^2 - (\text{trace})\lambda + \det$. Att skriva det så, och kontrollera att rötterna multiplicerar ihop sig till determinanten, fångar de flesta slarvfel.

Att normera när ingen bett om det. En egenvektor är vilken nollskild vektor som helst på sin linje. Att skala den till längden 1 krävs ibland och är ofta valfritt; gör det bara när uppgiften säger det, och tappa aldrig bort riktningen på vägen.

Där Math Zen kommer in i bilden

Bilden av en maskin som sträcker vissa riktningar och vrider andra är värd en timmes stirrande. Mekaniken, att subtrahera $\lambda$ längs diagonalen, utveckla determinanten, faktorisera, substituera tillbaka för att få riktningen, är värd trettio uppgifter, för varje enskilt av misstagen ovan är en vana som bara upprepning bryter.

Ämnet Matriser i Math Zen genererar färska egenvärdesuppgifter med svaret kontrollerat mot ditt arbete, från karakteristiska polynom för $2 \times 2$ vidare till egenvektorer och kontrollerna med spår och determinant, tillsammans med de determinanter och inverser de bygger på. Förklaringen bredvid varje uppgift visar bilden av tillplattningen, inte bara algebran, så att formeln förblir kopplad till anledningen till att den fungerar.

Sammanfattning

En matris vrider de flesta pilar. En egenvektor är en pil som den inte vrider, och egenvärdet är hur mycket den sträcker den pilen i stället. Formeln $\det(A - \lambda I) = 0$ är bara observationen att $A - \lambda I$ måste platta till rummet längs en egenvektor, och en tillplattad maskin har determinanten noll. Komplexa egenvärden betyder att maskinen roterar, diagonalisering betyder att beskriva maskinen från de platser där den ser ut som vanlig multiplikation, och upprepade processer hamnar längs egenvektorn med det största egenvärdet, vilket är varför sökmotorer, broar och populationer alla mynnar ut i samma beräkning.

Hitta de riktningar maskinen lämnar i fred, så slutar maskinen vara ett mysterium.