Comprendre intuitivement les valeurs propres (Les directions qu'une matrice laisse intactes)

Posez une feuille de caoutchouc sur une table, dessinez dessus une centaine de petites flèches dans toutes les directions, puis tirez la feuille de sorte qu'elle s'étire deux fois plus en largeur qu'en hauteur. Observez les flèches. Presque toutes basculent vers l'horizontale à mesure que la feuille se déforme. Deux d'entre elles ne bougent pas du tout. La flèche qui était déjà horizontale reste horizontale et devient deux fois plus longue. La flèche qui était verticale reste verticale et conserve sa longueur.

Ces deux flèches sont les vecteurs propres de cet étirement, et les nombres 2 et 1 en sont les valeurs propres. Tout ce que contient ce sujet, la formule avec le déterminant, le polynôme caractéristique, la diagonalisation, les nombres complexes qui surgissent quand une matrice fait tourner, n'est qu'une façon de retrouver ces flèches particulières pour une machine que le simple regard ne suffit pas à percer.

Si vous n'avez pas lu Comprendre intuitivement les matrices, voici la suite. Cet article installait l'image d'une matrice comme une machine qui prend un trajet et rend un trajet. Celui-ci ne pose à la machine qu'une seule question: quels trajets laisses-tu intacts ?

Une matrice est une machine, et la plupart des flèches se font tourner

Une matrice $A$ prend un vecteur $\vec{v}$ et produit un nouveau vecteur $A\vec{v}$. Pour la plupart des entrées, la sortie pointe ailleurs. Un cisaillement incline les flèches. Une rotation fait pivoter chaque flèche du même angle. Un étirement plus fort dans une direction que dans l'autre entraîne les flèches vers la direction où la traction est la plus forte.

Voyez la matrice comme une soufflerie. Les flèches y entrent, le vent les frappe, et elles ressortent tordues. La question intéressante n'est pas ce qui arrive à une flèche quelconque. C'est de savoir s'il existe une flèche que le vent ne peut pas tordre, une flèche qui ressort en pointant exactement comme elle est entrée, simplement plus longue ou plus courte.

Les flèches qui refusent de tourner

Un vecteur propre de $A$ est un vecteur non nul $\vec{v}$ que la machine garde sur sa propre droite:

$$A\vec{v} = \lambda\vec{v}$$

La lettre grecque lambda, $\lambda$, est la valeur propre: le facteur par lequel la flèche a été mise à l'échelle. L'équation dit que l'action de la machine sur cette flèche particulière est indiscernable d'une simple multiplication par un nombre. Le long d'un vecteur propre, la matrice cesse d'être une matrice et devient un scalaire.

La valeur propre porte beaucoup d'information en un seul nombre:

• $\lambda > 1$ signifie que la machine allonge cette direction.
• $0 < \lambda < 1$ signifie qu'elle la raccourcit.
• $\lambda = 1$ signifie qu'elle laisse cette direction totalement intacte.
• $\lambda < 0$ signifie qu'elle retourne la flèche dans le sens opposé, puis la met à l'échelle.
• $\lambda = 0$ signifie qu'elle écrase cette direction jusqu'à rien. La machine aplatit l'espace le long de cette droite.

Notez ce qu'un vecteur propre n'est pas. Ce n'est pas une flèche unique mais une direction: si $\vec{v}$ est un vecteur propre, alors $3\vec{v}$ l'est aussi, avec la même valeur propre. Et le vecteur nul est exclu par définition, car toute matrice envoie zéro sur zéro, ce qui ferait de n'importe quel nombre une valeur propre et rendrait l'idée entière inutile.

D'où vient la formule

Les manuels vous tendent $\det(A - \lambda I) = 0$ comme si elle était tombée du ciel. Elle vient de la phrase précédente.

Partez de $A\vec{v} = \lambda\vec{v}$. Le membre de droite est un nombre multiplié par un vecteur. Pour le faire passer de l'autre côté du signe égal, il vous le faut sous forme matricielle, et $\lambda\vec{v}$ est la même chose que $\lambda I\vec{v}$, où $I$ est la matrice identité, celle qui ne fait rien. Soustrayez maintenant:

$$(A - \lambda I)\vec{v} = \vec{0}$$

Lisez ceci comme un énoncé portant sur une nouvelle machine, $A - \lambda I$. Elle prend une flèche non nulle $\vec{v}$ et renvoie le vecteur nul. Une machine qui envoie une vraie flèche sur un point a aplati au moins une direction de l'espace. Dans l'article sur les matrices, nous avons vu que le déterminant mesure la part d'aire qui survit à une machine; une machine qui aplatit a donc un déterminant nul:

$$\det(A - \lambda I) = 0$$

Voilà toute la démonstration. Les valeurs propres sont les valeurs de $\lambda$ qui cassent la machine $A - \lambda I$, et les vecteurs propres sont les directions selon lesquelles elle casse. Développer le déterminant donne un polynôme en $\lambda$, appelé polynôme caractéristique, et ses racines sont les valeurs propres. Pour une matrice $2 \times 2$ c'est un trinôme du second degré; pour une matrice $n \times n$ il est de degré $n$, et c'est pourquoi une matrice $n \times n$ a au plus $n$ valeurs propres.

Un exemple traité lentement

Prenons la matrice

$$A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix}$$

Soustrayez $\lambda$ le long de la diagonale et prenez le déterminant:

$$\det\begin{pmatrix} 2 - \lambda & 1 \\ 1 & 2 - \lambda \end{pmatrix} = (2 - \lambda)^2 - 1 = \lambda^2 - 4\lambda + 3$$

Annulez-le et factorisez: $(\lambda - 3)(\lambda - 1) = 0$, donc les valeurs propres sont $\lambda = 3$ et $\lambda = 1$.

Trouvez maintenant la direction associée à chacune. Pour $\lambda = 3$, résolvez $(A - 3I)\vec{v} = \vec{0}$:

$$\begin{pmatrix} -1 & 1 \\ 1 & -1 \end{pmatrix}\begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \end{pmatrix}$$

Les deux lignes disent $x = y$, le vecteur propre est donc n'importe quel multiple de $(1, 1)$. Vérifiez-le sur la machine d'origine: $A(1,1) = (3, 3) = 3 \cdot (1, 1)$. La flèche diagonale ressort trois fois plus longue, en pointant dans la même direction.

Pour $\lambda = 1$, les lignes disent $x = -y$, le vecteur propre est donc n'importe quel multiple de $(1, -1)$, et en effet $A(1,-1) = (1,-1)$. La flèche antidiagonale reste intacte.

Vous pouvez maintenant décrire cette matrice en une phrase, ce que ses quatre coefficients ne permettaient pas: elle étire l'espace d'un facteur 3 le long de la diagonale et laisse l'antidiagonale intacte. Toute autre flèche du plan se fait entraîner vers la diagonale, parce que la composante diagonale croît trois fois plus vite que l'autre.

Ce que les valeurs propres vous apprennent sur la machine

Deux faits découlent du polynôme caractéristique et méritent d'être retenus.

Le produit des valeurs propres est le déterminant. Dans l'exemple, $3 \times 1 = 3$, et le déterminant de $A$ vaut $2 \cdot 2 - 1 \cdot 1 = 3$. C'est logique: le déterminant est le facteur d'aire de la machine entière, et si la machine étire d'un facteur 3 dans une direction et de 1 dans l'autre, les aires sont multipliées par 3.

La somme des valeurs propres est la trace, la somme des coefficients diagonaux. Ici $3 + 1 = 4 = 2 + 2$. Ces deux faits sont des vérifications rapides pour s'assurer que votre calcul a survécu.

Plus largement, les valeurs propres forment un spectre de la machine. Les grandes sont les directions qui dominent après de nombreuses applications de la machine. Une machine de valeurs propres $3$ et $1$, appliquée dix fois, étire son premier vecteur propre d'un facteur $3^{10}$ et le second d'un facteur $1$. Toute flèche de départ contenant ne serait-ce qu'un soupçon de la première direction finit presque parfaitement alignée sur elle. C'est pour cela qu'un processus répété se stabilise sur un vecteur propre: c'est la direction qui l'emporte.

Des valeurs propres complexes signalent une rotation

Faites tourner le plan de 90 degrés. Chaque flèche tourne. Aucune direction n'est laissée intacte, il ne devrait donc y avoir aucun vecteur propre, et la formule le confirme. La matrice de rotation est

$$R = \begin{pmatrix} 0 & -1 \\ 1 & 0 \end{pmatrix}$$

et son polynôme caractéristique est $\lambda^2 + 1 = 0$, qui n'a pas de solution réelle. Ses valeurs propres sont $i$ et $-i$.

Ce n'est pas un échec de la méthode. C'est la méthode qui vous dit quelque chose de vrai: cette machine fait tourner, et une rotation n'a aucune direction fixe dans le plan réel. Une valeur propre complexe est la signature d'une torsion. Une rotation générale d'angle $\theta$ a pour valeurs propres $e^{i\theta}$ et $e^{-i\theta}$, les mêmes nombres tournants que dans la formule d'Euler, et une matrice dont les valeurs propres ressemblent à $0.9 e^{\pm i\theta}$ décrit une spirale vers l'intérieur, tournant et contractant à la fois. Si les nombres complexes vous font encore l'effet d'un tour de passe-passe, Comprendre intuitivement les nombres imaginaires construit l'image de $i$ comme un quart de tour, exactement le rôle qu'il joue ici.

Diagonalisation: changez de siège et la machine devient une multiplication

Supposons qu'une matrice $n \times n$ possède $n$ vecteurs propres pointant dans des directions véritablement différentes. Ces vecteurs propres peuvent alors servir de nouveaux axes. Décrivez chaque vecteur par la quantité de chaque vecteur propre qu'il contient, et la machine devient triviale: elle se contente de multiplier chaque coordonnée par la valeur propre correspondante.

En écriture complète, si $P$ est la matrice dont les colonnes sont les vecteurs propres et $D$ la matrice diagonale des valeurs propres, alors

$$A = P D P^{-1}$$

Lisez de droite à gauche. $P^{-1}$ traduit un vecteur en coordonnées de vecteurs propres, $D$ met chaque coordonnée à l'échelle, et $P$ retraduit. La machine n'a pas changé. Vous avez trouvé les sièges depuis lesquels elle ressemble à une liste de nombres.

Le gain se joue sur les puissances. Appliquer la machine cent fois revient à

$$A^{100} = P D^{100} P^{-1}$$

et $D^{100}$, c'est simplement chaque valeur propre élevée à la puissance cent. Un calcul qui demanderait cent produits matriciels se réduit à une poignée de produits scalaires. Toute question sur le comportement à long terme d'une matrice, ce que devient une population après cinquante générations, vers quoi converge une marche aléatoire, comment une vibration s'amortit, est une question sur $D^n$.

Pourquoi tout le monde part en chasse de vecteurs propres

Dès lors que vous voyez les vecteurs propres comme les directions qui l'emportent sous l'effet de la répétition, les applications cessent de ressembler à une liste et se mettent à ressembler à une seule idée.

• PageRank. Le classement original de Google est le vecteur propre, de valeur propre 1, d'une gigantesque matrice décrivant quelles pages pointent vers quelles autres. C'est la répartition de l'attention qui reste en place quand on suit les liens une fois de plus.
• Équations différentielles. Un système $\dot{\vec{x}} = A\vec{x}$ a des solutions bâties à partir de $e^{\lambda t}$ le long de chaque vecteur propre. Les valeurs propres positives font croître, les négatives font décroître, les complexes font osciller. Les valeurs propres sont les taux du système. Les transformées de Laplace sont la même chasse au comportement exponentiel, menée avec une intégrale au lieu d'un déterminant.
• Vibrations. Un pont, une corde de guitare ou une molécule possède des fréquences propres, et ce sont les valeurs propres de sa matrice de rigidité. Les vecteurs propres sont les formes selon lesquelles l'objet vibre.
• Données. L'analyse en composantes principales trouve les vecteurs propres d'une matrice de covariance. Le vecteur propre de plus grande valeur propre est la direction selon laquelle les données varient le plus, c'est-à-dire le premier axe que vous choisiriez pour les résumer.
• Mécanique quantique. Les grandeurs observables sont les valeurs propres d'opérateurs. Une mesure renvoie l'une des valeurs propres, et les vecteurs propres sont les états dans lesquels le système se stabilise.

Dans chaque cas la méthode est la même: trouver les directions que la machine laisse intactes, et le comportement compliqué devient une multiplication le long de ces directions.

D'où viennent les erreurs

Les erreurs sur ce sujet sont constantes, et la plupart viennent de la perte de l'image.

Accepter le vecteur nul. Résoudre $(A - \lambda I)\vec{v} = \vec{0}$ autorise toujours $\vec{v} = \vec{0}$. Ce n'est pas un vecteur propre. Si votre seule solution est zéro, vous avez utilisé le mauvais $\lambda$.

Attendre d'une seule ligne qu'elle donne la réponse. Dans l'exemple traité, les deux lignes de $(A - \lambda I)$ disaient la même chose, $x = y$. Cette redondance n'est pas une erreur; c'est l'aplatissement. Si les deux lignes donnent des équations indépendantes n'admettant que la solution nulle, la valeur propre est fausse.

Supposer qu'il y a toujours assez de vecteurs propres. La matrice de cisaillement de lignes $(1, 1)$ et $(0, 1)$ a l'unique valeur propre $1$, répétée, mais une seule direction propre. Elle n'est pas diagonalisable. Les valeurs propres répétées sont l'endroit où l'on vérifie plutôt que de supposer.

Confondre les deux mots. Une valeur propre est un nombre. Un vecteur propre est une direction. Les questions qui demandent l'un ont souvent besoin de l'autre comme étape, et rendre le mauvais type d'objet est la façon la plus courante de perdre les points.

Erreurs de signe dans le polynôme caractéristique. Pour une matrice $2 \times 2$, le polynôme est toujours $\lambda^2 - (\text{trace})\lambda + \det$. L'écrire ainsi, et vérifier que le produit des racines vaut le déterminant, attrape la plupart des étourderies.

Normaliser sans qu'on l'ait demandé. Un vecteur propre est n'importe quel vecteur non nul de sa droite. Le ramener à une longueur de 1 est parfois exigé et souvent facultatif; ne le faites que si l'énoncé le demande, et ne perdez jamais la direction en chemin.

La place de Math Zen

L'image d'une machine qui étire certaines directions et en fait tourner d'autres mérite une heure de contemplation. La mécanique, soustraire $\lambda$ le long de la diagonale, développer le déterminant, factoriser, remonter aux directions, mérite trente exercices, parce que chacune des erreurs ci-dessus est une habitude que seule la répétition brise.

Le module d'exercices sur les matrices de Math Zen génère des problèmes de valeurs propres inédits, avec la réponse vérifiée face à votre travail, des polynômes caractéristiques $2 \times 2$ jusqu'aux vecteurs propres et aux contrôles par la trace et le déterminant, en plus des déterminants et des inverses dont ils dépendent. L'explication qui accompagne chaque exercice montre l'image de l'aplatissement, pas seulement l'algèbre, si bien que la formule reste attachée à la raison de son fonctionnement.

Le bilan

Une matrice fait tourner la plupart des flèches. Un vecteur propre est une flèche qu'elle ne fait pas tourner, et la valeur propre dit de combien elle l'étire à la place. La formule $\det(A - \lambda I) = 0$ n'est que l'observation suivante: $A - \lambda I$ doit aplatir l'espace le long d'un vecteur propre, et une machine qui aplatit a un déterminant nul. Des valeurs propres complexes signifient que la machine fait tourner, la diagonalisation consiste à décrire la machine depuis les sièges d'où elle ressemble à une simple multiplication, et les processus répétés finissent le long du vecteur propre de plus grande valeur propre, ce qui explique que moteurs de recherche, ponts et populations se ramènent tous au même calcul.

Trouvez les directions que la machine laisse intactes, et la machine cesse d'être mystérieuse.