Собственные значения простыми словами (Направления, которые матрица не трогает)

Положите на стол резиновый лист, нарисуйте на нем сотню коротких стрелок во все стороны и потяните лист так, чтобы вбок он растянулся вдвое сильнее, чем вверх. Смотрите на стрелки. Почти все они по мере деформации разворачиваются к горизонтали. Две не сдвигаются вовсе. Стрелка, которая уже была горизонтальной, остается горизонтальной и становится вдвое длиннее. Стрелка, которая была вертикальной, остается вертикальной и сохраняет длину.

Эти две стрелки являются собственными векторами растяжения, а числа 2 и 1 его собственными значениями. Все в этой теме, и формула с определителем, и характеристический многочлен, и диагонализация, и комплексные числа, всплывающие там, где матрица поворачивает, представляет собой способ отыскать эти особые стрелки у машины, которую нельзя разглядеть на глаз.

Если вы еще не читали статью Матрицы простыми словами, перед вами ее продолжение. Там мы выстроили картину матрицы как машины, которая принимает путь и возвращает путь. Здесь мы задаем этой машине единственный вопрос: какие пути ты оставляешь в покое?

Матрица является машиной, и почти каждая стрелка поворачивается

Матрица $A$ берет вектор $\vec{v}$ и выдает новый вектор $A\vec{v}$. Для большинства входов результат смотрит в новую сторону. Сдвиг наклоняет стрелки. Поворот разворачивает каждую стрелку на один и тот же угол. Растяжение, которое в одном направлении сильнее, чем в другом, стягивает стрелки к направлению более сильной тяги.

Представьте матрицу как аэродинамическую трубу. Стрелки влетают внутрь, ветер бьет по ним, и наружу они выходят согнутыми. Интересен не вопрос о том, что происходит с типичной стрелкой. Интересно, существует ли хоть одна стрелка, которую ветер согнуть не в силах, стрелка, выходящая ровно в ту же сторону, куда входила, разве что длиннее или короче.

Стрелки, которые отказываются поворачиваться

Собственный вектор матрицы $A$ это ненулевой вектор $\vec{v}$, который машина удерживает на его собственной прямой:

$$A\vec{v} = \lambda\vec{v}$$

Греческая буква лямбда, $\lambda$, является собственным значением: тем множителем, на который стрелка была растянута. Уравнение говорит, что действие машины на эту конкретную стрелку неотличимо от обычного умножения на число. Вдоль собственного вектора матрица перестает быть матрицей и становится скаляром.

Собственное значение несет в одном числе довольно много сведений:

• $\lambda > 1$ означает, что машина удлиняет это направление.
• $0 < \lambda < 1$ означает, что она его укорачивает.
• $\lambda = 1$ означает, что она оставляет это направление совершенно нетронутым.
• $\lambda < 0$ означает, что она разворачивает стрелку в противоположную сторону, а затем масштабирует ее.
• $\lambda = 0$ означает, что она сминает это направление в ничто. Машина сплющивает пространство вдоль этой прямой.

Обратите внимание на то, чем собственный вектор не является. Это не отдельная стрелка, а направление: если $\vec{v}$ собственный вектор, то и $3\vec{v}$ тоже, с тем же собственным значением. Нулевой вектор исключается по определению, потому что всякая матрица переводит ноль в ноль, а это сделало бы собственным значением любое число и лишило бы всю идею смысла.

Откуда берется формула

Учебники вручают вам $\det(A - \lambda I) = 0$ так, будто эта запись упала с неба. На самом деле она следует из фразы выше.

Начните с $A\vec{v} = \lambda\vec{v}$. Справа стоит число, умноженное на вектор. Чтобы перенести его через знак равенства, нужна матричная форма, а $\lambda\vec{v}$ это то же самое, что $\lambda I\vec{v}$, где $I$ единичная матрица, которая ничего не делает. Теперь вычитаем:

$$(A - \lambda I)\vec{v} = \vec{0}$$

Читайте это как утверждение о новой машине, $A - \lambda I$. Она берет ненулевую стрелку $\vec{v}$ и возвращает нулевой вектор. Машина, отправляющая настоящую стрелку в точку, сплющила по меньшей мере одно направление пространства. В статье о матрицах мы видели, что определитель измеряет, какая доля площади переживает работу машины, поэтому у сплющивающей машины определитель равен нулю:

$$\det(A - \lambda I) = 0$$

Вот и весь вывод. Собственные значения это те значения $\lambda$, которые ломают машину $A - \lambda I$, а собственные векторы это направления, вдоль которых она ломается. Раскрытие определителя дает многочлен относительно $\lambda$, называемый характеристическим многочленом, и его корни являются собственными значениями. Для матрицы $2 \times 2$ это квадратный трехчлен, для $n \times n$ его степень равна $n$, и именно поэтому у матрицы $n \times n$ не более $n$ собственных значений.

Разобранный пример, не спеша

Возьмем матрицу

$$A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix}$$

Вычтем $\lambda$ по диагонали и возьмем определитель:

$$\det\begin{pmatrix} 2 - \lambda & 1 \\ 1 & 2 - \lambda \end{pmatrix} = (2 - \lambda)^2 - 1 = \lambda^2 - 4\lambda + 3$$

Приравняем к нулю и разложим на множители: $(\lambda - 3)(\lambda - 1) = 0$, значит, собственные значения равны $\lambda = 3$ и $\lambda = 1$.

Теперь найдем направление для каждого из них. Для $\lambda = 3$ решаем $(A - 3I)\vec{v} = \vec{0}$:

$$\begin{pmatrix} -1 & 1 \\ 1 & -1 \end{pmatrix}\begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \end{pmatrix}$$

Обе строки говорят, что $x = y$, поэтому собственным вектором служит любое кратное вектора $(1, 1)$. Проверим это на исходной машине: $A(1,1) = (3, 3) = 3 \cdot (1, 1)$. Диагональная стрелка выходит втрое длиннее и смотрит туда же.

Для $\lambda = 1$ строки говорят, что $x = -y$, поэтому собственным вектором служит любое кратное вектора $(1, -1)$, и действительно $A(1,-1) = (1,-1)$. Антидиагональная стрелка остается нетронутой.

Теперь вы можете описать эту матрицу одной фразой, чего никак не сделать по ее четырем числам: она растягивает пространство втрое вдоль диагонали и оставляет антидиагональ в покое. Любую другую стрелку плоскости утягивает к диагонали, потому что диагональная составляющая растет втрое быстрее второй.

Что собственные значения говорят о машине

Из характеристического многочлена выпадают два факта, которые стоит запомнить.

Произведение собственных значений равно определителю. В нашем примере $3 \times 1 = 3$, а определитель матрицы $A$ равен $2 \cdot 2 - 1 \cdot 1 = 3$. Это разумно: определитель показывает, во сколько раз машина меняет площадь, и если она растягивает в одном направлении втрое, а в другом оставляет как есть, площадь растет втрое.

Сумма собственных значений равна следу матрицы, сумме диагональных элементов. Здесь $3 + 1 = 4 = 2 + 2$. Оба факта служат быстрой проверкой того, что арифметика уцелела.

Если смотреть шире, собственные значения представляют собой спектр машины. Большие из них отвечают направлениям, которые начинают преобладать после многократного применения машины. Машина с собственными значениями $3$ и $1$, примененная десять раз, растягивает первый собственный вектор в $3^{10}$ раз, а второй в $1$ раз, то есть не трогает его вовсе. Любая начальная стрелка, в которой есть хотя бы след первого направления, в итоге почти идеально с ним выравнивается. Именно поэтому повторяющиеся процессы оседают на собственном векторе: это направление, которое побеждает.

Комплексные собственные значения означают поворот

Поверните плоскость на 90 градусов. Каждая стрелка развернется. Ни одно направление не остается на месте, значит, собственных векторов быть не должно, и формула с этим соглашается. Матрица поворота выглядит так:

$$R = \begin{pmatrix} 0 & -1 \\ 1 & 0 \end{pmatrix}$$

а ее характеристический многочлен равен $\lambda^2 + 1 = 0$ и не имеет действительных решений. Ее собственные значения это $i$ и $-i$.

Это не провал метода. Это метод сообщает вам правду: данная машина поворачивает, а у поворота нет неподвижного направления в действительной плоскости. Комплексное собственное значение служит признаком закрутки. У поворота на произвольный угол $\theta$ собственные значения равны $e^{i\theta}$ и $e^{-i\theta}$, то есть тем же вращающимся числам из формулы Эйлера, а матрица с собственными значениями вида $0.9 e^{\pm i\theta}$ закручивает по спирали внутрь, поворачивая и сжимая одновременно. Если комплексные числа все еще кажутся фокусом, статья Мнимые числа простыми словами выстраивает картину $i$ как поворота на четверть оборота, а именно эту роль он здесь и играет.

Диагонализация: смените точку обзора, и машина станет умножением

Пусть у матрицы $n \times n$ есть $n$ собственных векторов, указывающих в по-настоящему разные стороны. Тогда эти собственные векторы могут послужить новым набором осей. Опишите каждый вектор через то, сколько в нем содержится каждого собственного вектора, и машина станет тривиальной: она просто умножает каждую координату на соответствующее собственное значение.

В записи это выглядит так: если $P$ матрица, столбцами которой служат собственные векторы, а $D$ диагональная матрица собственных значений, то

$$A = P D P^{-1}$$

Читайте справа налево. $P^{-1}$ переводит вектор в координаты собственных векторов, $D$ масштабирует каждую координату, а $P$ переводит обратно. Сама машина не изменилась. Вы просто нашли место, откуда она выглядит как список чисел.

Выигрыш проявляется в степенях. Стократное применение машины означает

$$A^{100} = P D^{100} P^{-1}$$

а $D^{100}$ это просто каждое собственное значение в сотой степени. Вычисление, которое потребовало бы сотни матричных умножений, превращается в горстку скалярных. Любой вопрос о матрице на длинной дистанции, будь то поведение популяции через пятьдесят поколений, предел случайного блуждания или затухание колебаний, является вопросом о $D^n$.

Почему все охотятся за собственными векторами

Как только вы видите в собственных векторах направления, побеждающие при повторении, приложения перестают выглядеть списком и начинают выглядеть одной идеей.

• PageRank. Исходное ранжирование Google представляет собой собственный вектор с собственным значением 1 у гигантской матрицы, описывающей, какие страницы на какие ссылаются. Это то распределение внимания, которое остается на месте, если пройти по ссылкам еще один раз.
• Дифференциальные уравнения. У системы $\dot{\vec{x}} = A\vec{x}$ решения строятся из $e^{\lambda t}$ вдоль каждого собственного вектора. Положительные собственные значения дают рост, отрицательные затухание, комплексные колебания. Собственные значения являются скоростями системы. Преобразование Лапласа представляет собой ту же охоту за экспоненциальным поведением, проведенную с помощью интеграла вместо определителя.
• Колебания. У моста, гитарной струны или молекулы есть собственные частоты, и это собственные значения их матрицы жесткости. Собственные векторы задают формы, в которых происходят колебания.
• Данные. Метод главных компонент находит собственные векторы ковариационной матрицы. Собственный вектор с наибольшим собственным значением задает направление, вдоль которого данные меняются сильнее всего, и именно эту ось вы выбрали бы первой, чтобы их описать.
• Квантовая механика. Наблюдаемые величины являются собственными значениями операторов. Измерение возвращает одно из собственных значений, а собственные векторы соответствуют состояниям, в которых оказывается система.

В каждом случае метод один и тот же: найти направления, которые машина оставляет в покое, и сложное поведение превратится в умножение вдоль этих направлений.

Откуда берутся ошибки

Ошибки в этой теме однотипны, и большинство из них возникает от потери картинки.

Принятие нулевого вектора. У уравнения $(A - \lambda I)\vec{v} = \vec{0}$ всегда есть решение $\vec{v} = \vec{0}$. Это не собственный вектор. Если других решений нет, вы взяли неверное $\lambda$.

Ожидание, что ответ даст одна строка. В разобранном примере обе строки матрицы $(A - \lambda I)$ говорили одно и то же, $x = y$. Эта избыточность не ошибка, она и есть сплющивание. Если строки дают независимые уравнения с единственным нулевым решением, значит, собственное значение выбрано неправильно.

Уверенность, что собственных векторов всегда хватает. У матрицы сдвига со строками $(1, 1)$ и $(0, 1)$ есть единственное собственное значение $1$, взятое дважды, но всего одно направление собственного вектора. Такая матрица не диагонализуема. Кратные собственные значения это место, где нужно проверять, а не предполагать.

Путаница двух слов. Собственное значение это число. Собственный вектор это направление. В задачах на одно из них другое обычно нужно как промежуточный шаг, и ответ не того сорта является самым частым способом потерять балл.

Потеря знака в характеристическом многочлене. Для матрицы $2 \times 2$ многочлен всегда имеет вид $\lambda^2 - (\text{trace})\lambda + \det$. Запись именно в таком виде и проверка того, что произведение корней равно определителю, ловит большинство промахов.

Нормировка, о которой никто не просил. Собственным вектором служит любой ненулевой вектор на своей прямой. Приведение его к единичной длине иногда обязательно, а часто необязательно: делайте это только тогда, когда так сказано в условии, и никогда не теряйте при этом направление.

Где помогает Math Zen

Картина машины, которая одни направления растягивает, а другие поворачивает, стоит часа сосредоточенного разглядывания. А механика, то есть вычитание $\lambda$ по диагонали, раскрытие определителя, разложение на множители и обратная подстановка ради направления, стоит тридцати задач, потому что каждая из перечисленных выше ошибок является привычкой, которую ломает только повторение.

Модуль Матрицы в Math Zen генерирует свежие задачи на собственные значения и сверяет ответ с вашим ходом решения, от характеристических многочленов $2 \times 2$ до собственных векторов и проверок через след и определитель, вместе с определителями и обратными матрицами, на которые все это опирается. Объяснение рядом с каждой задачей показывает картину сплющивания, а не только выкладки, поэтому формула остается связанной с причиной, по которой она работает.

Главный вывод

Матрица поворачивает почти каждую стрелку. Собственный вектор это стрелка, которую она не поворачивает, а собственное значение показывает, насколько она эту стрелку растягивает вместо поворота. Формула $\det(A - \lambda I) = 0$ представляет собой всего лишь наблюдение о том, что $A - \lambda I$ обязана сплющить пространство вдоль собственного вектора, а у сплющивающей машины определитель равен нулю. Комплексные собственные значения означают, что машина поворачивает, диагонализация означает описание машины с той точки обзора, откуда она выглядит обычным умножением, а повторяющиеся процессы оседают на собственном векторе с наибольшим собственным значением, и потому поисковые системы, мосты и популяции сводятся к одному и тому же вычислению.

Найдите направления, которые машина оставляет в покое, и машина перестанет быть загадкой.