고유값 직관적으로 이해하기 (행렬이 건드리지 않는 방향)

탁자 위에 고무판을 한 장 올려놓고 사방으로 짧은 화살표를 백 개쯤 그린 다음, 위아래로 늘어나는 것보다 좌우로 두 배 더 늘어나도록 판을 잡아당겨 보십시오. 그리고 화살표들을 지켜보십시오. 판이 변형되는 동안 거의 모든 화살표가 수평 쪽으로 돌아갑니다. 그중 둘만은 전혀 움직이지 않습니다. 처음부터 수평이던 화살표는 수평인 채로 길이만 두 배가 됩니다. 수직이던 화살표는 수직인 채로 길이도 그대로입니다.

그 두 화살표가 이 늘이기의 고유벡터이고, 숫자 2와 1이 그 고유값입니다. 이 주제에 등장하는 모든 것, 곧 행렬식이 들어간 공식, 특성다항식, 대각화, 행렬이 회전할 때 튀어나오는 복소수는 눈으로 봐서는 알 수 없는 기계에서 그 특별한 화살표들을 찾아내는 방법입니다.

행렬 직관적으로 이해하기를 아직 읽지 않았다면 이 글은 그 후속편입니다. 그 글에서는 행렬을 이동을 받아 이동을 돌려주는 기계로 보는 그림을 세웠습니다. 이 글은 그 기계에 단 하나의 질문을 던집니다. 너는 어떤 이동을 그대로 두느냐?

행렬은 기계이고, 대부분의 화살표는 방향이 꺾인다

행렬 $A$는 벡터 $\vec{v}$를 받아 새로운 벡터 $A\vec{v}$를 만들어 냅니다. 대부분의 입력에 대해 출력은 다른 곳을 가리킵니다. 전단은 화살표를 기울입니다. 회전은 모든 화살표를 같은 각도만큼 돌립니다. 한 방향으로 다른 방향보다 더 세게 잡아당기는 늘이기는 화살표들을 더 센 쪽으로 끌고 갑니다.

행렬을 풍동이라고 생각해 봅시다. 화살표들이 들어가고, 바람이 부딪히고, 휘어져서 나옵니다. 흥미로운 질문은 평범한 화살표에 무슨 일이 일어나는가가 아닙니다. 바람이 휘지 못하는 화살표, 들어갈 때와 정확히 같은 방향으로, 다만 더 길거나 더 짧게 나오는 화살표가 있는가입니다.

돌기를 거부하는 화살표

$A$의 고유벡터는 기계가 자기 직선 위에 그대로 두는, 영이 아닌 벡터 $\vec{v}$입니다:

$$A\vec{v} = \lambda\vec{v}$$

그리스 문자 람다 $\lambda$가 고유값, 곧 화살표에 곱해진 배율입니다. 이 식은 이 특정한 화살표에 작용하는 기계가 그냥 숫자를 곱하는 것과 구별되지 않는다고 말합니다. 고유벡터 위에서 행렬은 행렬이기를 그만두고 스칼라가 됩니다.

고유값 하나에는 많은 정보가 담겨 있습니다:

• $\lambda > 1$이면 기계가 그 방향을 늘입니다.
• $0 < \lambda < 1$이면 그 방향을 줄입니다.
• $\lambda = 1$이면 그 방향을 전혀 건드리지 않습니다.
• $\lambda < 0$이면 화살표를 반대 방향으로 뒤집은 다음 배율을 곱합니다.
• $\lambda = 0$이면 그 방향을 아무것도 아닌 것으로 뭉갭니다. 기계가 그 직선을 따라 공간을 납작하게 만듭니다.

고유벡터가 무엇이 아닌지도 짚어 둡시다. 그것은 하나의 화살표가 아니라 하나의 방향입니다. $\vec{v}$가 고유벡터이면 $3\vec{v}$도 같은 고유값을 갖는 고유벡터입니다. 그리고 영벡터는 정의에서 제외됩니다. 모든 행렬이 영을 영으로 보내므로, 영벡터를 허용하면 모든 수가 고유값이 되어 개념 자체가 쓸모없어지기 때문입니다.

공식은 어디에서 오는가

교재는 $\det(A - \lambda I) = 0$을 하늘에서 떨어진 것처럼 건네줍니다. 그러나 이 식은 위의 한 문장에서 나옵니다.

$A\vec{v} = \lambda\vec{v}$에서 출발합니다. 우변은 수 곱하기 벡터입니다. 이것을 등호 반대편으로 넘기려면 행렬 형태여야 하는데, $\lambda\vec{v}$는 아무 일도 하지 않는 단위행렬 $I$를 써서 $\lambda I\vec{v}$와 같습니다. 이제 빼 봅시다:

$$(A - \lambda I)\vec{v} = \vec{0}$$

이것을 새로운 기계 $A - \lambda I$에 대한 진술로 읽으십시오. 이 기계는 영이 아닌 화살표 $\vec{v}$를 받아 영벡터를 돌려줍니다. 실제로 존재하는 화살표를 한 점으로 보내는 기계는 공간의 적어도 한 방향을 납작하게 눌러 버린 것입니다. 행렬 글에서 우리는 행렬식이 기계를 통과하고 살아남는 넓이를 잰다는 것을 보았으므로, 납작하게 만드는 기계의 행렬식은 0입니다:

$$\det(A - \lambda I) = 0$$

유도는 이것이 전부입니다. 고유값은 기계 $A - \lambda I$를 망가뜨리는 $\lambda$의 값이고, 고유벡터는 그것이 망가지는 방향입니다. 행렬식을 전개하면 $\lambda$에 대한 다항식이 나오는데 이것을 특성다항식이라 부르고, 그 근이 고유값입니다. $2 \times 2$ 행렬이면 이차식이고, $n \times n$이면 차수가 $n$입니다. $n \times n$ 행렬의 고유값이 많아야 $n$개인 이유가 이것입니다.

예제 하나를 천천히

다음 행렬을 봅시다

$$A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix}$$

대각선을 따라 $\lambda$를 빼고 행렬식을 취합니다:

$$\det\begin{pmatrix} 2 - \lambda & 1 \\ 1 & 2 - \lambda \end{pmatrix} = (2 - \lambda)^2 - 1 = \lambda^2 - 4\lambda + 3$$

이것을 0으로 놓고 인수분해하면 $(\lambda - 3)(\lambda - 1) = 0$이므로 고유값은 $\lambda = 3$과 $\lambda = 1$입니다.

이제 각각에 대응하는 방향을 찾습니다. $\lambda = 3$일 때는 $(A - 3I)\vec{v} = \vec{0}$을 풉니다:

$$\begin{pmatrix} -1 & 1 \\ 1 & -1 \end{pmatrix}\begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \end{pmatrix}$$

두 행 모두 $x = y$라고 말하므로 고유벡터는 $(1, 1)$의 임의의 상수배입니다. 원래 기계에 넣어 확인해 봅시다. $A(1,1) = (3, 3) = 3 \cdot (1, 1)$입니다. 대각선 방향 화살표는 같은 방향을 가리킨 채 세 배 길어져 나옵니다.

$\lambda = 1$일 때는 두 행이 $x = -y$라고 말하므로 고유벡터는 $(1, -1)$의 임의의 상수배이고, 실제로 $A(1,-1) = (1,-1)$입니다. 반대각선 방향 화살표는 손대지 않은 채 그대로입니다.

이제 네 개의 성분만 보아서는 할 수 없던 일, 곧 이 행렬을 한 문장으로 기술할 수 있습니다. 이 행렬은 대각선 방향으로 공간을 3배 늘이고 반대각선 방향은 그대로 둡니다. 평면의 다른 모든 화살표는 대각선 쪽으로 끌려가는데, 대각선 성분이 다른 성분보다 세 배 빠르게 자라기 때문입니다.

고유값이 기계에 대해 알려주는 것

특성다항식에서 따라 나오는, 기억해 둘 만한 사실이 둘 있습니다.

고유값들의 곱은 행렬식입니다. 예제에서 $3 \times 1 = 3$이고, $A$의 행렬식은 $2 \cdot 2 - 1 \cdot 1 = 3$입니다. 말이 됩니다. 행렬식은 기계 전체의 넓이 배율이고, 기계가 한 방향으로 3배, 다른 방향으로 1배 늘인다면 넓이는 3배가 되니까요.

고유값들의 합은 대각합, 곧 대각 성분의 합입니다. 여기서는 $3 + 1 = 4 = 2 + 2$입니다. 두 사실 모두 계산이 무사한지 빠르게 점검하는 수단입니다.

더 넓게 보면 고유값은 기계의 스펙트럼입니다. 큰 고유값은 기계를 여러 번 적용한 뒤 지배하게 되는 방향입니다. 고유값이 $3$과 $1$인 기계를 열 번 적용하면 첫 고유벡터는 $3^{10}$배로 늘어나고 둘째는 $1$배 그대로입니다. 첫 방향 성분을 아주 조금이라도 지닌 출발 화살표는 결국 그 방향과 거의 완벽하게 나란해집니다. 반복되는 과정이 고유벡터로 자리 잡는 이유가 이것입니다. 그것이 이기는 방향입니다.

복소 고유값은 회전을 뜻한다

평면을 90도 회전시켜 봅시다. 모든 화살표가 돌아갑니다. 그대로 남는 방향이 없으니 고유벡터도 없어야 하는데, 공식도 그렇게 말합니다. 회전행렬은

$$R = \begin{pmatrix} 0 & -1 \\ 1 & 0 \end{pmatrix}$$

이고 그 특성다항식은 $\lambda^2 + 1 = 0$인데, 여기에는 실근이 없습니다. 고유값은 $i$와 $-i$입니다.

이것은 방법의 실패가 아닙니다. 참인 사실을 알려주는 방법의 목소리입니다. 이 기계는 회전하고, 회전에는 실평면 안에 고정된 방향이 없습니다. 복소 고유값은 비틀림의 서명입니다. 각 $\theta$만큼의 일반적인 회전은 오일러 항등식에 나오는 바로 그 회전하는 수 $e^{i\theta}$와 $e^{-i\theta}$를 고유값으로 갖고, $0.9 e^{\pm i\theta}$ 같은 고유값을 가진 행렬은 회전과 축소를 동시에 하며 안쪽으로 소용돌이칩니다. 복소수가 아직도 속임수처럼 느껴진다면 허수 직관적으로 이해하기가 $i$를 4분의 1 회전으로 보는 그림을 세워 주는데, 그것이 바로 여기서 맡고 있는 역할입니다.

대각화: 자리를 바꾸면 기계가 곱셈이 된다

$n \times n$ 행렬이 정말로 서로 다른 방향을 가리키는 고유벡터를 $n$개 가지고 있다고 합시다. 그러면 그 고유벡터들을 새로운 축으로 삼을 수 있습니다. 모든 벡터를 각 고유벡터가 얼마나 들어 있는가로 기술하면 기계는 시시해집니다. 각 좌표에 대응하는 고유값을 곱할 뿐이니까요.

식으로 쓰면, $P$가 고유벡터들을 열로 갖는 행렬이고 $D$가 고유값들의 대각행렬일 때

$$A = P D P^{-1}$$

오른쪽에서 왼쪽으로 읽으십시오. $P^{-1}$이 벡터를 고유벡터 좌표로 번역하고, $D$가 각 좌표의 크기를 조절하고, $P$가 다시 원래대로 번역합니다. 기계는 달라지지 않았습니다. 기계가 그저 숫자의 목록처럼 보이는 자리를 찾아낸 것뿐입니다.

보상은 거듭제곱에서 옵니다. 기계를 백 번 적용한다는 것은

$$A^{100} = P D^{100} P^{-1}$$

이고 $D^{100}$은 각 고유값을 백제곱한 것일 뿐입니다. 행렬 곱셈 백 번이 걸릴 계산이 스칼라 곱셈 몇 번으로 바뀝니다. 행렬에 관한 모든 장기적 질문, 곧 개체군이 오십 세대 뒤에 어떻게 되는가, 무작위 걷기가 무엇으로 수렴하는가, 진동이 어떻게 잦아드는가는 전부 $D^n$에 관한 질문입니다.

왜 모두가 고유벡터를 사냥하는가

고유벡터를 반복 아래에서 이기는 방향으로 보고 나면, 응용들이 목록이 아니라 하나의 아이디어처럼 보이기 시작합니다.

• PageRank. 구글의 최초 순위 매기기는 어떤 페이지가 어떤 페이지로 연결되는지를 기술하는 거대한 행렬에서 고유값 1에 해당하는 고유벡터입니다. 링크를 한 번 더 따라가도 그대로 머무는 관심의 분포입니다.
• 미분방정식. 계 $\dot{\vec{x}} = A\vec{x}$의 해는 각 고유벡터를 따라 $e^{\lambda t}$로 지어집니다. 양의 고유값은 자라고, 음의 고유값은 잦아들고, 복소 고유값은 진동합니다. 고유값이 그 계의 속도입니다. 라플라스 변환은 행렬식 대신 적분으로 수행하는 같은 지수 거동 사냥입니다.
• 진동. 다리와 기타 줄과 분자에는 고유진동수가 있고, 그것은 강성행렬의 고유값입니다. 고유벡터는 그것이 진동하는 모양입니다.
• 데이터. 주성분 분석은 공분산행렬의 고유벡터를 찾습니다. 가장 큰 고유값을 갖는 고유벡터는 데이터가 가장 크게 변하는 방향이며, 데이터를 요약할 때 제일 먼저 고르게 될 축입니다.
• 양자역학. 관측 가능한 양은 연산자의 고유값입니다. 측정은 고유값 중 하나를 돌려주고, 고유벡터는 계가 자리 잡는 상태입니다.

어느 경우에나 방법은 같습니다. 기계가 그대로 두는 방향을 찾으면, 복잡한 거동이 그 방향들을 따라가는 곱셈으로 바뀝니다.

실수는 어디에서 오는가

이 주제의 오류는 한결같고, 대부분은 그림을 잃어버린 데서 옵니다.

영벡터를 받아들이기. $(A - \lambda I)\vec{v} = \vec{0}$을 풀면 언제나 $\vec{v} = \vec{0}$이 허용됩니다. 그것은 고유벡터가 아닙니다. 해가 영뿐이라면 $\lambda$를 잘못 고른 것입니다.

한 행이 답을 준다고 기대하기. 앞의 예제에서 $(A - \lambda I)$의 두 행은 $x = y$라는 같은 말을 했습니다. 그 중복은 실수가 아니라 납작해짐 그 자체입니다. 두 행이 서로 독립인 방정식을 주어 해가 영뿐이라면 고유값이 틀린 것입니다.

고유벡터가 언제나 충분히 있다고 가정하기. 행이 $(1, 1)$과 $(0, 1)$인 전단행렬은 $1$이라는 고유값 하나를 중복으로 갖지만 고유벡터 방향은 하나뿐입니다. 이 행렬은 대각화할 수 없습니다. 중복 고유값은 가정하지 말고 확인해야 하는 자리입니다.

두 낱말을 헷갈리기. 고유값은 수입니다. 고유벡터는 방향입니다. 한쪽을 묻는 문제는 대개 다른 쪽을 중간 단계로 요구하며, 엉뚱한 종류의 대상을 답으로 내놓는 것이 점수를 잃는 가장 흔한 방식입니다.

특성다항식의 부호 실수. $2 \times 2$ 행렬의 다항식은 언제나 $\lambda^2 - (\text{trace})\lambda + \det$입니다. 이 형태로 적어 두고 근의 곱이 행렬식과 맞는지 확인하면 대부분의 실수를 잡아냅니다.

아무도 요구하지 않았는데 정규화하기. 고유벡터는 자기 직선 위의, 영이 아닌 임의의 벡터입니다. 길이를 1로 맞추는 것은 요구될 때도 있고 선택일 때도 많습니다. 문제가 그렇게 말할 때만 하고, 그 과정에서 방향을 잃지 마십시오.

Math Zen이 도움이 되는 지점

어떤 방향은 늘이고 어떤 방향은 돌리는 기계라는 그림은 한 시간쯤 들여다볼 가치가 있습니다. 계산 절차, 곧 대각선을 따라 $\lambda$를 빼고, 행렬식을 전개하고, 인수분해하고, 되대입해 방향을 얻는 일은 서른 문제쯤 풀어 볼 가치가 있습니다. 위의 실수들은 하나같이 반복으로만 깨지는 습관이기 때문입니다.

Math Zen의 행렬 주제는 $2 \times 2$ 특성다항식부터 고유벡터, 그리고 대각합과 행렬식 점검까지 새로운 고유값 문제를 계속 만들어 내고 여러분의 풀이와 대조해 답을 확인해 주며, 그것들이 딛고 선 행렬식과 역행렬도 함께 다룹니다. 각 문제 옆의 설명은 대수 계산만이 아니라 납작해지는 그림을 보여 주므로, 공식이 그것이 통하는 이유와 계속 붙어 있게 됩니다.

핵심 요약

행렬은 대부분의 화살표를 돌립니다. 고유벡터는 행렬이 돌리지 않는 화살표이고, 고유값은 대신 그 화살표를 얼마나 늘이는가입니다. 공식 $\det(A - \lambda I) = 0$은 $A - \lambda I$가 고유벡터를 따라 공간을 납작하게 만들어야 하고 납작해진 기계의 행렬식은 0이라는 관찰일 뿐입니다. 복소 고유값은 기계가 회전한다는 뜻이고, 대각화는 기계가 그냥 곱셈처럼 보이는 자리에서 기계를 기술한다는 뜻이며, 반복되는 과정은 가장 큰 고유값을 갖는 고유벡터를 따라 끝납니다. 검색엔진과 다리와 개체군이 모두 같은 계산으로 귀결되는 이유가 이것입니다.

기계가 그대로 두는 방향을 찾으십시오. 그러면 기계는 더 이상 신비롭지 않습니다.