线性代数之——对角化和 A 的幂

利用特征向量的属性，矩阵 $A$A 可以变成一个对角化矩阵 $\Lambda$Λ。

1. 对角化

假设一个 $n\times n$n×n 的矩阵 $A$A 有 $n$n 个线性不相关的特征向量 x1​,⋯,xn​ ，把它们作为特征向量矩阵 $S$S 的列，那么就有 $S^{-1}AS=\Lambda$S−1AS=Λ。

矩阵 $A$A 被对角化了，因为所有的特征向量位于矩阵 $\Lambda$Λ的对角线上。

证明过程也很简单，首先我们计算 $AS$AS。

一个技巧就是将 $AS$AS 分解成 $S\Lambda$SΛ。

所以我们有

$AS=S\Lambda S^{-1}AS=\Lambda A=S\Lambda S^{-1}$AS=SΛS−1AS=ΛA=SΛS−1

矩阵 $S$S 有逆矩阵，因为我们假设它的列是 $n$n 个线性不相关的特征向量。如果没有 $n$n 个线性不相关的特征向量，我们就不能进行对角化。

由 $A=S\Lambda S^{-1}$A=SΛS−1 可得， $A^2=S\Lambda S^{-1}S\Lambda S^{-1}=S{\Lambda }^2{S}^{-1}$A2=SΛS−1SΛS−1=SΛ2S−1，平方后我们得到** $S$S 中相同的特征向量和 $\Lambda$Λ 中平方的特征值**。同理，我们可以得到 $k$k 次方为 $A^k=S{\Lambda }^k{S}^{-1}$Ak=SΛkS−1。

当 $k=1$k=1 时，我们得到 $A$A.当 $k=0$k=0 时，我们得到 $A^0=I$A0=I。当 $k=-1$k=−1 时，我们得到 $A^{-1}$A−1。

再继续往下进行之前，有几点需要我们注意。

• 如果特征值 λ1​,⋯,λn​ 全部都不相同，那么自动地特征向量 x1​,⋯,xn​ 就是线性不相关的。任意没有重复特征值的矩阵都可以被对角化。

证明：

假设 $c_1{x}_1+\cdots +c_n{x}_n=0$c1​x1​+⋯+cn​xn​=0，我们乘以矩阵 $A$A，有

$\begin{array}{}\text{(1)}& c_1{\lambda }_1{x}_1+\cdots +c_n{\lambda }_n{x}_n=0\end{array}$c1​λ1​x1​+⋯+cn​λn​xn​=0(1)

然后，乘以 ${\lambda }_n$λn​ 并减去上面的式子 (1)，有

$\begin{array}{}\text{(2)}& c_1{\lambda }_n{x}_1+\cdots +c_n{\lambda }_n{x}_n=0\end{array}$c1​λn​x1​+⋯+cn​λn​xn​=0(2)

$\begin{array}{}\text{(3)}& c_1({\lambda }_n-{\lambda }_1)x_1+\cdots +c_{n-1}({\lambda }_n-{\lambda }_1)x_{n-1}=0\end{array}$c1​(λn​−λ1​)x1​+⋯+cn−1​(λn​−λ1​)xn−1​=0(3)

这会消去 $x_n$xn​，我们继续用 (3) 式分别乘以 $A$A 和 ${\lambda }_{n-1}$λn−1​，再相减， $x_{n-1}$xn−1​ 就也被消去了。一直重复这个过程，最后，我们就只剩下了 $x_1$x1​。

$\begin{array}{}\text{(4)}& c_1({\lambda }_n-{\lambda }_1)({\lambda }_{n-1}-{\lambda }_1)\cdots ({\lambda }_2-{\lambda }_1)x_1=0\end{array}$c1​(λn​−λ1​)(λn−1​−λ1​)⋯(λ2​−λ1​)x1​=0(4)

因为特征值互不相同，因此有 $c_1=0$c1​=0，同理我们可得所有的系数都为 0，也即零空间只有零向量，所以这些特征向量是线性不相关的。

• 特征向量乘以任意非零常数后， $Ax=\lambda x$Ax=λx 仍然成立。

• 特征向量在 $S$S 中的顺序和特征值在 $\Lambda$Λ 中的顺序是一样的，也就是特征向量和特征值必须一一对应。

在上面的例子中，如果我们互换特征向量的顺序，那么 $\Lambda$Λ 中特征值的顺序也要相应改变。

• 一些矩阵没有足够的特征向量，因此不能被对角化，特别是注意有重复特征值的情况。

而且要注意，可逆性和可对角化性之间没有联系。可逆性和是否存在零特征值有关，而可对角化性和是否有足够的特征向量有关。

2. 斐波那契数列

斐波那契序列满足 $F_{k+2}=F_{k+1}+F_k$Fk+2​=Fk+1​+Fk​。为了找到 $F_{100}$F100​，我们可以从 $F_2$F2​ 开始，每次求出一个新的值，直至得到 $F_{100}$F100​。线性代数则给出了一个更好的方法，我们将之转化为 $u_{k+1}=A{u}_k$uk+1​=Auk​ 的问题。

每一次我们都乘以矩阵 $A$A，100 次后我们就得到了 $u_{100}=A^{100}{u}_0$u100​=A100u0​。

这样，我们就可以利用特征值来求解了。

求解特征方程，我们可以得到两个特征值分别为：

进而得到两个特征向量分别为：

$x_1=\left[\begin{array}{c}{\lambda }_1\\ 1\end{array}\right]x_2=\left[\begin{array}{c}{\lambda }_2\\ 1\end{array}\right]$x1​=[λ1​1​]x2​=[λ2​1​]

然后我们将 $u_0$u0​ 表示为特征向量的线性组合。

那么就有

$u_{100}=A^{100}{u}_0=\frac{1}{{\lambda }_1-{\lambda }_2}{A}^{100}(x_1-x_2)=\frac{{\lambda }_1^{100}{x}_1-{\lambda }_2^{100}{x}_2}{{\lambda }_1-{\lambda }_2}$u100​=A100u0​=λ1​−λ2​1​A100(x1​−x2​)=λ1​−λ2​λ1100​x1​−λ2100​x2​​

上式中的第二项底数小于 0.5，因此会渐渐趋向于 0，也就是说随着 $n$n 增大逐渐只有第一项有效。

$\frac{F_{101}}{F_{100}}\approx \frac{1+\sqrt{5}}{2}\approx 1.618$F100​F101​​≈21+5 ​​≈1.618

这个数字就是我们众所周知的黄金比例。

3. $A$A 的幂

斐波那契数列是一个典型的差分方程，每一步我们都乘以矩阵 $A$A。下面我们来看一下对角化是怎么来快速计算 $A^k$Ak 的。

$A^k{u}_0=\left(S\Lambda S^{-1}\right)\cdots \left(S\Lambda S^{-1}\right)u_0=S{\Lambda }^k{S}^{-1}{u}_0$Aku0​=(SΛS−1)⋯(SΛS−1)u0​=SΛkS−1u0​

然后我们将 $u_0$u0​ 表示为特征向量的线性组合

• $u_0=c_1{x}_1+\cdots +c_n{x}_n\to u_0=Sc\to c=S^{-1}{u}_0$u0​=c1​x1​+⋯+cn​xn​→u0​=Sc→c=S−1u0​

• $A{u}_0=c_{1}A{x}_1+\cdots +c_{n}A{x}_n=c_1{\lambda }_1{x}_1+\cdots +c_n{\lambda }_n{x}_n$Au0​=c1​Ax1​+⋯+cn​Axn​=c1​λ1​x1​+⋯+cn​λn​xn​

• $A^k{u}_0=c_1{\lambda }_1^k{x}_1+\cdots +c_n{\lambda }_n^k{x}_n=S{\Lambda }^{k}c$Aku0​=c1​λ1k​x1​+⋯+cn​λnk​xn​=SΛkc

4. 不可对角化矩阵

特征值 $\lambda$λ 可能会有重复情况，这时候我们想知道它的重复度（multiplicity），有两种方法来计量。

• 几何重数（Geometric Multiplicity）与特征值 $\lambda$λ 对应的线性不相关的特征向量的个数
• 代数重数（Algebraic Multiplicity）特征值 $\lambda$λ 的重复次数，也就是 $det(A-\lambda I)$det(A−λI) 的重根数

几何重数小于等于代数重数。

几何重数小于代数重数说明特征向量数量不够，也就是说 $A$A 不能被对角化。

5. $AB$AB 和 $A+B$A+B 的特征值

让我们来猜一猜 $AB$AB 的特征值是多少？

你可能会说是它们各自特征值的积。

$ABx=A\beta x=\beta Ax=\beta \lambda x$ABx=Aβx=βAx=βλx

但是，通常情况下 $A$A 和 $B$B 的特征向量是不相同的，因此上面的证明是错误的。同样，两个矩阵各自特征值的和也通常不是两个矩阵和的特征值。

但是，如果 $x$x 同时是 $A$A 和 $B$B 的特征向量。那么有

$ABx=\lambda \beta x=BAx\to AB=BA$ABx=λβx=BAx→AB=BA

因此，如果 $A$A 和 $B$B 都可以被对角化，它们拥有相同的特征向量当且仅当 $AB=BA$AB=BA。

获取更多精彩，请关注「seniusen」!