正定矩阵

Positive Definite Matrices 定义为，对称矩阵，并且所有特征值全部大于0

那么我们第一个大问题就是如何确定一个矩阵是不是正定矩阵呢，求特征值肯定是根本方法，定义都说了，对称矩阵，特征值大于0，求出所有特征值，那么自然明朗了，但是有时候我们只需要知道是不是正定矩阵，而不需要知道特征值，这样的话计算代价有点大，我们需要找点别的招数，来避免求特征值。
接下来我们的目标是：

但是如果两个复数相乘也是复数，所以引入第二个条件：

那么如果满足，两个特征值相加是正数，相乘也是正数，那么肯定特征值全部都是正数。
又因为我们已知特征值相乘等于行列式，相加等于trace，那么：
$$
a+c>0\\
and:\\
ac-b^2>0
$$
就是$2 \times 2$ symmetric Matrices 正定的充分必要条件啦，当然还可以做个简化$ac-b^2>0$ 中如果 $a>0$ 和上面的式子等效：
$$
a>0\\
and:\\
ac-b^2>0
$$
注意关联词哦是and两个必须同时发作，那么这个条件才算是成功了.举两个计算的🌰。
$$
A_1=\begin{bmatrix}1&2\\2&1\end{bmatrix}\;\;ac-b^2=1-4<0\\
A_2\begin{bmatrix}1&-2\newline -2&6\end{bmatrix}\;\;ac-b^2=6-4>0\;\;a=1>0
$$
结论
$A_1$ 不是正定的
$A_2$ 是正定的

正定也好不正定也好，我们可以现在想一想在空间上的操作到底是个什么鬼：
学习对称矩阵，我们一直在研究的是对角化，对角化作为一种分解方式和LU，QR等有着相同的身份，但是从书籍上的讲解篇幅和教授描述，都要比LU，QR更具体更深入，所以，对角化应该更有市场，我们接下来就从对角化来说说正定矩阵A:
$$
A=S\Lambda S^{-1}\\
Q=S\\
A=Q\Lambda Q^{-1}
$$
这个是上上上一篇讲述的，但是上一篇有一个惊天的秘密可以足够清晰的帮我们研究正定矩阵，也就是当对称矩阵A和一个向量相乘的时候，从空间的角度来讲，这个向量被投影到了A的列空间，但A的列空间和特征向量的空间不一致（特征向量可能比A的列向量维度大，因为当A存在0特征值的时候，相当于给自己降维了，也就是A是全体特征向量的子空间），那么现在:
$$
u=c_1q_1+c_2q_2+\dots +c_nq_n=Qc\\
A=Q\Lambda Q^{-1}\\
Au=Q\Lambda Q^{-1}Qc=Q\Lambda (Q^{-1}Q)c=Q\Lambda (Q^{-1}Q)c=Q\Lambda c\\
Q\Lambda c=
\begin{bmatrix}&&\\q_1&\dots &q_n\\&&\end{bmatrix}
\begin{bmatrix}\lambda_1&&\\&\ddots &\\&&\lambda_n\end{bmatrix}
\begin{bmatrix}c_1\\\vdots \\c_n\end{bmatrix}=
c_1\lambda_1 q_1+\dots +c_n\lambda_n q_n
$$
看到什么了？老铁们，一个向量乘以一个对称矩阵，相当于把这个向量以 特征向量们为基 ，然后长度伸缩特征值倍，不改变方向且没有0的是正定矩阵，有0的是半正定，这时候有些方向上的长度被消灭了，也就是说向量分解到特征向量基空间少一维，也就是A并不是满空间的，也就是singular矩阵，和前面的0正好对应，如果有正有负，那就是瞎搞了，哈哈哈哈。
Negative Definite， Indefinite的🌰就不说了，后面会有一个section专门讲Positive Semidefinite。

Definition: A is positive definite if $x^TAx>0$ for every nonzero vector x:

$$
x^TAx=
\begin{bmatrix}x&y\end{bmatrix}
\begin{bmatrix}a&b\\b&c\end{bmatrix}
\begin{bmatrix}x\\y\end{bmatrix}=ax^2+2bxy+cy^2>0
$$

这个就是能量观点下定义的完整写法，如果理解了这个过程也就对这个形式没什么困惑了，我记得我之前是老师说，来，把这个公式记住。。。
$ax^2+2bxy+cy^2$ 是一个碗的形状，当然xy都不是零的时候。

根据能量观点可以得到正定矩阵的可加性，也就是规模相同的两个正定矩阵，相加也是正定的，证明过程如下，假设其中A，B规模相同，切都是正定的：
$$
C=A+B\\
x^TAx>0\\
x^TBx>0\\
x^T(Ax+Bx)=x^T(A+B)x=x^TCx>0
$$
QED

第一个歪的椭圆的方程是：
$$
\begin{bmatrix}x&y\end{bmatrix}
\begin{bmatrix}5&4\\4&5\end{bmatrix}
\begin{bmatrix}x\\y\end{bmatrix}=1\\
A=\begin{bmatrix}5&4\\4&5\end{bmatrix}\\
\lambda_1=9\\
\lambda_2=1\\
x_1=\begin{bmatrix}1\\1\end{bmatrix}\\
x_2=\begin{bmatrix}1\newline -1\end{bmatrix}
$$
分解成
$$
A=Q\Lambda Q^T=
\frac{1}{\sqrt{2}}\begin{bmatrix}1&1\\1&-1\end{bmatrix}
\begin{bmatrix}9&0\\0&1\end{bmatrix}
\frac{1}{\sqrt{2}}\begin{bmatrix}1&1\\1&-1\end{bmatrix}
$$
然后把xy弄进去
$$
\begin{bmatrix}x&y\end{bmatrix}
Q\Lambda Q^T
\begin{bmatrix}x\\y\end{bmatrix}=
\frac{1}{\sqrt{2}}
\begin{bmatrix}x&y\end{bmatrix}
\begin{bmatrix}1&1\\1&-1\end{bmatrix}
\begin{bmatrix}9&0\\0&1\end{bmatrix}
\frac{1}{\sqrt{2}}
\begin{bmatrix}1&1\\1&-1\end{bmatrix}
\begin{bmatrix}x\\y\end{bmatrix}\\
=
\frac{1}{\sqrt{2}}
\begin{bmatrix}x&y\end{bmatrix}
\begin{bmatrix}1&1\\1&-1\end{bmatrix}
\begin{bmatrix}9&0\\0&0\end{bmatrix}
\frac{1}{\sqrt{2}}
\begin{bmatrix}1&1\\1&-1\end{bmatrix}
\begin{bmatrix}x\\y\end{bmatrix}\\
+
\frac{1}{\sqrt{2}}
\begin{bmatrix}x&y\end{bmatrix}
\begin{bmatrix}1&1\\1&-1\end{bmatrix}
\begin{bmatrix}0&0\\0&1\end{bmatrix}
\frac{1}{\sqrt{2}}
\begin{bmatrix}1&1\\1&-1\end{bmatrix}
\begin{bmatrix}x\\y\end{bmatrix}\\
=
9(\frac{x+y}{\sqrt{2}})^2+1(\frac{x-y}{\sqrt{2}})^2
$$

最后一步矩阵计算比较长，这里省略了，中间没有trick，我把分解那步写出来也是为了好看，，结论是正确的，观察上面结果，两个系数居然是特征值，厉害不？不是pivot也不是别人，而是特征值，在两个平方内部，是两组向量 $(1,1)$ 和 $(1,-1)$ 这个是特征向量，也是椭圆轴的方向，所以当矩阵扩展到多维的时候（还是正定矩阵），的时候所有特征向量是这个超椭圆的所有轴，这也是为什么叫主轴定理的原因啦，不光是主轴，特征值还能表示在主轴方向上的长度，这个也很值得重视，因为方向和长度是向量的两个组成因素。
进一步，我们看看怎么把歪着的椭圆立起来
$$
X=\frac{x+y}{\sqrt{2}}\\
Y=\frac{x-y}{\sqrt{2}}\\
for:\\
9(\frac{x+y}{\sqrt{2}})^2+1(\frac{x-y}{\sqrt{2}})^2\\
get:\\
9X^2+Y^2=1
$$
那么X最大值是 $\frac{1}{3}$ ,Y 最大值是 $1$ 这两个值的得到方法都是 $\frac{1}{\sqrt{\lambda}}$ 从图上也能看出来，长轴是1对应小的特征值，短轴是$\frac{1}{3}$ 对应长的特征值。
在xy中，轴的方向沿着A特征向量方向，在XY中是 $\Lambda$ 的特征向量，也就是坐标轴了，数值上看是这样的，从原理上：

$$
\begin{bmatrix}x&y\end{bmatrix}
Q\Lambda Q^T
\begin{bmatrix}x\\y\end{bmatrix}
=\begin{bmatrix}X&Y\end{bmatrix}
\Lambda
\begin{bmatrix}X\\Y\end{bmatrix}=
\lambda_1X^2+\lambda_2Y^2=1
$$
xy可以表示一个被线性变换后的坐标表示，当这个坐标被Q投影了以后，就变成了图中正的图形了，可以观察特征值决定了椭圆有多椭，当特征值都是1的时候也就是 $\Lambda =I$ 的时候，这个图形就是个圆，如果有负数特征值，那就变成双曲线了，如果都是负的。。这个我也不知道是啥了（就有虚数部分了，这个我还不懂）