前言
什么叫做主成分分析法，我们先看一张图椭圆的图，如果让你找一条线，使得椭圆上所有点在该线上映射的点最分散，保留下来的信息最多，你会怎么选择这条线？若是下图，会选择水平线，这是用一维的方式去尽可能多的表示二维的数据，那么多维的数据呢，是否可以用较低维的数据尽可能表示。
如何用二维的平面去尽可能表示一个椭球面呢？
思想
主成分分析法是一种统计方式，简化数据的方式，是一种线性变换，把数据变换到新的坐标系中，使得任意投影的第一大方差映射到第一主成分上，第二大方差映射到第二主成分上。如果舍弃高维的主成分，一般可以达到保留对方差贡献最大的特征，在一些方面上，可以保留数据的主要特征，当然，为了数据更好看，我们会把坐标轴的中心移到数据的中心，这可以让数据处理起来更方便。
在数学上
在数学上，我们用$L^{2}$范数的平方（$L^{2}$范数的平方与其本身在相同位置取得最小值，单调递增，性质更好）来计算，$x$为输入，$c^{2}$为最优编码：
$$
\begin{array}{c}
c^{*}=\left(L^{2}\right)^{2}=\operatorname{argmin}{c}|x-g(c)|{2}^{2} \
=(x-g(c))^{T}(x-g(c)) \
=x^{T} x-2 x^{T} g(c)+g(c)^{T} g(c) \
=\operatorname{argmin}{c}-2 x^{T} D c+c^{T} I{l} c \
\text { (其中 } c=f(x), \quad g(c)=D c) \
\therefore \nabla_{c}\left(-2 x^{T} D c+c^{T} c\right)=0 \
c=f(x)=D^{T} x
\end{array}
$$
由上可知，若要得到$c$只需要一个矩阵惩罚。定义重构操作：
$$
\begin{array}{c}
r(x)=g(f(x))=D D^{T} x \
D^{*}=\operatorname{argmin}{D} \sqrt{\sum{i, j}\left(x_{j}^{(i)}-r\left(x^{(i)}\right){j}\right)^{2}} \
\text { 其中 } D^{T} D=I{l}
\end{array}
$$
经过复杂的推导，用数学归纳法可以证明，矩阵$D$可以由前$X^{T} X$的前$l$个最大特征值对应的特征向量组成。
总结
主成分分析法主要用于数据降维，目标为尽量减少原数据的损失的情况下，尽可能减少数据量。
