PCA原理讲解

2019年4月29日 下午8:13

参考:

B站：降维算法-PCA主成分分析
矩阵特征值和特征向量详细计算过程 - Junerror的博客 - CSDN博客

核心总结：

1. PCA的出发点很简单，就是基于方差。巧妙的是，它这里使用了很多他及没有走建模的思路，已没有使用优化的思路(极值求解)的思路，而是采用的矩阵分解的思路来解决一个看似求极值的问题(最大方差)的问题。
2. 要理解这种方法，关键是要理解特征向量就可以表示新基在旧坐标系的坐标，那么我们就可以直接通过特征向量点积的方式，让旧数据映射到新的基(坐标系)中

初始出发点和目标：

1. 基于方差
   1. 如果数据方差大，那么说明他们之间的距离远，这样就能够更加明显的分类
   2. 所以，我们的目标：找到能让数据映射之后方差最大的坐标系

目标1：

1. 方差大
2. 协方差小
   1. 协方差有三个重要的知识点：
      1. 公式：
      2. 出发点：我理解他就和人为定义的loss function是一样的，用来衡量两个特征列之间的距离
         1. 这样定义距离的原因，我认为是：这个距离是可以直接通过矩阵运算来求解的，因为它方便
      3. 举例子：

目标2：

1. 根据目标1，我们将问题描述为数学语言
   1. 协方差矩阵，就是我们描述的结果，因为他其中包含了方差和协方差这两个概念
2. 我们的目标就变成了：协方差矩阵对角化
   1. 这里要使用考研最后一道题的思路，来已知矩阵A，求解特征向量和特征值
      1. 矩阵特征值和特征向量详细计算过程
   2. 求出的结果：
      1. 一个特征向量表示：一个新基
         1. 这基指的是：在旧坐标系中，这个新基的坐标
         2. 用法：旧数据 * 新基（*代表：点积），求出的是旧数据在新坐标系下的坐标
            1. 注意：这里的新基要归一为单位向量
      2. 多个特征向量表示：多个新基
         1. 表示：旧数据在多个新基上进行映射(点积)
         2. 使用几个特征向量就表示降到了几维
            1. 最多保持原维数
      3. 特征值在这里可以理解成：对应特征向量的重要程度，我们挑取最终要部分来做到降维的效果

遗留问题：

1. 如何证明求出的特征向量就是新基的坐标？
2. 对协方差矩阵的求出的特征向量和特征值，等价于对原始数据的？

我截了几张比较重要的地方

核心方法：