理解模型复杂度-过拟合-正则化之间的关系

2018年10月11日 上午10:23

1. 基本常识：模型复杂度高——>容易过拟合。
   1. 那么，我们为了防止过拟合，就min模型复杂度。
   2. 再联系到：我们也要求min：loss。
      1. 所以就联合起来表示为：min(loss+模型复杂度)
   3. 模型复杂度的定量(函数)描述：
      1. 第一种：L2正则化，我们通过模型的参数去模拟复杂度，也就是权重。
      2. 为啥通过模型参数去模拟？
         1. 为了尽可能的防止，有人因为单方面突出，而且正好这个方面对应的权重还大。这个人不就其他因素不用考虑了，就直接晋级了吗
         2. 当然，如果我们的模型目的就是为了添加突出单方面强的选手，那么，我们甚至可以不加正则化项
         3. 并且，参数权重大并不直接等价于，最后分数大。一个大的权重，但是乘以一个很小的数，最后结果也不一定大
   4. 最重要的一个问题是？
      1. 我们当前这个模型的容错度，你希望是怎样的？
         1. 这就决定了你的模型复杂度的权重。
      2. 模型复杂度的定量描述还有那些？