sc231nSVM Softmax 公式梯度推导

2019年6月24日 下午5:43
Cs231n Assignment1—SVM & Softmax （附带公式梯度推导） - 知乎

cs231n 课程作业 Assignment 1 - 张小彬的专栏 - CSDN博客

1. 支持向量机和后面的 Softmax 分类器都是线性模型，这里只是损失函数不同罢了
   1. 我目前理解了SVM的，softmax我就先放放，以后有时间再看
   2. 笔记我写在笔记本上了
2. 前向传播和计算 loss 的逻辑和 Softmax 分类器差不多，难点在于梯度的计算。因为要涉及矩阵对矩阵的梯度计算。

总结：

1. 【主干】整个作业中，有两大重点：loss、dw计算+训练过程
   1. 其中loss、dw计算是最难的地方
   2. 训练过程体现的是利用loss、dw计算结果来迭代的过程
2. 求导：
   1. 由于时间原因，我这里就不计算softmax和矩阵对矩阵的梯度计算
      1. 这里就是直接对公式表达进行求导，并不像VIO一样要通过左右扰动来近似求导
   2. 以后要自己要学的话，再新查矩阵对矩阵的梯度计算的资料吧