交叉熵损失函数和均方误差损失函数

2018年8月27日 下午2:55

1. 注：第五课中，目标函数的捡来讲到了交叉熵来代替来代替均方误差。但是老师并没有说明交叉熵是针对分类问题的，在这里特别说明！
2. 但是，老师好的是指明了交叉熵的好处：收敛的更快，可以更快的找到最优值。
   

交叉熵损失函数和均方误差损失函数 - CSDN博客

1. 分类问题中，预测结果是（或可以转化成）输入样本属于n个不同分类的对应概率。——【建立数学模型来解决问题】
2. 比如对于一个4分类问题，期望输出应该为 g0=[0,1,0,0] ，实际输出为 g1=[0.2,0.4,0.4,0] ，计算g1与g0之间的差异所使用的方法，就是损失函数，分类问题中常用损失函数是交叉熵。
3. 交叉熵（cross entropy）描述的是两个概率分布之间的距离，距离越小表示这两个概率越相近，越大表示两个概率差异越大。
4. 由公式可以看出来，p 与 q 之间的交叉熵 和 q 与 p 之间的交叉熵是不等价的。
   1. 表示的物理意义是使用概率分布 q 来表示概率分布 p 的困难程序，q 是预测值，p 是期望值。