0%

神经网络(深度学习)中如何训练一条边的权重的

发表于 更新于 分类于 阅读次数：
本文字数： 239 阅读时长 ≈ 1 分钟

2018年9月28日 下午11:16
如果用数学来解释的话：相当于是对常数进行求导，那么结果必然为0

  1. 首先需要说明的是，这一趟只有一个数据。
  2. 下图中的导数反映的是：w这条边对最后结果L有多少的影响力。
    1. 导数=0，说明对结果L的影响力为0。
    2. 导致w这条边的值w在处理下一个数据的时候是没有被变更的。
    3. 在这种情况下的坏处是：影响力为0，说明这个位置的点数据(神经元)是不重要的，但是一旦这个位置数据受到污染，那么他就会按初始化的权重值w来影响预测，并且影响还很大。
  3. 在下面这个例子中很能体现这一点。