前馈神经网络

2018年2月13日 下午6:01

ppt在这里：微分学第二课最后

链接：

RNN算法之预备知识：前馈神经网络（FFNN）
这篇文章讲解FFNN不错，但是他没有涉及反向传播的知识

t推荐：一文搞懂反向传播算法_搜狐科技_搜狐网
这篇文章将反向传播与梯度下降进行了对比，可以理解成反向传播算法可以说是梯度下降在链式法则中的应用。

两个问题

1. 为什么不能用Taylor级数进行逼近，而是使用简单函数嵌套进行逼近？
   1. 在Taylor级数中我们前提是知道函数f(x)，就像我们在梯度下降和牛顿法发中，我们最起码知道一个优化的函数对象，虽然他可能在细节上十分的曲折。
   2. 但在这里，我们现实的目的是：给你一个图片确定他是啥动物。我的研究目的是：知道其中蕴含的对应的函数关系。这个函数时我们不知道的，怎么能求导呢？
2. 反向传播：
   1. 反向传播是当我们已经从出入的x，求到了左后的f(x)结果后
   2. 进行调参时(w，d，𝜃)这个过程中要从最外层的函数嵌套开始，从外向内。
   3. 原因：从下面的红色部分代数推到公式可以看出—内层依靠外层
      

注：将第一幅图的公式带入第二副图中