受限玻尔兹曼机(RBM)

2019年4月28日 下午2:12

我有一个问题理解不了？

1. 为什么Hiton要使用统计力学里的”玻尔兹曼分布”的概念，这个出发点我目前还理解不了。
    1. **这个理解不了说明自己还没有理解透这个模型**

模型的理解:

受限玻尔兹曼机 - 维基百科，自由的百科全书
深度学习方法：受限玻尔兹曼机RBM（一）基本概念 - Bin 的专栏 - CSDN博客
深度学习方法：受限玻尔兹曼机RBM（二）网络模型 - Bin 的专栏 - CSDN博客

核心出发点：

1. 是借用了统计力学里的”玻尔兹曼分布”的概念 (一个微粒在某个状态的几率和那个状态的能量的指数成反比, 和它的温度的倒数之指数成反比), 使用所谓的”限制玻尔兹曼机” (RBM)来学习.
   
   
2. RBM是一个能量模型（Energy based model, EBM），是从物理学能量模型中演变而来；
   1. 能量模型需要做的事情就是先定义一个合适的能量函数，
   2. 然后基于这个能量函数得到变量的概率分布，
   3. 最后基于概率分布去求解一个目标函数（如最大似然）

与深度网络进行分类的区别：

1. 目的不同：
   1. RBM目的：求出一个合适的W权重，并没有一个明确的输出的概念
2. loss function （cost function）的指代的概念不同：
   1. RBM：指的是最大似然函数
   2. 深度网络：与标准答案之间的距离

模型的求解：

我没看具体的求解 ：

1. 算法难点主要就是对W求导（当然还有bias参数），用于梯度下降的更新；
2. 但是因为V和H都是二值化的，没有连续的可导函数去计算，
   1. 实际中采用的sampling的方法来计算，这里面就可以用比如gibbs sampling的方法，
   2. 当然，Hinton提出了对比散度CD方法，比gibbs方法更快，已经成为求解RBM的标准解法。
      【 归档 】深度学习方法：受限玻尔兹曼(三)(四)