突然看到一篇关于RNN和LSTM的讲解非常清晰而且看着很舒服的文章
http://www.jianshu.com/p/9dc9f41f0b29
下面的图片也都来自那篇文章
下面为RNN循环神经网络的标准模型
下面为LSTM的结构图，LSTM分为忘记门，输入层门和输出层门
对比可以看的出LSTM为一种特殊的循环神经网络，上面的图为最标准
的LSTM，LSTM有不同变体，其中一个流形的 LSTM 变体，就是由
Gers & Schmidhuber (2000) 提出的，增加了一个peephold的链接
当然可以增加部分的peephold链接，也可以增加全部
还有一种改动较大的变体是 Gated Recurrent Unit (GRU)，
这是由 Cho, et al. (2014) 提出。它将忘记门和输入门合成了一个单一的
更新门。同样还混合了细胞状态和隐藏状态，和其他一些改动。最终的模型
比标准的 LSTM 模型要简单，也是非常流行的变体。