3 LSTM模型

学习目标

• 了解LSTM内部结构及计算公式.
• 掌握Pytorch中LSTM工具的使用.
• 了解LSTM的优势与缺点.

1 LSTM介绍¶

LSTM（Long Short-Term Memory）也称长短时记忆结构, 它是传统RNN的变体, 与经典RNN相比能够有效捕捉长序列之间的语义关联, 缓解梯度消失或爆炸现象. 同时LSTM的结构更复杂, 它的核心结构可以分为四个部分去解析:

• 遗忘门
• 输入门
• 细胞状态
• 输出门

2 LSTM的内部结构图¶

2.1 LSTM结构分析¶(可以先看下面手花的部分)

• 结构解释图:

• 遗忘门部分结构图与计算公式:

• 遗忘门结构分析:
  • 与传统RNN的内部结构计算非常相似, 首先将当前时间步输入x(t)与上一个时间步隐含状态h(t-1)拼接, 得到[x(t), h(t-1)], 然后通过一个全连接层做变换, 最后通过sigmoid函数进行激活得到f(t), 我们可以将f(t)看作是门值, 好比一扇门开合的大小程度, 门值都将作用在通过该扇门的张量, 遗忘门门值将作用的上一层的细胞状态上, 代表遗忘过去的多少信息, 又因为遗忘门门值是由x(t), h(t-1)计算得来的, 因此整个公式意味着根据当前时间步输入和上一个时间步隐含状态h(t-1)来决定遗忘多少上一层的细胞状态所携带的过往信息.
• 遗忘门内部结构过程演示: