网站备案幕布多少钱,wordpress下载文件,电子商务网页制作试题及答案,建立网站第一步是什么视频链接
1.LSTM与RNN的区别 RNN想把所有信息都记住#xff0c;不管是有用的信息还是没用的信息#xff0c;并且有梯度爆炸或者梯度消失的问题 而LSTM设计了一个记忆细胞#xff0c;具备选择记忆功能#xff0c;可以选择记忆重要信息#xff0c;过滤掉噪声信息#xff0…视频链接
1.LSTM与RNN的区别 RNN想把所有信息都记住不管是有用的信息还是没用的信息并且有梯度爆炸或者梯度消失的问题 而LSTM设计了一个记忆细胞具备选择记忆功能可以选择记忆重要信息过滤掉噪声信息减轻记忆负担。 2. 前向传播的过程
2.1对比RNN 2.2 单元结构 符号解释 C t − 1 C_{t-1} Ct−1表示t-1时刻的记忆细胞 h t − 1 h_{t-1} ht−1表示t-1时刻的隐藏层状态 s i g m o i d sigmoid sigmoid门单元 f t f_t ft遗忘门 i t i_t it更新门 o t o_t ot输出门 在LSTM的每个时间步里面都有一个记忆cell这个东西给予了LSTM选择记忆功能使得LSTM有能力自由选择每个时间步里面记忆的内容 2.3 结合例子理解LSTM单元结构 场景期末考试周高数→线性代数 输入 X t X_t Xt线性代数 输出 h t h_t ht高分 遗忘门遗忘高数积累的记忆 C t − 1 C_{t-1} Ct−1 更新门选择性的提取有用的线性代数知识然后结合高数保留下来的数学运算能力 输出门把没考的知识丢掉 t a n h tanh tanh把记忆的知识 C t C_t Ct转为答题解题的能力 4. LSTM如何缓解梯度消失
4.1 RNN梯度消失回顾 4.2LSTM反向传播 假设 t 3 t3 t3即从左到右的输出分别是 y 1 y_1 y1、 y 2 y_2 y2、 y 3 y_3 y3
