- 博客(2)
- 收藏
- 关注
RSS订阅原创 LSTM的各种门
动手实现LSTM代码的时候，因为忘记了各种门的原理，总感觉磕磕绊绊的。在这里重新巩固一下。 普通RNN无法学习到距离当前位置较远的信息，LSTM通过修改每个隐藏层内部的结构，来解决长距离依赖问题，实现对“记忆”的控制。如下图所示： 这种特殊结构的主要思想是：将信息存储在一个个记忆细胞中,不同隐藏层的记忆细胞之间通过少量线性交互形成一条传送带（图中红线），实现信息的流动。同时引入一种“门”的结构，...
2020-02-18 18:59:43
3272
原创 语言模型的类型
寒假参加了Datawhale组织的深度学习课程，在语言模型一节里简要提到了统计语言模型和神经网络语言模型两种类型。课后补充查阅了一些资料，在此对这两类语言模型的概念 、特点做些记录。 统计语言模型 统计语言模型是对语句的概率分布的建模：即对于语言序列w1, w2, w3,……,wn, 计算该序列中每个词的联合概率 P(w1, w2, w3,……,wn)。 这类语言模型中最具代表性的是n 元语法(n...
2020-02-14 21:43:44
787
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人