学习笔记——A Neural Probabilistic Language Model

仅作个人学习记录。

背景

该论文提出了NNLM模型,即Nerual Network Language Model,开创了用神经网络解决网络模型的先河。
第一作者Bengio先生在深度学习方面有极深的造诣,被认为深度学习“三巨头”之一。

核心内容

  1. 为解决维数灾难问题,使用词的分布式表示,允许每一个训练语句给模型提供关于语义相邻句子的指数级别数量的信息。
  2. 采用神经网络而不是n-gram解决语言模型问题,可以更好利用上下文。
  3. NNLM计算量比n-gram大,但是解决了n-gram参数随单词表大小呈指数倍增长的问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值