
自然语言处理
本专栏开设的目的在于记录自然语言处理理论、应用及资源,希望能够帮助到大家!
DestinedAI
添加微信公众号:语言智能技术笔记簿(ID: litnotes),获取更多人工智能技术干货笔记
展开
-
Seq2Seq模型中的序列解码策略
导读:在序列生成类任务中,如机器翻译、自动摘要等,Seq2Seq是一种非常强大的模型。作为一种条件语言模型,它直接对P(y∣x)进行建模,在生成y的过程中,始终有x作为条件。当训练好了一个这样的模型后,在预测过程中,需要进行解码来找到最有可能的输出序列。这篇文章主要讲解Sequence to Sequence模型在预测阶段中使用的序列解码策略。一些自然语言处理任务,如...原创 2020-02-26 14:57:22 · 3881 阅读 · 2 评论 -
Reformer:高效的Transformer
导读:Transformer模型已经在许多任务上取得了令人欣喜的成绩,但是当扩展到更长的上下文窗口时会遇到许多限制。更大的上下文窗口意味着模型能力变得更加强大,但也会让其变得不够高效,消耗更多的内存。来自Google AI团队最新的Reformer模型结合了两个至关重要的技术来解决限制Transformer应用到长上下文窗口的注意力和内存分配的问题。作者:Nikita Kitaev, Lu...原创 2020-02-26 14:31:09 · 1512 阅读 · 0 评论