论文总结之任务型对话NLU

最新推荐文章于 2025-03-08 20:09:21 发布

曾阿牛nlper

最新推荐文章于 2025-03-08 20:09:21 发布

阅读量1k

点赞数

文章标签：自然语言处理深度学习

本文链接：https://blog.youkuaiyun.com/weixin_44487404/article/details/116767182

版权

这篇博客总结了任务型对话NLU的几篇经典论文，包括《Slot-Gated Modeling》、《Stack-Propagation Framework》、《Self-Attentive Model》、《Bi-directional Interrelated Model》、《Attention-Based RNN Models》、《BERT for Joint Intent Classification》以及《External Knowledge和History Context的利用》。这些论文探讨了联合槽填充和意图预测、注意力机制、门控机制、双向相关模型以及预训练模型BERT在NLU任务中的应用和创新。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文总结之任务型对话NLU

最近学习了关于任务型对话NLU的一些论文。大致总结了近些年比较经典的学术界的NLU模型。虽然有些方法现在来看比较常见了，但是思想依旧可以有参考价值。像seq2seq、attention、gate机制对于NLU步骤的优化。
预训练模型Bert、GPT2的提出以及改进刷榜了各项自然语言处理任务。所以贴上了一篇bert做nlu的baseline文章。另外实验室同门最新研究成果基于bert的改进达到了Sota，还未发表就不贴啦。
最后一篇也是实验室师兄关于融入上下文和知识的NLU文章

【一】《Slot-Gated Modeling for Joint Slot Filling and Intent Prediction》

NLU经典论文。
本文提出SF和IP联合训练的思路，attention和gate
在这里插入图片描述
x经过Bilstm后得到h1-ht隐状态
（1）slot和intent都考虑attention
a.即每一个hi和其他时刻的所有h做attention得到注意力ci；Slot=softmax（（hi+ci））
b. Intent值=softmax（（ht+ct））即t时刻的hi
（2）仅intent考虑attention
仅有b，slot由hi单独决定
另外提出了门控机制：