本文详细介绍了基于Transformer的DIET架构在NLU任务中的实验过程，探讨了联合训练、不同特征表示、mask损失以及预训练embeddings对模型性能的影响。实验结果显示，DIET在多数据集上表现优秀，强调了模块化架构和合理选择特征的重要性。
一、概述
通过基于各种数据集以及模型组件的搭配来测试DIET架构各个组件的有效性，验证各种情况下DIET模型的表现。
二、实验数据准备
在实验中使用了三种数据集：NLU-Benchmark数据集，ATIS数据集，SNIPS数据集。实验主要聚焦于NLU数据集，数据集主要使用了scenarios，actions, entities三类注解。
e.g. schedule a call with Lisa on Monday morning
这句话里scenario是”calendar”, action是”set_event”, entities包括[event_name: a call with Lisa]和[date: Monday morning]，那么intent label可以通过组合如”calendar_set_event”来定义。关于intent的设置是需要重点考虑的，这涉及到语言理解的粒度，重合度等方面，如果设置的耦合度较高，可能会导致模型在语言理解时出现confuse的情况。
在实验时把NLU数据集划分为10个folds
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
