本文综述了三种约束解码技术：Grid Beam Search (GBS)，Dynamic Beam Allocation (DBA) 和 Cube Pruning，旨在改善序列生成任务，如神经机器翻译中的解码效率和效果。GBS引入了约束条件，确保特定词汇出现在输出序列中；DBA优化了GBS，通过动态分配beam容量提高搜索效率；Cube Pruning则通过合并状态相同的候选序列，减少计算量。
转载自: http://yongfeiyan.cn/post/md/4
介绍
本文介绍三篇文章的大致内容:
- Lexically Constrained Decoding for Sequence Generation Using Grid Beam Search
提出了grid beam search (GBS) - Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine Translation
改进GBS, 在每一步搜索的时候, 对不同类型的beam分布不同的容量 - Speeding Up Neural Machine Translation Decoding by Cube Pruning
在搜索的时候, 加上减枝策略, 减少计算量
Grid Beam Search
beam search的过程可以用下图表示
在每个时刻, 有大小为k的beam, 包含k个长度为t的部分序列.
不同时刻beam的更新关系: 对第t-1时刻的beam中的每个序列, 产生n个候选, 将得到的k*n个候选排序, 得到的top-k候选作为t时刻的beam.
最后一个时刻beam中的序列是完成的序列, 可以作为最终的输出序列.
GBS的目标: 在beam search的过程中, 添加约束, 要某个词必须出现在最终输出序列中.
GBS的应用: 机器翻译中, 已知某个术语的翻译, 要求翻译的
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
