本文介绍了一种使用多标准中文分词的联合训练方案，通过在输入数据中添加标识符，使得不同标准的语料库能混合训练。在Sighan2005、Sighan2008和10个其他语料库上的实验结果显示，这种方法能有效提升模型性能，且不增加模型复杂度。
前言
论文：https://arxiv.org/pdf/1712.02856.pdf ；
代码和语料：https://github.com/hankcs/multi-criteria-cws 。
本文参见上面论文及代码，介绍了一种简洁优雅的多标准中文分词方案，可联合多个不同标准的语料库训练单个模型，同时输出多标准的分词结果。通过不同语料库之间的迁移学习提升模型的性能，在10个语料库上的联合试验结果优于绝大部分单独训练的模型。模型参数和超参数全部共享，复杂度不随语料库种类增长。
订阅专栏 解锁全文
扫一扫
1467
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
