论文阅读笔记-Glyce: Glyph-vectors for Chinese CharacterRepresentations

论文地址：https://arxiv.org/pdf/1901.10125v5.pdf

github地址：https://github.com/ShannonAI/glyce

Abstract:

对于像中文这样的标志图形语言来说，NLP任务应该从这些语言中的符号信息的使用中受益，这是很直观的。然而，由于象形文字缺乏丰富的象形证据，标准计算机视觉模型对文字数据的泛化能力较弱，如何有效地利用象形文字信息还有待探索。

在本文中，我们通过预先设置Glyce（汉字的字形向量）来解决这一问题。主要创新有三方面:(1)运用古文字(如青铜器文字、篆书、繁体字等)丰富汉字的象形证据;(2)设计了适合汉字图像处理的CNN结构;(3)在多任务学习设置中，将图像分类作为辅助任务，提高模型的泛化能力。

Introduction

汉字是一种象形文字。在NLP研究领域，多数使用distributed representations方式来表征语义，基于字形的表示很少被人研究。之前的研究中曾经使用五笔字形等方式通过字形编码来增强表示能力，但由于五笔字形只是随机编码，因此没有涉及到更生层次的标识信息。

之前部分使用CNN对汉子字形的研究没有显示出明显的性能提升，有些甚至使性能恶化，主要原因在于：

1.使用的文字版本不对。汉子的发展历史悠久，最著名的版本有甲骨文(公元前2000年-公