Read, Listen, and See: Leveraging Multimodal Information Helps Chinese Spell Checking(ACL2021)

Read, Listen, and See: Leveraging Multimodal Information Helps Chinese Spell Checking(ACL2021)

一．概述

作者认为汉语拼写错误大多是语义、语音或图形相近的汉字误用造成的。之前的方法要么使用启发式方法，要么使用手工制作的混淆集来预测正确的字符。在本文中，我们直接利用汉字的多模态信息，提出了一种名为realise的中文拼写检查器。realise模型通过(1)捕获输入字符的语义、语音和图形信息；(2)有选择地混合这些模态中的信息去预测正确的输出。

代码：https://github.com/DaDaMrX/ReaLiSe。

在本文中，我们提出了REALISE(读Read，听Listen，看See)，一个中文拼写检查器，利用语义，语音和图形信息来纠正拼写错误。realize模型采用三个编码器从文本、声学和视觉模式中学习信息表示。首先，采用BERT作为语义编码器的backbone，捕获文本信息。对于声学形态，使用汉语拼音(拼音)，汉字语音的罗马化拼写系统，作为语音特征。我们设计了一个分层编码器，在字符级和句子级对拼音字母进行处理。同时，在视觉形态上，我们构建了多通道字符图像作为图形特征，每个通道对应一个特定的中文字体。然后，利用ResNe