WeNet 丨 WeTextProcessing

1. Motivation

文本正则化（Text Normalization，TN）和反正则化（Inverse Text Normalization，ITN）是构建一个完整的语音交互系统不可或缺的部分。前者广泛用于语音合成系统的前端处理，而后者则在语音识别系统的识别文本上屏显示时影响着字幕的观感体验。

当前学术界中被广泛研究的 TN / ITN 系统主要有三种类型：

• 基于语法规则的 WFST [1]：这种系统由大量特定于语言的语法组成，优点是准确可控，可以快速修 bug ，缺点是对于容易产生歧义的文本不够鲁棒。

• 基于神经网络的端到端模型 [2]：构建这种模型时，挑战从撰写更精确的语法规则变成了标注和收集覆盖范围更广的数据。端到端模型的一个主要缺点是会产生无法恢复的错误，这时经系统转换后的文字可能在语法上是合理的，但却与原始文本的语义大相径庭。此外，对于 badcase 的修复也不如规则的方式快捷。

• 同时使用规则语法和神经网络的混合系统 [3]：在混合框架中，只有当系统没有找到匹配的语法规则才会转用神经网络。这种方式比较好地权衡了规则和 NN 的优劣，但是对计算资源提出了更高的要求。

鉴于以上三种系统的优劣，WeTextProcessing 选择实现基于语法规则的WFST 方案。在全球范围内的开源TN/ITN 项目中，目前受众最广泛的是谷歌公司推出的C++ 框架 Sparrowhawk [4] 。该框架的不足之处是它仅仅是一个规则执行引擎，谷歌公司并没有开源相关语言的语法规则。此外，Sparrowhawk 的实现依赖了许多第三方开源库（包括 OpenFst 、Thrax 、re2 、protobuf ），导致整体框架不够简便、轻量化。另一个较为成熟的项目是英伟达公司开源的 nemo_text_processing [5]，该项目依旧使用Sparrowhawk 作为生产环境下的部署工具。与谷歌不同的是，该项目还开源了诸如英语、德语、俄语等多种语言的规则语法。在中文 TN / ITN 规则领域，Jiayu 等第三方个人开发者曾开源出一套定制化的中文 TN / ITN 规则库 chinese_text_normalization [6]。

站在这些优秀开源项目的肩膀上，WeTextProcessing秉承 简单易用 和Production First & Production Ready 的原则，为中文专门设计和实现一款开源易用的 TN / ITN 工具，它不仅仅包含了包含一套完整的中文 TN / ITN 规则语法，同时也提供了一个可以一键 pip install 使用的 py工具包以及比Sparrowhawk 依赖项更少（生产环境下仅依赖 OpenFst ）的整体更轻量化的 C++ 规则处理引擎。

2. 快速上手

一键install，六行代码搞定文本处理！

# installpip install WeTextProcessing

# tn usage>>> from tn.chinese.normalizer import Normalizer>>> normalizer = Normalizer()>>> normalizer.normalize("2.5平方电线")