WeTextProcessing: 文本规范化及逆向文本规范化解决方案

最新推荐文章于 2025-05-15 19:59:42 发布

林颖菁Jeremiah

最新推荐文章于 2025-05-15 19:59:42 发布

阅读量1.2k

点赞数 10

本文链接：https://blog.youkuaiyun.com/gitblog_00304/article/details/141238049

版权

WeTextProcessing: 文本规范化及逆向文本规范化解决方案

WeTextProcessingText Normalization & Inverse Text Normalization项目地址:https://gitcode.com/gh_mirrors/we/WeTextProcessing

1. 项目介绍

WeTextProcessing 是一个功能强大的文本处理库，专注于文本规范化的正向和逆向转换。该项目由 wenet-e2e 团队维护，旨在提供高效且准确的文字转化能力，包括但不限于数字、日期时间等特殊文字的规范化和逆规范化（即从规范形式转回自然语言表达）。该工具适用于多种应用场景，如语音识别后的文本后期处理、自然语言理解系统输入前的数据预处理等。

2. 项目快速启动

安装

要使用 WeTextProcessing 库，首先确保你的环境中安装了 Python 3.x 版本。然后可以通过以下命令进行安装：

pip install WeTextProcessing

在安装过程中，Python 的包管理器将自动下载并安装最新版的 WeTextProcessing 及其依赖项。

使用示例

初始化并调用 WeTextProcessing 中提供的文本规范化（TN）和逆向文本规范化（ITN）功能。下面展示如何使用这些功能来实现中英文的规范化处理：

中文规范化示例

from itn.chinese.inverse_normalizer import InverseNormalizer
from tn.chinese.normalizer import Normalizer as ZhNormalizer

zh_tn_text = "你好 WeTextProcessing 1.0 船新版本儿 船新体验儿 简直666"
zh_itn_text = "你好 WeTextProcessing 一点零 船新版本儿 船新体验儿 简直六六六"

# 正常化处理
zh_normalizer = ZhNormalizer()
normalized_text = zh_normalizer.normalize(zh_tn_text)
print("Normalized Chinese text:", normalized_text)

# 逆向规范化处理
inverse_normalizer = InverseNormalizer()
inverted_text = inverse_normalizer.detokenize(inverse_normalizer.denormalize(normalized_text))
print("Detokenized and Denormalized Chinese text:", inverted_text)

英文规范化示例

from tn.english.normalizer import Normalizer as EnNormalizer

en_tn_text = "Hello WeTextProcessing 1.0 life is short just use wetext 666 9 and 10"

# 初始化英文规范化器
en_normalizer = EnNormalizer()

# 执行英文规范化操作
normalized_en_text = en_normalizer.normalize(en_tn_text)
print("Normalized English text:", normalized_en_text)