汉字的Unicode范围(转)

u013250861

于 2023-10-07 16:06:14 发布

阅读量651

点赞数

CC 4.0 BY-SA版权

分类专栏： # LLM/数据处理&Tokenizer 文章标签： python 开发语言

本文链接：https://blog.youkuaiyun.com/u013250861/article/details/133643576

67 篇文章 ¥19.90 ¥99.00

订阅专栏

本文详细介绍了汉字在Unicode中的编码范围，不仅包括了标准的CJK文字，还涵盖了全角字符、部首、标点符号、注音符号、日韩文字等。提供了Unicode官方PDF链接以供查阅。

在网上搜索了一下汉字的Unicode范围，普遍给出了“U+4E00..U+9FA5”。但事实上这个范围是不完整的，甚至连基本的全角（中文）标点也未包含在内。根据最新的Unicode 5.0版整理如下：

注：在绝大多数应用场合中，我们可以仅用（1）、（2）、（3）、（4）、（5）的集合作为CJK判断的依据。

Code point range	Block name	Release
U+3400..U+4DB5	CJK Unified Ideographs Extension A	3.0
U+4E00..U+9FA5	CJK Unified Ideographs	1.1

了解本专栏