常用字符集范围详解

字符集与编码详解

最新推荐文章于 2023-06-23 23:08:39 发布

转载最新推荐文章于 2023-06-23 23:08:39 发布 · 2.2k 阅读

各种编码专栏收录该内容

1 篇文章

订阅专栏

搬家后的博客链接: IT客栈 www.itkezhan.org

一. 字符集
1. 常用字符集分类
ASCII及其扩展字符集
作用：英语及西欧语言。
位数：ASCII是用低7位（b7默认为0）表示，能表示128个字符；其扩展使用8位表示，表示256个字符。
范围：ASCII从00到7F，扩展从00到FF。
ISO-8859-1(1~16)字符集
作用：扩展ASCII，表示西欧、希腊语等。
位数：8位。
范围：从00到FF，兼容ASCII字符集。
GB2312字符集
作用：国家简体中文字符集，兼容ASCII。
位数：使用2个字节表示，能表示7445个符号，包括6763个汉字，涵盖所有常用汉字。
范围：高字节从A1到F7, 低字节从A1到FE。

BIG5字符集
作用：统一繁体字编码。
位数：使用2个字节表示，总计13053个汉字。
范围：高字节从A1到F9，低字节从40到7E，A1到FE。

SJIS字符集
作用：日文字符编码。
位数：使用2个字节表示，总计7724个字符。
范围：高字节从81到9F, E0到FC，低字节从40到7E，80到FC。

EUC-KR字符集

作用：韩文字符编码。
位数：使用2个字节表示，总结17048个字符
范围：高字节从81到FD，低字节从40到7E，80到FE。

GBK字符集

作用：它是GB2312的扩展，加入对繁体字的支持，兼容GB2312。
位数：使用2个字节表示，可表示21886个字符。
范围：高字节从81到FE，低字节从40到FE （7F 除外）。
GB18030字符集
作用：它解决了中文、日文、朝鲜语等的编码，兼容GBK。
位数：它采用变字节表示(1 ASCII，2，4字节)。可表示27484个文字。
范围：1字节从00到7F; 2字节高字节从81到FE，低字节从40到7E和80到FE；4字节第一三字节从81到FE，第二四字节从30到39。
UCS字符集
作用：国际标准 ISO 10646 定义了通用字符集 (Universal Character Set)。它是与UNICODE同类的组织，UCS-2和UNICODE兼容。
位数：它有UCS-2和UCS-4两种格式，分别是2字节和4字节。
范围：目前，UCS-4只是在UCS-2前面加了0×0000。
UNICODE字符集
作用：为世界650种语言进行统一编码，兼容ISO-8859-1。
位数：UNICODE字符集有多个编码方式，分别是UTF-8，UTF-16和UTF-32。

2. 按所表示的文字分类

语言                                 字符集                                     正式名称
英语、西欧语                      ASCII，ISO-8859-1                MBCS 多字节（也可说本地字符集或内码）
简体中文                           GB2312                                 MBCS 多字节（也可说本地字符集或内码）
繁体中文                           BIG5                                     MBCS 多字节（也可说本地字符集或内码）
简繁中文                           GBK                                      MBCS 多字节（也可说本地字符集或内码）
中文、日文及朝鲜语             GB18030                               MBCS 多字节（也可说本地字符集或内码）
多国语言合集                     UNICODE，UCS                      DBCS 宽字节（统一码）

3. 参考代码

long GetPosWithMbcs(UINT code, UINT codepage)

{

long lIdx = -1;

BYTE R = (code >> 8) & 0xFF; //区码

BYTE C = code & 0xFF; //位码

switch(codepage)

{

case CP932: // 日文（SJIS)

if(R >= 0x81 && R <= 0x9F)

{

if(C >= 0x40 && C <= 0x7E)

lIdx = (R-0x81)*188 + (C-0x40); //188 = (0x7E-0x40+1)+(0xFC-0x80+1);

else if(C >= 0x80 && C <= 0xFC)

lIdx = (R-0x81)*188 + (C-0x80)+63; // 63 = 0x7E-0x40+1;

}

else if(R >= 0xE0 && R <= 0xFC)

{

if(C >= 0x40 && C <= 0x7E)

lIdx = 5828 + (R-0xE0)*188 + (C-0x40); // 5828 = 188 * (0x9F-0x81+1);

else if(C >= 0x80 && C <= 0xFC)

lIdx = 5828 + (R-0xE0)*188 + (C-0x80)+63;

}

break;

case CP936: // 简中

if( IsGbk（）) // GBK

{

#if （0） // 省空间

if(R>=0x81 && R<=0xA0) // section1 " 6080 = (0xa0 - 0x81 + 1) * 190 "

{

if(C >= 0x40 && C <= 0xFE)

{

lIdx = (R-0x81)*190 + (C-0x40); // 190 = (0x7E-0x40+1)+(0xFE-0x80+1)

if(C >= 0x80)

lIdx -= 1; // move 0x7F

}

else if(R>=0xA1 && R<=0xA9) // section2 " 846 = (0xa9 - 0xa1 + 1) * 94 "

{

if(C>=0xa1 && C<=0xfe)

lIdx = 6080 + (R - 0xa1)*94 + (C - 0xa1); // 94 = (0xfe - 0xa1 + 1)

}

else if(R >= 0xAA && R <= 0xAF) // section3 " 582 = (0xaf - 0xaa + 1) * 97 "

{

if(C>=0x40 && C<=0xA0)

{

// 6926 = 1080 + 846, 97 = (0xa0 - 0x40 + 1)

lIdx = 6926 + (R - 0xaa + 1) * 97 + (C - 0x40);

if(C >= 0x80)

lIdx -= 1; // move 0x7F

}

else if(R >= 0xB0 && R <= 0xF7) // section4 " 13680 = (0xF7 - 0xB0 + 1) * 190 "

{

if(C >= 0x40 && C <= 0xFE)

{

lIdx = 7508 + (R - 0xB0 + 1) * 190 + (C - 0x40); // 7508 = 6926 + 582

if(C >= 0x80)

lIdx -= 1; // move 0x7F

}

else if(R >= 0xF8 && R <= 0xFE) // section5 " 421 = (0xFE - 0xF8 + 1) * 97"

{

if(C>=0x40 && C<=0xA0)

{

// 21188 = 7508 + 13680, 97 = (0xa0 - 0x40 + 1)

lIdx = 21188 + (R - 0xF8 + 1) * 97 + (C - 0x40);

}

#else // 省时间

if(R >= 0x81 && R <= 0xFE)

{

if(C >= 0x40 && C <= 0xFE) // 0x40 ~ 0x7E & 0x80 ~ 0xFE

{

lIdx = (R-0x81)*190 + (C-0x40); //190 = (0x7E-0x40+1)+(0xFE-0x80+1);

if(C >= 0x80)

lIdx -= 1; // move 0x7F

}

#endif

}

else // GB2312

{

if((R >= 0xA1 && R <= 0xFE) && (C >= 0xA1 && C <= 0xFE))

lIdx = (R-0xa1)*94 + (C-0xa1); //94 = (0xFE-0xA1+1);

}

break;

case CP949: // 韩文（EUC-KR）

if(R >= 0x81)

{

if(C >= 0x41 && C <= 0x7E)

lIdx = ((R-0x81) * 188 + (C - 0x41)); // 188 = (0x7E-0x41+1)+(0xFE-0x81+1);

else if(C >= 0x81 && C <= 0xFE)

lIdx = ((R-0x81) * 188 + (C - 0x81) + 62); // 62 = (0x7E-0x41+1);

}

break;

case CP950: // 繁体（BIG-5)

if(R >= 0xA1 && R <= 0xF9)

{

if(C >= 0x40 && C <= 0x7E)

lIdx = ((R-0xa1)*157+(C-0x40)); // 157 = (0x7E-0x40+1)+(0xFE-0xA1+1);

else if(C >= 0xA1 && C <= 0xFE)

lIdx = ((R-0xa1)*157+(C-0xa1)+63); // 63 = (0x7E-0x40+1);

}

break;

default:

break;

}

return lIdx;

}

二. 编码

编码一般分为 “内码” 和 “unicode”。

上述讲到的所有多字节（MBCS）字符集都是指的内码，对应大家来说，应该不会太陌生，今天在此主要讲Unicode。

UTF-8：采用变长字节 (1 ASCII, 2 希腊字母, 3 汉字, 4 平面符号) 表示，网络传输, 即使错了一个字节，不影响其他字节，而双字节只要一个错了，其他也错了，具体如下：
如果只有一个字节则其最高二进制位为0；如果是多字节，其第一个字节从最高位开始，连续的二进制位值为1的个数决定了其编码的字节数，其余各字节均以10开头。UTF-8最多可用到6个字节。

UTF-16：采用2字节，Unicode中不同部分的字符都同样基于现有的标准。这是为了便于转换。从 0×0000到0×007F是ASCII字符，从0×0080到0×00FF是ISO-8859-1对ASCII的扩展。希腊字母表使用从0×0370到 0×03FF 的代码，斯拉夫语使用从0×0400到0×04FF的代码，美国使用从0×0530到0×058F的代码，希伯来语使用从0×0590到0×05FF的代码。中国、日本和韩国的象形文字（总称为CJK）占用了从0×3000到0×9FFF的代码；由于0×00在c语言及操作系统文件名等中有特殊意义，故很多情况下需要UTF-8编码保存文本，去掉这个0×00。举例如下：
UTF-16: 0×0080 = 0000 0000 1000 0000
UTF-8: 0xC280 = 1100 0010 1000 0000

UTF-32：采用4字节。

优缺点
UTF-8、UTF-16和UTF-32都可以表示有效编码空间 (U+000000-U+10FFFF) 内的所有Unicode字符。
使用UTF-8编码时ASCII字符只占1个字节，存储效率比较高，适用于拉丁字符较多的场合以节省空间。
对于大多数非拉丁字符（如中文和日文）来说，UTF-16所需存储空间最小，每个字符只占2个字节。
Windows NT内核是Unicode（UTF-16），采用UTF-16编码在调用系统API时无需转换，处理速度也比较快。
采用UTF-16和UTF-32会有Big Endian和Little Endian之分，而UTF-8则没有字节顺序问题，所以UTF-8适合传输和通信。
UTF-32采用4字节编码，一方面处理速度比较快，但另一方面也浪费了大量空间，影响传输速度，故很少使用。

三. 如何识别文件编码类型？
1. 字节序
首先说一下字节序对编码的影响，字节序分为Big Endian字节序和Little Endian字节序。不同的处理器可能不一样。所以，传输时需要告诉处理器当时的编码字节序。对于前者而言，高位字节存在低地址，低字节存于高地址；后者相反。

例如: 0x50A4

2. 编码识别 (BOM)

UNICODE，根据前几个字节可以判断UNICODE字符集的各种编码，叫做Byte Order Mask方法BOM：
UTF-8: EFBBBF (符合UTF-8格式，请看上面。但没有含义在UCS即UNICODE中)
UTF-16 Big Endian：FEFF (没有含义在UCS-2中)
UTF-16 Little Endian：FFFE (没有含义在UCS-2中)
UTF-32 Big Endian：0000FEFF (没有含义在UCS-4中)
UTF-32 Little Endian：FFFE0000 (没有含义在UCS-4中)

GB2312：高字节和低字节的第1位都是1。

BIG5，GBK&GB18030：高字节的第1位为1。操作系统有默认的编码，常为GBK，可以下载别的并升级。通过判断高字节的第1位从而知道是ASCII或者汉字编码。