C++中的Unicode编码:wchar, UTF-8,UTF-16,UTF-32

最新推荐文章于 2022-02-27 17:13:12 发布

原创最新推荐文章于 2022-02-27 17:13:12 发布 · 3.2k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#c++ #utf-8 #unicode

C/C++ 同时被 2 个专栏收录

36 篇文章

订阅专栏

UNIX/Linux网络编程

27 篇文章

订阅专栏

C++ C11标准引入了对Unicode的支持，通过wchar_t、char16_t和char32_t处理不同编码。在Ubuntu x64环境下，它们的大小分别为1、4、2字节。char类型适用于存储UTF-8，而wchar_t在不同系统中宽度不同，char16_t用于UTF-16，char32_t对应UTF-32。字符串表示使用L、u8、u、U前缀，并有对应的std::wstring、std::u16string和std::u32string，但未重载流操作符。

C++在C11标准中加入了对Unicode编码的支持，新增了wchar_t、char16_t、char32_t内置数据类型。

    cout << sizeof(char) << endl;
    cout << sizeof(wchar_t) << endl;
    cout << sizeof(char16_t) << endl;
    cout << sizeof(char32_t) << endl;

经以上代码测试，这三个数据类型的大小为：1、4、2、4字节（Ubuntu X64环境下）；

char：标准ASCII字符，大小为1字节（8bit），可以存储UTF-8编码字符
wchar_t：变宽字符，大小根据操作系统环境而定（据我所知Windows下是2字节（16位），Linux下是4字节（32位））
char16_t：16位长字符，可以存储UTF-16编码字符
char32_t：32位长字符，可以存储UTF-32编码字符

让这些字符表示相应的字符串，则为：

    wchar_t wstr[] = L"我是宽字符常量";
    char u8str[] = u8"我是UTF-8";
    char16_t u16str[] = u"我是UTF16";
    char32_t u32str[] = U"我是UTF32";

其中：
L为变宽字符串\字符的前缀
u8为UTF-8编码字符串\字符的前缀
u为UTF-16编码字符串\字符的前缀
U为UTF-32编码字符串\字符的前缀

在标准模板库中也有相应的string实现：

    typedef basic_string<char> string;
    typedef basic_string<char16_t> u16string;
    typedef basic_string<char32_t> u32string;

实现举例：

    wstring wstrr(L"我是宽字符字符串");
    string u8strr(u8"我是UTF8");
    u16string u16strr(u"我是UTF16");
    u32string u32strr(U"我是UTF32");

不过经验证，wstring、u16string、u32string并没有重载 << 、>>等运算符。