为什么 C++ 引入了 char8_t、char16_t 和 char32_t，但用起来这么让人崩溃？

本文链接：https://blog.youkuaiyun.com/qq_63315166/article/details/145146826

如果你在用 C++ 处理 Unicode 字符串，可能会发现自己掉进了一个巨大的“黑坑”。尤其是，当你试图用新引入的 char8_t、char16_t 和 char32_t 来处理 UTF 编码时，可能会心想：C++ 是来解决问题的，还是来制造问题的？

这篇文章我们就来聊聊：为什么 C++ 会引入这些新类型，它们到底有什么用？为什么它们用起来这么让人崩溃？标准库的现状又是怎样？

1. char8_t、char16_t 和 char32_t 是什么？

它们的定义

C++11 和 C++20 分别引入了这些新类型，用于处理 Unicode 编码的字符串：

char8_t（C++20）：

- 表示 UTF-8 编码的代码单元。
- 它是一个单字节的类型，但与 char 不兼容。
- 目的是让 UTF-8 字符串更具语义性，比如 u8"Hello" 的类型是 const char8_t*。

char16_t 和 char32_t（C++11）：

- 分别表示 UTF-16 和 UTF-32 编码的代码单元。
- char16_t 是 16 位宽（两个字节），用于存储 UTF-16 编码的单元。
- char32_t 是 32 位宽（四个字节），用于存储完整的 Unicode 码点。

总之，这些新类型的存在让开发者可以更明确地指定字符串的编码，而不是模糊地用 char 或 wchar_t。

它们的意义是什么

1.明确语义：在过去，char 既可以是 ASCII，也可以是 UTF-8，甚至某些平台上的其他编码。现在，char8_t 明确示 UTF-8 字符，char16_t 和 char32_t 分别对应 UTF-16 和 UTF-32。

2.类型安全：char8_t 和 char 是不兼容的，这样可以避免无意中将错误编码的数据混用。

来看个例子

#include <iostream>

int main() {
    const char* ascii = "Hello, ASCII";  // 传统的 char
    const char8_t* utf8 = u8"Hello, UTF-8";  // UTF-8 字符串
    const char16_t* utf16 = u"Hello, UTF-16";  // UTF-16 字符串
    const char32_t* utf32 = U"Hello, UTF-32";  // UTF-32 字符串

    std::cout << ascii << std::endl;  // 可以直接打印
    // std::cout << utf8 << std::endl;  // ❌ 无法直接打印
}

从上面你可以看到，char8_t 类型的字符串虽然有更明确的语义，但无法直接用标准的 std::cout 输出。这就引出了接下来的问题。

2. 为什么用起来这么麻烦？标准库的支持现状

尽管 C++ 引入了这些新类型，但标准库对它们的支持非常有限。你可能已经发现了，当你试图用 std::basic_ifstream<char8_t> 来读取一个 UTF-8 文件时，程序直接抛了异常。这种“半成品”的现状让人无奈。

标准库的核心问题

std::basic_istream 和 std::basic_ostream 不支持这些类型：标准流的模板参数默认只支持 char 和 wchar_t，不支持 char8_t、char16_t 或 char32_t。

来看个例子：

#include <fstream>

int main() {
    std::basic_ifstream<char8_t> file("utf8_file.txt");  // ❌ 抛出 bad_cast 异常
    return 0;
}

编码转换问题：标准库中用于编码转换的组件（如 std::codecvt）对 char8_t 的支持几乎不存在。而 std::wstring_convert 已经被标记为废弃。
缺少 I/O 支持：你无法直接用标准流操作这些类型的数据，这导致你需要自己写大量的编码转换逻辑。

背后的原因

历史包袱：C++ 的标准库设计于上世纪 90 年代，当时 Unicode 还没现在这么流行。标准库在早期只支持 char 和 wchar_t，后续的改进必须兼容这些类型，这限制了对新类型的支持。

C++20 的目标是语义而非功能：C++20 引入 char8_t 等类型，主要是为了让开发者代码更有语义性，而不是为了立即解决所有 Unicode 问题。对这些类型的全面支持可能需要更多的标准化工作。

3. 那这些类型到底有啥用？

虽然用起来麻烦，但 char8_t、char16_t 和 char32_t 并不是“没用的玩意儿”。它们的主要用途包括以下几个方面：

增强代码的语义性和安全性

这些类型可以让你明确区分字符串的编码，减少因编码错误导致的潜在 Bug。例如：

void print_utf8(const char8_t* str) {
    std::cout << reinterpret_cast<const char*>(str) << std::endl;
}

跨平台和多语言支持

多语言应用（如处理中文、阿拉伯语等）通常需要不同的编码格式。char8_t 和 char16_t 可以让你轻松管理这些编码：

Windows 平台通常使用 UTF-16（wchar_t），可以替换为 char16_t。
Linux 和 macOS 使用 UTF-8，则可以使用 char8_t。

与第三方库集成

很多第三方库（如 ICU、Boost.Locale）对 Unicode 编码支持良好，而这些库通常需要 char16_t 或 char32_t 的支持：

#include <boost/locale.hpp>

int main() {
    const char16_t* utf16_str = u"你好，世界";
    std::string utf8_str = boost::locale::conv::utf_to_utf<char>(utf16_str);
    std::cout << utf8_str << std::endl;  // 输出 UTF-8 编码的字符串
}

编码转换

你可以通过 std::wstring_convert（尽管它被废弃）或第三方库进行编码转换：

#include <codecvt>
#include <locale>

std::string utf16_to_utf8(const std::u16string& utf16) {
    std::wstring_convert<std::codecvt_utf8_utf16<char16_t>, char16_t> convert;
    return convert.to_bytes(utf16);
}

4. 如何解决标准库支持不足的问题？

虽然目前的标准库对这些类型支持有限，但你仍然可以通过一些手段绕过这些限制。

手动处理 I/O

你可以用字节流读取文件，然后将其视为 UTF-8 编码的 char8_t 数据：

#include <fstream>
#include <iostream>
#include <vector>

int main() {
    std::ifstream file("utf8_file.txt", std::ios::binary);
    if (!file) {
        std::cerr << "无法打开文件\n";
        return 1;
    }

    // 读取文件内容到缓冲区
    std::vector<char> buffer((std::istreambuf_iterator<char>(file)), std::istreambuf_iterator<char>());
    const char8_t* utf8_data = reinterpret_cast<const char8_t*>(buffer.data());

    std::cout << reinterpret_cast<const char*>(utf8_data) << std::endl;  // 输出 UTF-8 内容
    return 0;
}