使你的C/C++代码支持Unicode

最新推荐文章于 2024-03-16 21:52:29 发布

原创

最新推荐文章于 2024-03-16 21:52:29 发布 · 4.6k 阅读

7 ·

CC 4.0 BY-SA版权

本文介绍了如何使C/C++代码支持Unicode，包括修改宏定义、使用宽字符、处理I/O、数据库和流式I/O，以及考虑Unicode字节序标记、字符串处理API等方面，旨在帮助开发者实现代码的国际化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.youkuaiyun.com/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

本文摘自I18nGuy主页的一篇内容，原文地址：http://www.i18nguy.com/unicode/c-unicode.zh-CN.html

文档在线看：http://www.docin.com/p-37841375.html

这份文档简要的说明了如何修改你的C/C++代码使之支持Unicode。在这里并不准备解释太多相关的技术细节并且我得假定你已经基本熟悉Microsoft支持Unicode的方式。它的主要目的是方便你查询相关的数据类型和函数，以及修正相应的拼写错误。

内容
第一步
I/O, 数据库
流式 I/O
BOM 值
常量和全局变量
数据类型
Platform SDK字符串处理API
CRT字符串处理API

使你的C/C++代码支持Unicode的第一步

定义宏 _UNICODE，如果定义了宏 _MBCS 则取消它的定义(undefine)。
在字符串前添加 L 标记或者用 _T宏修饰字符串。
使用 Wide 或者 TCHAR 版本的字符串处理函数。
确定API中的字符串长度是按字节计数还是按字符个数计数。因为基于字符的显示和打印(与此不同的是，GUI是基于像素的)使用列数，而不是字节数或者字符个数。
在字符串指针相关的计算中使用GetNext格式，因为一个字符可能包含多于一个Unicode字符单元。
注意缓冲区的大小以及防止缓冲区溢出。
改变编码方式可能需要增大缓冲区或者限制字符串的最大长度。假设单个字符的大小从1个字节变为4个字节，并且字符串本来20个字符占用20字节，那么你需要将字符串缓冲区扩大为80字节或者将字符串长度限制为5个字符(字符串缓冲区仍为20字节)。注意缓冲区的扩大可能被限制到一个最大值(比如65KB)。减少字符串长度到一个固定值可能破坏现有的程序，限制字符串长度到固定值可能是危险的。比如，限制到20字节，将字符串转化为大写形式就可能导致字符串变长并且超过限制。
将接受或者返回单字符参数的函数替换为使用字符串的版本。 (在一些语言中) 对于单个字符的操作可能导致返回多个代码点。例如，upper('ß')将返回"SS"。
使用 wmain 代替 main。环境变量也由_environ变为_wenviron 。
wmain(int argc, wchar_t *argv[], wchar_t *envp[])
MFC Unicode 程序使用 wWinMain 作为程序入口点(VC++ 6.0)。
project->settings->Link，选择output选项卡
在Entry point symbol一行加上 wWinMainCRTStartup 。
字体的因素，分清使用的字体用于渲染各种语言的字符还是用于脚本中。

文件 I/O, 数据库, 传输协议等因素

考虑是否需要读写文件、数据库中的 UTF-8 或者 UTF-16 字符，以及是否进行数据交换。
考虑 UTF-16 格式文件中的字节序。
读写网络传输的数据总是使用 Big-Endian ，如果你没有产生 BOM 也使用 Big-Endian。
文件的字节序依赖于文件格式以及/或者源/目标机器的体系结构。
读取 UTF-16 或者 UTF-32编码的文件时，考虑是否需要将字符按字节逆序。
对于 streams 和传输协议也需要做上述的考虑。
传输协议和用于数据交换的文件要使用正确的编码方式。例如 HTTP，HTML，XML 必须设置为 UTF-8 或者 UTF-16。
考虑Unicode字节序标记( BOM ,Byte Order Marker) 以及是否需要将它同数据一同写入。读取数据时记得去掉BOM。
考虑遗留数据和文件的编码惯例，考虑导入和导出以及传输协议。(MultiByteToWideChar, WideCharToMultiByte, mbtowc, wctomb, wctombs, mbstowcs )
考虑复制文本到剪贴板
使用 CF_TEXT 格式并且写入本地编码的文本(ANSI格式)
使用 CF_UNICODETEXT 格式并写入Unicode文本
数据库程序需要考虑数据类型 (NCHAR, NVARCHAR) 和模式(schema)的变更，触发器，存储过程和查询，数据的增长，索引以及性能等因素。
注意：Unicode模式的改变对于不同厂商的数据库产生不同的影响。如果需要数据库具有较好的可移植性，就要考虑到每种数据库的特性和行为。
(我知道针对这个问题说得不够多，以后有机会再补充吧)

流式 I/O

如果你使用Microsoft C++编译器，你可能遇到与流式 I/O相关的3类问题：

不支持Unicode文件名。
解决方式是使用 FILE * _wfopen 函数，之后使用FILE句柄初始化流式 I/O。
std::ifstream stm(_wfopen(pFilename, L"r"));
在读/写的时候，流式 I/O 会把数据从本地代码页(ANSI格式)转换到Unicode格式/从Unicode格式转换到ANSI格式，而非UTF-8 或者 UTF-16。
但是可以修改表示流的类使之支持读写 UTF-8 格式字符。你可以自己实现一个读写时把数据在 Unicode 和 UTF-8 之间转换的I/O stream类。
codecvt <wchar_t, char_traits <wchar_t> >
如果要用流式 I/O读写 UTF-16 字符，应该用二进制模式打开并且在二进制模式下输入输出。可以用如下方法设置 I/O 为二进制模式：
_setmode( _fileno( stdin ), _O_BINARY );

也可以参考 Microsoft 运行时库参考： "Unicode Stream I/O in Text and Binary Modes".

注意：针对cout/wcout, cin/wcin等并没有相应的 TCHAR 版本。如果你需要在ANSI/Unicode两种模式下编译代码，你可能需要自己定义一个名字类似"tout"的宏。