补充 - C++字符串完全指引

写了n年程序，近来在字符串上栽了。:( 认真的研究了一些关于字符串的文章，在此记下。

许多关于字符串的问题，在文章最后的参考文章中，相信有更加深入和精确的描述。不过关于中文的处理，我想先补充一些自己的看法。

背景：WIN32 console程序，使用printf输出字符串。相信许多人都有使用过。

平台：VisualStudio.NET 2003（MFC 7.1）。

	MBCS	UNICODE
蔡	b2 cc	21 85
A	41 00	41 00

程序段1：使用std::string

#include <string>


{

// NOTE: use s1._Bx._Buf to see the memory

std::string s1 ("蔡"); // b2 cc 00

}

{

std::wstring s1(L"蔡"); // b2 00 cc 00 00 00

}

以上代码，不管使用MBCS还是_UNICODE编译，得到的结果都是一样的。因为string (实际上是basic_string)不会自动进行从MBCS到UNICODE的转换。所以使用printf或者wprintf输出即可。前提当然是你的系统需要支持中文。

让我们把代码修改一下，希望可以输出字符串的内容：

{
std::string s1 ("蔡"); // b2 cc 00
OutputDebugStringA(s1.c_str());
printf(s1.c_str());
}

{

std::wstring s1(L"蔡"); // b2 00 cc 00 00 00
OutputDebugStringW(s1.c_str());
wprintf(s1.c_str());
}

OutputDebugString实际上就是ATLTRACE（）最后调用的函数，该函数向VisualStudio的Output窗口输出，而printf和wprintf向console窗口输出。最后的结果如何？OutputDebugStringW输出的是怪字符！！WHY？？ s1.c_str()传递给OutputDebugStringW和wprintf不是都是内容相同的LPCWSTR吗？

1）因为OutputDebugStringW的字符串必须是真正UNICODE编码的字符串，而不是所有的const wchar_t*（即LPCWSTR）都可以得到正确结果。在这里s1虽然使用wchar_t类型，但是实际的内容却是MBCS编码。

2）反之亦然：CRT的wprintf只支持MBCS编码的字符串，而不能是UNICODE编码的字符串。在程序段2我们可以看到真正的UNICODE编码的字符串。

这是我多年来的一个误区：wchar_t类型的字符串就是UNICODE字符串。实际应该理解为UNICODE是16位的字符集，可以使用wchar_t类型进行存储。

程序段2：使用CString
请看程序后面的说明。

1.         ////////////////// START: compile with _UNICODE ///////////////////

2.         {

3.         CString s1 ("A"); // 41 00 00 00

4.         }

5.         {

6.         CString s1 (L"A"); // 41 00 00 00

7.         }

8.         {

9.         CString s1 (_T("A")); // 41 00 00 00

10.     }

11.     {

12.     CString s1 ("蔡"); // 21 85 00 00

13.     }

14.     {

15.     CString s1 (L"蔡"); // b2 00 cc 00 00 00

16.     }

17.     {

18.     CString s1 (_T("蔡")); // b2 00 cc 00 00 00

19.     }

20.     ////////////////// END: compile with _UNICODE ///////////////////

21.     ////////////////// START: compile with _MBCS ///////////////////

22.     {

23.     CString s1 ("A"); // 41 00

24.     }

25.     {

26.     CString s1 (L"A"); // 41 00

27.     }

28.     {

29.     CString s1 (_T("A")); // 41 00

30.     }

31.     {

32.     CString s1 ("蔡"); // b2 cc 00

33.     }

34.     {

35.     CString s1 (L"蔡"); // 32 a8 ac 00

36.     }

37.     {

38.     CString s1 (_T("蔡")); // b2 cc 00

39.     }

40.     ////////////////// END: compile with _MBCS ///////////////////

1）对于英文字母‘A’，MBCS和UNICODE的结果都是一样的

2）Line 15.     

CString s1 (L"蔡"); // b2 00 cc 00 00 00

得到的还是MBCS的字符串，只是增加了0作为trail byte。而不是我理解的UNICODE字符串！这是我多年来的另外一个误区：_T在_UNICODE下转换为L，而L后面的字符串是UNICODE编码。在参考资料MSDN的“TCHAR.H 中的一般文本映射”中（以及MSDN的许多地方），可以看到类似的说明：

一般文本数据类型映射

一般文本数据类型名	未定义 _UNICODE 或 _MBCS	已定义 _MBCS	已定义 _UNICODE
_TCHAR	char	char	wchar_t
_TINT	int	int	wint_t
_TSCHAR	signed char	signed char	wchar_t
_TUCHAR	unsigned char	unsigned char	wchar_t
_TXCHAR	char	unsigned char	wchar_t
_T 或 _TEXT	无效（由预处理器移除）	无效（由预处理器移除）	L（将后面的字符或字符串转换成相应的 Unicode 形式）

实际上L"xxx"只是通知编译器，我们需要的是wchar_t类型的字符串，而不能影响编码。

真正的UNICODE字符串在哪里？

3）Line 12：

等同于    CStringW s1 ("蔡"); // 21 85 00 00

我们看到，得到了真正的UNICODE 字符串。因为CString（在MFC 7.1中，不存在MFC的CString，实际上由ATL::CStringT通过typedef定义而得）的构造函数，在这里实际上是CStringW的构造函数，根据输入的参数是char类型字符串，会自动调用MultiByteToWideChar转换MBCS字符串为UNICODE字符串。

4）相应Line 12，那么Line 35得到的结果32 a8 ac 00是什么？和Line 12类似：

CString构造函数，在这里实际上是CStringA的构造函数，根据输入的参数是wchar_t类型字符串，会自动调用WideCharToMultiByte转换UNICODE字符串为MBCS字符串。但是根据2），我们知道，输入的参数不是UNICODE字符串，只是MBCS的wchar_t类型字符串，所以得到的是错误的编码。

　

总结以上，可知：

1）CRT不能生成和处理UNICODE类型字符串，对于wchar_t类型字符串，只能处理MBCS编码；

2）VC RunTime中带W后缀的函数，和所有的COM函数，对于wchar_t类型字符串，只能处理UNICODE编码；

3）如果不考虑输出，只是进行拷贝、比较等操作，只要注意_T的含义和字符串的字符类型长度就可以了；但是如果需要输出，必须注意字符串的编码转换。
4）使用UNICODE或者MBCS的编译选项，只是影响字符串的字符类型（自动识别_T，CString等，自动把函数转换为xxxxA()或者xxxxW()），不影响字符串的编码。下表的代码结果不受编译选项影响（这也是编译器处理_T，CString等后的结果）：

CStringA s = "xxx"; // 等于 CA2A("xxx") 结果为SBCS（单字节编码） printf()正确 OutputDebugStringA()正确	CStringW s = "xxx"; // 等于 CA2W("xxx") 结果为UNICODE编码 wprintf()错误 OutputDebugStringW()正确
CStringA s ＝ L"xxx"; // 等于 CW2A(L"xxx") 结果为MBCS编码（可能错误） printf()错误 OutputDebugStringA()错误	CStringW s = L"xxx"; // 等于 CW2W("xxx") 不改变字符串的编码，仍然是MBCS。 wprintf()正确 OutputDebugStringW()错误

疑问：我认为对于CW2W是由系统编码决定，可以直接得到UNICODE吗？

关于CW2A，如果后面的字符串的确是UNICODE编码，则可以得到正确的相应MBCS编码字符串。实际上，这也是我们要输出UNICODE的方法：

CStringW s = "蔡"; // s 现在是UNICODE编码

// wprintf(s)不正确

CW2A psz(s); // psz现在是s相应的正确的MBCS编码！

printf(psz); // 正确

// All is OK, a little more to say

CA2W wsz(psz); // wsz现在是psz的错误的UNICODE编码，即32 a8 ac 00

　

　

推荐参考资料

• The Complete Guide to C++ Strings：个人认为很好和很全面的文章

The Complete Guide to C++ Strings, Part I - Win32 Character Encodings

http://www.codeproject.com/string/CPPStringGuide1.asp

The Complete Guide to C++ Strings, Part I - Win32 Character Encodings

http://www.codeproject.com/string/cppstringguide2.asp

• 这2篇是不错的中文翻译。 :)
  
  
  C++字符串完全指引之一 —— Win32 字符编码
  http://www.vckbase.com/document/viewdoc/?id=1082
  
  C++字符串完全指引之二 —— 字符串封装类
  
  http://www.vckbase.com/document/viewdoc/?id=1096
  
  
  
• 其它一篇
  STL 字符串类与 UNICODE
  
  http://www.vckbase.com/vckbase/default.aspx
  
  
• 当然，少不了MSDN
  
  TCHAR.H 中的一般文本映射
  
  http://msdn.microsoft.com/library/chs/default.asp?url=/library/CHS/vccore/html/_core_generic.2d.text_mappings_in_tchar..h.asp
  
  建议：最好把整个“国际编程”目录看一次（虽然看完还是糊涂 :) ）
  
  http://msdn.microsoft.com/library/CHS/vccore/html/_core_International_Programming_Topics.asp