有关unicode, UTF-8, ANSI等编码转换

1. ANSI

    美国国家标准码，操作系统默认的编码格式；但是不同国家有不同的文字，由此各个国家制定了自己的国标码，如GB2312等。注意，各个国家制定时还是按照ANSI准则进行的：即不属于ASCII（0～127）的一个文字（符号）占两个字节，属于ASCII的占一个字节。这样一来，一个大字符串用不同国标码，解释的结果就不同（但一点就是，属于ASCII部分的字符解释出来是相同的）。

    ANSI是编码，GB2312等国标码是符合ANSI标准的字符集。字符集与编码是两回事。

2. 字符

    字符是一个符号，如：'＃'，'◎'等，存储时根据不同的编码标准可能占用1个或多个字节的空间。不同编码标准下，字符占用空间大小不同，如Unicode编码所有字符都是2个字节，utf-8编码占用从1个到6个不等。

3. 多字节字符串：

    字符串在内存中，如果“字符”是以ANSI编码形式存放的，则一个字符可能使用一个字节或多个字节来表示，称这个字符串为ANSI字符串或多字节字符串。

4. Unicode:

    统一码，任何字符都占两个字节。各个国家文字、符号统一编码。

    VC++或其他编程工具对汉字或字符都采用操作系统的编码标准，一般都是ANSI标准。这就涉及往其它编码转化的问题。

5. ANSI与Unicode

    如果ANSI全部属于ASCII（0～127），则 mbstowcs, wcstombs 即可。因为Unicode对ASCII（0～127）的处理是“直接扩展ANSI”－－由一个字节到两个字节。

size_t mbstowcs( wchar_t *wcstr, const char *mbstr, size_t count );
size_t wcstombs( char *mbstr, const wchar_t *wcstr, size_t count );

对于不属于ASCII的，如汉字，使用 WideCharToMultiByte，MultiByteToWideChar。

int MultiByteToWideChar(
  UINT CodePage,         // code page
  DWORD dwFlags,         // character-type options
  LPCSTR lpMultiByteStr, // string to map
  int cbMultiByte,       // number of bytes in string
  LPWSTR lpWideCharStr,  // wide-character buffer
  int cchWideChar        // size of buffer
);

 

6. 多字节到宽字符（Unicode）

    待转换的字符并不一定是多字节字符串（ANSI字符串），uft-8编码的也可以。

CodePage：待转换的代码页，如CP_ACP（ANSI），utf-8；
dwFlags: 0;
lpMultiByteStr，cbMultiByte：待转换
lpWideCharStr，cchWideChar：转换完

int WideCharToMultiByte(
  UINT CodePage,            // code page
  DWORD dwFlags,            // performance and mapping flags
  LPCWSTR lpWideCharStr,    // wide-character string
  int cchWideChar,          // number of chars in string
  LPSTR lpMultiByteStr,     // buffer for new string
  int cbMultiByte,          // size of buffer
  LPCSTR lpDefaultChar,     // default for unmappable chars
  LPBOOL lpUsedDefaultChar  // set when default char used
);

 

7. 宽字符（Unicode）到多字节

    新字符串不必是多字节（ANSI）字符集。

CodePag：要转换成的代码页，如CP_ACP（ANSI），utf-8；
dwFlags：0；
lpWideCharStr，cchWideChar：待转换
lpMultiByteStr，cbMultiByte：转换完 
lpDefaultChar，lpUsedDefaultChar：失败时缺省字符； 

    一个字符串中有utf-8，如何转换成ANSI？
    首先，utf-8   到 Unicode
    其次，Unicode 到 ANSI

    代码如下：

int ConvUtf8ToAnsi(CString& strSource, CString& strChAnsi)
...{   
    if (strSource.GetLength() <= 0)
        return 0;
    
    CString strWChUnicode;

    strSource.TrimLeft();
    strSource.TrimRight();    
    strChAnsi.Empty();

    int iLenByWChNeed = MultiByteToWideChar(CP_UTF8, 0, 
                                            strSource.GetBuffer(0), 
                                            strSource.GetLength(), 
                                            NULL, 0);

    int iLenByWchDone = MultiByteToWideChar(CP_UTF8, 0, 
                                            strSource.GetBuffer(0), 
                                            strSource.GetLength(), 
                                            (LPWSTR)strWChUnicode.GetBuffer(iLenByWChNeed * 2), 
                                            iLenByWChNeed); 
    
    strWChUnicode.ReleaseBuffer(iLenByWchDone * 2);

    int iLenByChNeed  = WideCharToMultiByte(CP_ACP, 0, 
                                            (LPCWSTR)strWChUnicode.GetBuffer(0),
                                            iLenByWchDone,
                                            NULL, 0, 
                                            NULL, NULL);  
    
    int iLenByChDone  = WideCharToMultiByte(CP_ACP, 0, 
                                            (LPCWSTR)strWChUnicode.GetBuffer(0), 
                                            iLenByWchDone,
                                            strChAnsi.GetBuffer(iLenByChNeed), 
                                            iLenByChNeed, 
                                            NULL, NULL);

    strChAnsi.ReleaseBuffer(iLenByChDone);
    
    if (iLenByWChNeed != iLenByWchDone || iLenByChNeed != iLenByChDone)
        return 1;

    return 0;    
}

 

8. Unicode 到 ANSI 其它方法 

    1. 调用CRT 函数wcstombs()；
    2. 使用CString 构造器或赋值操作(仅用于MFC )；
    3. 使用ATL 串转换宏；

size_t wcstombs (
char* mbstr, // 接受结果ANSI串的字符（char）缓冲。
const wchar_t* wcstr, // 要转换的Unicode串。 
size_t count ); // mbstr参数所指的缓冲大小。

    MFC中的CString包含有构造函数和接受Unicode串的赋值操作，所以你可以用CString来实现转换。

// 假设有一个Unicode串wszSomeString...
CString str1 ( wszSomeString ); // 用构造器转换
CString str2;
str2 = wszSomeString; // 用赋值操作转换

    ATL有一组很方便的宏用于串的转换。W2A()用于将Unicode串转换为ANSI串（记忆方法是“wide to ANSI”——宽字符到ANSI）。实际上使用OLE2A()更精确，“OLE”表示的意思是COM串或者OLE串。

 

9. VC6 IDE下查看Unicode字符的方法

    unicode字符后面加",su"