Unicode字符

本文详细解析了ANSI与Unicode字符集的概念及其在Windows程序设计中的应用,并介绍了多种字符串类型的定义与使用方法,包括TCHAR、LPSTR、LPWSTR等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 1、ANSI(即MBCS):为多字节字符集,它是不定长表示世界文字的编码方式。ANSI表示英文字母时就和ASCII一样,但表示其他文字时就需要用多字节。

2、Unicode:用两个字节表示一个字符的编码方式。比如字符'A'在ASCII下面用一个字节表示,而在Unicode下面用两个字节表示,其中高字节用“0”填充;函数'程'在ASCII下面用两个字节表示,而在Unicode下面也是用两个字节表示。Unicode的用处就是定长表示世界文字,据统计,用两个字节可以编码现存的所有文字而没有二义,可以用来表示汉字,韩文等。

3、Windows下的程序设计可以支持ANSI和Unicode两种编码方法的字符串,具体使用哪种就要看定义了MBCS宏还是Unicode宏。MBCS宏对应的字符串指针为LPSTR(即char*),Unicode对应的指针为LPWSTR(即unsigned char*)。为了写程序的方便,微软定义了类型LPTSTR,在MBCS下它表示char*,在Unicode下它表示unsigned char*,这就可以重定义一个宏进行不同字符集的转换了。

4、关系

        wchar_t:代表的是宽字节字符,是一个unicode字符的数据类型

      TCHAR: 每个字符可能占一个字节,也可能占两个字节,如果是Unicode ,则等价于wchar_t,如果Unicode未定义,则等价于char

  LPSTR: 32-bit指针 指向一个字符串,每个字符占1字节。 相当于 char *
  
  LPCSTR: 32-bit指针 指向一个常字符串,每个字符占1字节。 相当于 const char *
  
  LPTSTR: 32-bit指针 每字符可能占1字节或2字节,取决于Unicode是否定义,如果Unicode定义,则等价于LPWSTR;如果未定义,则等价于LPSTR.
  
  LPCTSTR:32-bit指针 指向一个常字符串,每字符可能占1字节或2字节,取决于Unicode是否定义,如果Unicode定义,则等价于LPCWSTR;如果未定义,则等价于LPCSTR.
  
  LPWSTR: 32-bit指针,指向一个unicode字符串的指针,每个字符占2字节。 

  LPCWSTR:32-bit指针, 指向一个unicode字符串常量的指针,每个字符占2字节。
 

  在上面的类型中,L表示long, P表示指针,C表示constant, T表示指针指向的字符占的字节数取决于Unicode是否定义,W表示wide,STR就是string的意思
  
  LPSTR = char *
  LPCSTR = const char *
  
  LPTSTR = _TCHAR * (或 TCHAR *)
  LPCTSTR = const _TCHAR * (或 const TCHAR *)
  
  LPWSTR = wchar_t *
  LPCWSTR = const wchar_t *

5、Windows使用两种字符集ANSI和Unicode,前者在处理英文字符时使用单字节方式,在处理中文字符时使用双字节方式。后者不管是英文字符还是中文字符都是采用双字节方式表示。Windows NT的所有与字符有关的函数都提供了两种方式的版本,而Windows 9x只支持ANSI方式。_T一般同字符常量相关,如_T("你好!");。如果编码方式为ANSI,_T不起任何作用;如果编码方式为Unicode,编译器会把"你好!"以

Unicode方式进行保存。_T和_L的区别在于,_L不管你是以什么方式编译,一律以Unicode方法保存。

6、L表示字符串资源采用Unicode编码方式,示例如下:

    wchar_t Str[]=L"Hello World!"; //每个字符都用2个字节来存储

7、_T是一个适配宏。当定义了_UNICODE时,_T和L相同;否则,_T的字符串采用ANSI编码方式。示例如

下:

    LPTSTR lptStr=new TCHAR[32];

    TCHAR* szBuf=_T("Hello");

    以上两个语句,无论是在ANSI编码方式,还是在Unicode编码方式下都是正确的。

8、微软推荐使用相匹配的字符串函数。例如,在处理LPTSTR或LPCTSTR的时候,应该使用_tcslen来替代strlen函数。否则,在Unicode编码方式下,strlen不能处理wchar_t*的字符串。

9、T是一个非常重要的符号(TCHAR、LPTSTR、LPCTSTR、_T()和_TEXT()等),它表示使用一个中间类型,既不明确表示使用MBCS,也不明确表示使用Unicode。到底使用哪种字符集,在编译的时候才决定。

10、注意L 和 _T 的使用方法。
  
  LPTSTR, LPCTSTR, 及_T(常量字符串) 受_T 影响。
  
  介绍字符串类型:char, wchar_t, TCHAR, CHAR, WCHAR.
  
  TCHAR 的定义:
  
  #ifdef UNICODE
   typedef wchar_t TCHAR;
  
  #else
   typedef unsigned char TCHAR;
  
  #endif
  
  
  typedef unsigned char CHAR;
  typedef unsigned wchar_t WCHAR;
  
  由此可以看出,unsigned char 和 wchar_t 都是基本数据类型, CHAR实施上就是unsigned char, WCHAR为wchar_t ,而TCHAR根据是否支持unicode而不同。
  
  在程序中,可以用的名称有5种,unsigned char(CHAR), wchar_t(WCHAR), TCHAR, 但为了扩展性和兼容性,推荐使用TCHAR.
 
### Python中Unicode字符的处理 在Python中,字符串默认为Unicode编码。这意味着可以轻松地处理各种语言的文本数据以及特殊字符。以下是关于如何在Python中处理Unicode字符的详细说明。 #### 1. Unicode字符串的定义 在Python 3中,所有字符串都是Unicode字符串,无需额外声明[^4]。例如: ```python text_str = "我爱中国" # 这是一个Unicode字符串 print(type(text_str)) # 输出 <class 'str'> ``` 如果需要将Unicode字符串转换为字节串(bytes),可以使用`encode()`方法指定编码格式,如UTF-8: ```python byte_str = text_str.encode("utf-8") # 将Unicode字符串编码为字节串 print(type(byte_str)) # 输出 <class 'bytes'> print(byte_str) # 输出 b'\xe6\x88\x91\xe7\x88\xb1\xe4\xb8\xad\xe5\x9b\xbd' ``` 要将字节串转换回Unicode字符串,可以使用`decode()`方法: ```python decoded_str = byte_str.decode("utf-8") # 将字节串解码为Unicode字符串 print(decoded_str) # 输出 我爱中国 ``` #### 2. Unicode字符的属性查询 可以使用`unicodedata`模块来查询Unicode字符的各种属性,例如名称、类别和数值等[^3]。 - **查询字符名称**: ```python import unicodedata print(unicodedata.name('1')) # 输出 DIGIT ONE ``` - **查询字符类别**: ```python print(unicodedata.category('\r')) # 输出 Cc (控制符) print(unicodedata.category('\t')) # 输出 Cc (控制符) print(unicodedata.category('\n')) # 输出 Cc (控制符) ``` - **查询字符数值**: ```python print(unicodedata.decimal('1')) # 输出 1 print(unicodedata.digit('1')) # 输出 1 print(unicodedata.numeric('1')) # 输出 1.0 ``` #### 3. 处理Unicode空白符 除了普通的空格字符外,Unicode还定义了许多其他类型的空白符。这些空白符通常被视为控制符。可以通过`unicodedata.category()`函数来判断字符是否属于空白符类别[^1]。 ```python print(unicodedata.category(' ')) # 输出 Zs (空格分隔符) print(unicodedata.category('\u200B')) # 输出 Cf (格式化符),零宽空格 ``` #### 4. Unicode字符串的操作 Unicode字符串支持与普通字符串相同的操作,例如切片、拼接和格式化等。以下是一些常见操作示例: - **字符串拼接**: ```python s1 = "Hello" s2 = "世界" result = s1 + ", " + s2 # 拼接两个字符串 print(result) # 输出 Hello, 世界 ``` - **字符串切片**: ```python s = "Python编程" print(s[:6]) # 输出 Python ``` - **字符串格式化**: ```python name = "Alice" age = 25 formatted_str = f"{name} 的年龄是 {age}" # 使用f-string格式化字符串 print(formatted_str) # 输出 Alice 的年龄是 25 ``` #### 5. 常见错误及解决方法 在处理Unicode字符时,可能会遇到编码和解码错误。例如,尝试用错误的编码格式解码字节串会导致`UnicodeDecodeError`。 ```python try: invalid_bytes = b'\xff' # 非法的UTF-8字节序列 decoded = invalid_bytes.decode("utf-8") except UnicodeDecodeError as e: print(f"解码错误: {e}") # 输出 解码错误: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte ``` 为了避免此类错误,可以在解码时指定错误处理策略,例如忽略或替换非法字符: ```python invalid_bytes = b'\xff' decoded = invalid_bytes.decode("utf-8", errors="replace") # 替换非法字符 print(decoded) # 输出
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值