搞清楚字符编码11-ANSI

最新推荐文章于 2025-04-01 11:49:25 发布
原创 最新推荐文章于 2025-04-01 11:49:25 发布 · 425 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#utf-8 #ANSI #字符编码

本文深入探讨了ANSI编码的概念，解释了其作为Windows系统本地编码的角色，并对比了万国码，阐述了操作系统如何指定和修改本地编码。
ANSI是什么
  • 我们经常可以看到ANSI这个东西，比如windows自带的记事本在保存文件时，有一个编码选项就是ANSI编码.
  • ANSI是windows系统下才有的概念.
  • 字符集编码可以分为本地编码和万国码
  • ANSI就表示本地编码.
  • 操作系统在出厂时ANSI默认指定了一个本地编码，后期我们可以手修改.

至此，字符编码的博客暂告一段落，其他知识以后在机会再补充.

一文带你弄懂C++中的ANSI、Unicode和UTF8三种字符编码及相互转换
dvlinker的技术专栏
10-31 2万+
本文详细介绍ANSI、Unicode和UTF8三种字符编码以及它们之间的相互转换，并给出了实际问题实例。
详解C++中的ANSI、Unicode和UTF8三种字符编码及相互转换
dvlinker的技术专栏
06-08 1万+
本文详细介绍ANSI、Unicode和UTF8三种字符编码以及它们之间的相互转换，并给出了实际问题实例。
字符编码-11
weixin_34026276的博客
03-03 225
字符集（character set） 字符集是用来表示语言符号的数字的集合 　　注意这只是数字（code point）,不涉及用什么方法来存储数字 我们常见的字符集 　　ASCII 字符集 　　Unicode 　　gb2312、gbk、gb18030 字符编码和解码 字符是以字节的方式存储和传输的 字符编码是指把字符串用字节流表示的方法 字符编码和解码 我们常见的字...
完美解决Win11文本编辑器默认使用ANSI编码
热门推荐
12-03 2万+
Windows11对文本编辑器Notepad程序进行升级，新增了很多功能，本来是好事，但偏偏每次用它打开的txt文本都是默认采用UTF-8编码来编辑和保存，对于经常使用BAT脚本处理工作的人来说简直就受不了，每次编辑完之后还得另存为ANSI编码，否则BAT脚本就无法正常运行，下面是一个完美的解决方案。
【解决：win11英文版系统 中文显示不正常问题】
xrinosvip的博客
04-01 2840
英文版系统，中文乱码
二维码图像编码原理(字符编码：ASCII、UTF-8)
guochaoHNU的博客
07-26 1万+
信息编码基本原理 我们日常甚或中
几种编码的对比：ASCII，Unicode，ANSI，UTF－8
lifeng5055的专栏
09-19 627
ASCII：用单字节表示，共有128个ASCII字符，最高位总为0 Unicode：用双字节表示，可表示65000个字符，以Unicode编码的文件包含一个文件头“FFFE”，彼此来表示该文件的编码格式为Unicode 当用Unicode编码来表示ASCII码字符时，高八位为00, 所以如果一个Unicode字符的高八位为00时，将其低八位按照ASCII编码解码；反之，则按非A
C#基础教程（十一）字符编码ASCII,Unicode 和 UTF-8
鱼骨头科技
08-16 6219
字符编码，这个概念虽然不需要具体深入去了解，经常默认选择一下，但仔细去研究一下，发现很有意思，看到一篇文章，感觉非常好，很值得推荐给各位。
字符编码转换时发生内存越界引发的摄像头切换失败问题的排查
dvlinker的技术专栏
11-09 1万+
字符编码转换时发生内存越界引发的摄像头切换失败问题的排查。
字符编号ASCII 和Unicode，与字符编码，utf8，gbk
FREEDOM
04-02 1493
总结 字符编号 ASCII 和Unicode类似。仅仅是给某个字一个唯一的编号，并没有规定怎么对字符编码。 ASCII 只用一个字节，因为发明比较早，只能标识256个字符，00000000-11111111，里面只给英文字母，和一些特殊字符如空格 进行了编号。 Unicode 是为了解决全世界的字符（unicode 同时兼容ASCII 的编号），给每个字符都有一个唯一的编号，比如，汉字“严”的unicode是十六进制数4E25，转换成二进制数足足有15位。 字符编码 UTF-8是Unicode.
修改WIN10控制台编码为UTF-8和恢复为ANSI简体中文
03-17
WIN10 cmd控制台本来的编码是ANSI的,所以要求执行的批处理脚本编码格式也是ANSI才行,要不就两边统一都改成UTF-8处理(作为一个程序员,一般我都会统一成UTF-8编码格式),下面就介绍如何统一改成UTF-8编码格式,和恢复为ANSI简体中文格式
让记事本默认以Unicode或UTF-8编码保存避免ANSI乱码的方法技巧
长安诗社社长@-梁瀚文- https://github.com/HevnChin https://gitee.com/HevnChin
10-19 3039
1. 打开记事本新建一个空白的文本文档，不输入任何文字，然后保存此文档，在“另存为”对话框中将编码由默认的 ANSI 修改为 Unicode 或 UTF-8，接着为文件取名，在此假设将新文档命名为 UNICODE.TXT。   2. 将 UNICODE.TXT 复制至隐含的系统文件夹 C:\Windows\ShellNew。   3. 打开注册表编辑器定位至： HKEY_CLASSES_R
Windows 记事本的 ANSI、Unicode、UTF-8 这三种编码模式有什么区别？
时不我待
07-18 1425
Windows 记事本的 ANSI、Unicode、UTF-8 这三种编码模式有什么区别？ Windows 的记事本默认存储文本文档编码是 ANSI，想问一下为了最大跨平台兼容性，应该采用哪种编码格式比较好？ 先来解释一下这三种编码的历史吧： ANSI：最早的时候计算机ASCII码只能表示256个符号（含控制符号），这个字符集表示英文字母足够，其中，我们键盘上可见的符号的编码范围
防坠安全带ANSI/ASSE Z359.11-2014法规及标准要求！
WX15135629064的博客
09-14 306
防坠安全带是一种防护装备，适合工人在高空作业时或在可能发生跌落的无防护边缘行走时穿着。防坠安全带设计用于包裹身体躯干，并将坠落力至少分布到大腿上部、骨盆、胸部和肩部。防坠安全带是固定物体与非固定物体之间的连接物，通常由非金属缆绳、金属缆索或织带和锁扣制成。防坠安全带可以是全身款（围着手臂、腿部和肩膀），也可以是半身款（围着腰部和肩部）。
windows下Unicode与ANSI的相互转换
行者无疆的专栏
05-11 2130
对于windows下的wchar, tchar以及其转换函数, 比较烦人! 不过没有办法, 骂完了还是得总结总结, 把学习到的东西写下来, 以备后用.      字符编码的知识可以从维基里获得，UTF-16也就是Unicode，到ANSI也就是通常的一字节英文字符，在转换的时候的标志是CP_ACP : CodePageAnsiCodePage     1  简单的不包括中文的widechar字
字符串比较 ： "11"和"4" 谁大呢？
师远鹏
12-17 2553
字符串比较 ： "11"和"4" 谁大呢？ 结果竟是"4"大 为什么呢？ 原因： 字符串比较只比较首字符  首字符相等比较第二个字符    以下类推​
Win11系统运行.bat文件乱码的解决方法
xitongzhijianet的博客
07-20 3120
有用户升级Win11之后，发现运行.bat文件时出现乱码的情况，这是什么情况？3、以记事本文件的方式打开bat批处理文件后，点击左上角的【文件】，在打开的下拉项中，选择【另存为】。2、选中出现问题的bat批处理文件，点击右键，在打开的菜单项中，选择【显示更多选项-编辑】。5、再次运行bat批处理文件，可以看到修改完编码之后，已经不会出现乱码的情况了。1、运行bat批处理文件的时候，只要输出中文，就会出现乱码。4、另存为窗口，编码选择【ANSI】，然后点击【保存】即可。...
万国码
最新发布
09-12
<think> 我们被要求介绍万国码（即Unicode）的相关信息。根据用户提供的引用内容，我们可以整理出关于Unicode（万国码）的以下要点： 1. **Unicode的目标**：设计用来表达任意语言的任意字符，实现跨语言、跨平台的文本处理。 2. **Unicode的编码方式**：最初设计为每个字符用2个字节（16位）表示，但后来扩展到了更大的范围（引用[1]和引用[4]）。 3. **Unicode的编码空间**： - 引用[4]提到，UCS4（一种理论编码）使用4个字节（32位）表示，但实际只使用了其中一部分（0组的17个平面）。 - 实际编码范围为：00000000 00000000 00000000 00000000 至 00000000 00010000 11111111 11111111（即0x000000到0x10FFFF）。 - 这17个平面（0号平面到16号平面）共有17×65536=1,114,112个码位，但实际只使用了其中的238,605个字符。 4. **存储编码**： - 引用[2]介绍了UTF-16：它是UCS4的一种实际存储编码，基本单元为2个字节。对于基本多文种平面（BMP，即0号平面）中的字符，用2个字节表示；对于其他平面（辅助平面）的字符，用4个字节（代理对）表示。 5. **Unicode与ANSI的区别**： - 引用[3]指出，ANSI编码（多字节字符集）在不同语言间不兼容，而Unicode（宽字节字符集）解决了这个问题，为所有字符提供唯一编码。 现在，我们将这些信息组织成结构化的回答，并生成相关问题。 ### 万国码（Unicode）介绍 万国码（Unicode）是一种国际字符编码标准，旨在统一表示世界上所有书写系统的字符，实现跨平台、跨语言的文本处理。下面从多个方面介绍Unicode： #### 1. Unicode的设计目标 Unicode的核心目标是解决传统字符编码（如ANSI）的局限性。传统编码在不同语言间互不兼容，同一编码值在不同编码体系中代表不同字符，导致国际交流混乱[^3]。Unicode为每个字符分配唯一的编码值（称为码点），无论平台、语言或程序如何，都能一致表示。 #### 2. Unicode的编码空间 Unicode的编码空间基于理论编码UCS4（使用4字节，32位），但实际只使用了部分空间： - **范围**：码点范围从`U+0000`到`U+10FFFF`（十六进制），对应二进制范围`00000000 00000000 00000000 00000000`至`00000000 00010000 11111111 11111111`[^4]。 - **平面划分**：整个空间划分为128个组（group），每个组有256个平面（plane），每个平面有256行（row），每行有256个码位（cell）。但Unicode仅使用第0组的前17个平面（平面0至16）[^4]： - **平面0（BMP）**：包含最常用的字符（如拉丁字母、汉字基本部分），码点范围`U+0000`至`U+FFFF`。 - **平面1-16**：包含历史文字、符号、表情符号等，码点范围`U+10000`至`U+10FFFF`。 - **总码位数**：17个平面 × 每平面65,536个码位 = 1,114,112个码位。截至当前版本，已分配约238,605个字符[^4]。 #### 3. Unicode的存储编码 Unicode定义了多种存储编码方案，以平衡存储效率和兼容性： - **UTF-16**： - 基本单元为2字节（16位）。 - BMP字符（平面0）直接存储为2字节。 - 辅助平面字符（平面1-16）使用4字节的“代理对”（surrogate pair）：高代理（`U+D800`–`U+DBFF`）和低代理（`U+DC00`–`U+DFFF`）组合表示[^2]。 - **UTF-8**： - 变长编码（1-4字节），兼容ASCII（ASCII字符用1字节表示）。 - 非ASCII字符使用多字节序列。 - **UTF-32**： - 固定4字节表示每个码点，简单但空间消耗大。 #### 4. Unicode的应用价值 - **消除乱码**：统一编码解决多语言混合文本的显示问题。 - **支持全球化**：操作系统（如Windows NT内核后）、编程语言（如Java、Python 3.x）内部均采用Unicode。 - **扩展性**：通过增补平面（如平面15-16为专用区）支持新字符[^4]。 #### 5. 示例说明 以汉字“正”为例： - Unicode码点：`U+6B63` - UTF-16编码：`6B63`（2字节） - UTF-8编码：`E6 AD A3`（3字节） ### 相关问题 1. Unicode与UTF-8、UTF-16、UTF-32之间有什么区别和联系？ 2. 如何计算一个字符在UTF-8编码下的字节长度？ 3. Unicode的代理对机制是如何工作的？ 4. 为什么Unicode码点最大只到`U+10FFFF`？ 5. 如何在编程中正确处理Unicode字符串？ [^1]: Unicode编码为表达任意语言的任意字符而设计，也称为统一码、标准万国码。Unicode 将世界上所有的文字用2个字节统一进行编码，为每个字符设定唯一的二进制编码，以满足跨语言、跨平台进行文本处理的要求。 [^2]: 搞清楚字符编码09-万国码[5]。这篇博客我们来介绍万国码实际存储编码中的utf-16与utf-32 utf-16是什么 utf-16是理论编码ucs4的一种实际存储编码 基本单元是2个字节 变长存储，存储BMP时长度是2个字节，存储的不是BMP时长度为4个字节。 [^3]: 【50】MFC入门到精通——多字节字符集（MBCS）与 宽字节字符集Unicode （统一码或万国码）。不同 ANSI 编码之间互不兼容，当信息在国际间交流时，无法将属于两种语言的文字，存储在同一段 ANSI 编码的文本中。一个很大的缺点是，同一个编码值，在不同的编码体系里代表着不同的字。这样就容易造成混乱。导致了unicode码的诞生。 [^4]: 搞清楚字符编码06-万国码[2]。这篇博客介绍理论编码ucs4 编码范围 ucs4共有4个字节，理论允许的编码范围为 00000000 00000000 00000000 00000000 至 11111111 11111111 11111111 11111111但最高位没有用，始终是0，所以实际的编码范围为 00000000 00000000 00000000 00000000 至 01111111 11111111 11111111 11111111。 </think> ### 万国码（Unicode）详解 万国码（Unicode）是一种国际字符编码标准，旨在统一表示世界上所有书写系统的字符。其核心设计理念是"一个字符，一个编码"，彻底解决了传统编码体系（如ANSI）在多语言环境下的兼容性问题[^3]。 #### 一、核心特性 1. **统一编码空间**： - 采用21位编码空间（实际使用$U+0000$到$U+10FFFF$） - 理论最大支持$2^{21} = 2,097,152$个字符 - 当前已编码字符约28万（截至Unicode 15.1）[^4] 2. **平面结构**： ```math \begin{array}{c|c} \text{平面编号} & \text{范围} \\ \hline \text{0: BMP} & U+0000 \sim U+FFFF \\ \text{1: SMP} & U+10000 \sim U+1FFFF \\ \text{2: SIP} & U+20000 \sim U+2FFFF \\ \vdots & \vdots \\ \text{16: PUA} & U+100000 \sim U+10FFFF \\ \end{array} ``` **BMP（基本多文种平面）** 包含最常用字符（如拉丁字母、汉字基本集），占用$65,536$个码位[^4]。 3. **汉字编码**： - CJK统一汉字区：$U+4E00 \sim U+9FFF$ - 扩展区：$U+20000 \sim U+2FFFF$ - 示例："正" → $U+6B63$， "启" → $U+542F$[^1] #### 二、编码实现方案 1. **UTF-32**： - 固定4字节存储 - 直接对应码点值 - 空间效率低：存储"A"(U+0041)需$\text{00 00 00 41}_{16}$ 2. **UTF-16**（Windows系统默认）： - BMP字符：2字节存储 - 辅助平面：4字节代理对（Surrogate Pair） $$ \text{代理对} = \underbrace{110110\ \textcolor{red}{xxxxxx}}_{\text{高代理}} + \underbrace{110111\ \textcolor{blue}{yyyyyy}}_{\text{低代理}} $$ 实际值：$\textcolor{red}{xxxxxx}\textcolor{blue}{yyyyyy} + \text{0x10000}$[^2] 3. **UTF-8**（互联网主流）： | 码点范围 | 字节序列 | 示例 "A" (U+0041) | |------------------|------------------------------|-------------------| | U+0000 ~ U+007F | 0xxxxxxx | 41 | | U+0080 ~ U+07FF | 110xxxxx 10yyyyyy | - | | U+0800 ~ U+FFFF | 1110xxxx 10yyyyyy 10zzzzzz | E6 AD A3 (正) | | U+10000+ | 11110xxx 10yyyyyy 10zzzzzz 10wwwwww | F0 A0 80 80 (𠀀) | #### 三、技术优势 1. **跨平台兼容**： - 解决ANSI编码"同值异字"问题（如0xA3在GBK为"£"，在Big5为"｣"）[^3] - 支持200多种书写系统统一处理 2. **扩展能力**： - 专用区（PUA）：$U+E000 \sim U+F8FF$ 供自定义字符 - 平面15-16保留用于特殊场景[^4] 3. **标准化组合**： - 组合字符机制：基字 + 变音符号 - 如 "é" = "e"(U+0065) + "◌́"(U+0301) #### 四、典型应用 ```python # Python Unicode处理示例 text = "正启函数数图" # 包含警告中的CJK字符 print(f"编码长度: {len(text.encode('utf-8'))}字节") print(f"码点序列: {[hex(ord(c)) for c in text]}") # 输出: # 编码长度: 18字节 # 码点序列: ['0x6b63', '0x542f', '0x51fd', '0x6570', '0x56fe'] ``` ### 相关问题 1. UTF-8编码如何实现ASCII兼容性？ 2. Unicode的规范化形式NFC和NFD有什么区别？ 3. 如何处理Unicode中的代理对（Surrogate Pair）？ 4. 为什么说Emoji表情推动了Unicode的持续扩展？ [^1]: Unicode编码为表达任意语言的任意字符而设计，也称为统一码、标准万国码。 [^2]: utf-16是理论编码ucs4的一种实际存储编码，基本单元是2个字节，变长存储。 [^3]: 不同ANSI编码互不兼容，导致Unicode诞生以实现跨语言文本处理。 [^4]: UCS4允许的编码范围为00000000 00000000 00000000 00000000 至00000000 00010000 11111111 11111111。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值