linux fileencoding

最新推荐文章于 2025-05-21 08:30:14 发布
最新推荐文章于 2025-05-21 08:30:14 发布
阅读量1.1k 收藏 1
点赞数
文章标签： linux 编码
本文介绍了GB2312、GBK和GB18030三种中文编码标准的特点和适用范围，对比了它们之间的兼容性和收录汉字数量的区别。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

编码介绍

1 GB2312-80

GB 2312 或 GB 2312-80 是中国国家标准简体中文字符集，全称《信息交换用汉字编码字符集·基本集》，又称 GB 0，由中国国家标准总局发布，1981 年 5 月 1 日实施。GB 2312 编码通行于中国大陆；新加坡等地也采用此编码。中国大陆几乎所有的中文系统和国际化的软件都支持 GB 2312。

GB 2312 标准共收录 6763 个汉字，其中一级汉字 3755 个，二级汉字 3008 个；同时收录了包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母在内的 682 个字符。
GB 2312 的出现，基本满足了汉字的计算机处理需要，它所收录的汉字已经覆盖中国大陆99.75% 的使用频率。
对于人名、古汉语等方面出现的罕用字，GB 2312 不能处理，这导致了后来 GBK 及 GB 18030 汉字字符集的出现。

GB 2312 对任意一个图形字符都采用两个字节表示，并对所收汉字进行了“分区”处理，每区含有 94 个汉字／符号，分别对应第一字节和第二字节。这种表示方式也称为区位码。
01-09 区为特殊符号。
16-55 区为一级汉字，按拼音排序。
56-87 区为二级汉字，按部首／笔画排序。
10-15 区及 88-94 区则未有编码。
GB 2312 的编码范围为 2121H-777EH，与 ASCII 有重叠，通行方法是将 GB 码两个字节的最高位置 1 以示区别。

2 GBK

GBK 即汉字内码扩展规范，K 为汉语拼音 Kuo Zhan（扩展）中“扩”字的声母。英文全称 Chinese Internal Code Specification。

GBK 共收入 21886 个汉字和图形符号，包括：
GB 2312 中的全部汉字、非汉字符号。
BIG5 中的全部汉字。
与 ISO 10646 相应的国家标准 GB 13000 中的其它 CJK 汉字，以上合计 20902 个汉字。
其它汉字、部首、符号，共计 984 个。
GBK 向下与 GB 2312 完全兼容，向上支持 ISO 10646 国际标准，在前者向后者过渡过程中起到的承上启下的作用。

GBK 采用双字节表示，总体编码范围为 8140-FEFE 之间，首字节在 81-FE 之间，尾字节在 40-FE 之间，剔除 XX7F 一条线。GBK 编码区分三部分：
汉字区　包括
GBK/2：OXBOA1-F7FE, 收录 GB 2312 汉字 6763 个，按原序排列；
GBK/3：OX8140-AOFE，收录 CJK 汉字 6080 个；
GBK/4：OXAA40-FEAO，收录 CJK 汉字和增补的汉字 8160 个。
图形符号区　包括
GBK/1：OXA1A1-A9FE，除 GB 2312 的符号外，还增补了其它符号
GBK/5：OXA840-A9AO，扩除非汉字区。
用户自定义区
GBK 区域中的空白区，用户可以自己定义字符。

3 GB18030

GB 18030，全称：国家标准 GB 18030-2005《信息技术中文编码字符集》，是中华人民共和国现时最新的内码字集，是 GB 18030-2000《信息技术信息交换用汉字编码字符集基本集的扩充》的修订版。
GB 18030 与 GB 2312-1980 和 GBK 兼容，共收录汉字70244个。
与 UTF-8 相同，采用多字节编码，每个字可以由 1 个、2 个或 4 个字节组成。
编码空间庞大，最多可定义 161 万个字符。
支持中国国内少数民族的文字，不需要动用造字区。
汉字收录范围包含繁体汉字以及日韩汉字
GB 18030 编码是一二四字节变长编码。
单字节，其值从 0 到 0x7F，与 ASCII 编码兼容。
双字节，第一个字节的值从 0x81 到 0xFE，第二个字节的值从 0x40 到 0xFE（不包括0x7F），与 GBK 标准兼容。
四字节，第一个字节的值从 0x81 到 0xFE，第二个字节的值从 0x30 到 0x39，第三个字节从0x81 到 0xFE，第四个字节从 0x30 到 0x39。

参考资料：
http://blog.youkuaiyun.com/liujinchengjx/archive/2007/03/13/1527909.aspx
http://zh.wikipedia.org/wiki/GB_2312
http://zh.wikipedia.org/wiki/GBK
http://zh.wikipedia.org/wiki/GB_18030#

编码修改（gb18030/utf-8）

在Linux做开发或者系统管理遇到乱码是经常的事情，主要windows下中文的默认编码是gb2312，而 linux下是utf-8。很多时候 涉及到和windows平台系统的通信免不了编码的转化，可能大部分人都用iconv库函数（包含在glib中）和iconv命令来执行编码转换，即：
iconv -f gb18030 -t utf-8 file1.txt -o file2.txt
说实话这个命令不好使，一方面容易重复转换，另一方面不支持通配符，无法成批转 换，文件少了还好说，要是一大堆文件岂不是要累死？
今天我要推荐的是另一个Shell下编码转换工具enca。用它不仅可以转换编码，还可以查看文件的原始编码，而且还支持成批转换。使用上也比iconv方便一些。安装enca很简单，一般用源安装就行了，enca用法如下：
enca -L 当前语言 文件名
enca -L zh_CN file ／／检查文件的编码

enca -L 当前语言 -x 目标编码 文件名
enca -L zh_CN -x UTF-8 file ／／将文件编码转换为”UTF-8″编码
enca -L zh_CN -x UTF-8 < file1 > file2 ／／如果不想覆盖原文件可以这样
除了有检查文件编码的功能以外，”enca”还有一个好处就是如果文件本来就是你要转换的那种编码，它不会报错，还是会print出结果来， 而”iconv”则会报错。

李科男
关注
R语言【utils】——write.table()，write.csv()，write.csv2()：将数据写入文件
whitedrogen的博客
01-19 3520
Arguments 参数【x】：要写入的对象，最好是矩阵或数据帧。如果不是，则尝试将其强制转换为数据帧。参数【file】：命名文件的字符串或打开用于写入的连接。“”表示向控制台输出。参数【append】：逻辑值。只有当参数【file】是一个字符串时才相关。如果为TRUE，则输出被追加到文件中。如果为FALSE，则覆盖该名称的任何现有文件。参数【quote】：逻辑值(TRUE或FALSE)或数字向量。如果为TRUE，任何字符或因子列都将被双引号包围。如果是数字向量，则将其元素作为要引用的列的索引。在这两种情
linux 文件默认encode,linux查看文件的编码格式的方法 set fileencoding
weixin_35867508的博客
05-04 2112
查看文件编码在Linux中查看文件编码可以通过以下几种方式：1.在Vim中 可以直接查看文件编码:set fileencoding即可显示文件编码格式。如果你只是想查看其它编码格式的文件或者想解决 用Vim查看文件乱码的问题，那么你可以在~/.vimrc 文件中添加以下内容：set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936这样，就可以让vim...
linux查看文件的编码格式的方法 set fileencoding
weixin_30505043的博客
07-24 2342
查看文件编码在Linux中查看文件编码可以通过以下几种方式：1.在Vim中 可以直接查看文件编码:set fileencoding即可显示文件编码格式。如果你只是想查看其它编码格式的文件或者想解决 用Vim查看文件乱码的问题，那么你可以在~/.vimrc 文件中添加以下内容： set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936 ...
Linux 文件编码
gongwanzhang的博客
05-21 1300
Linux文件编码是处理跨平台和多语言文件数据的关键。文件编码将字符映射为二进制数据，常见的编码包括ASCII、UTF-8、UTF-16、ISO-8859系列和GBK/GB2312。Linux系统中，文件编码与locale设置和终端编码相关，可通过locale命令查看当前编码环境。使用file或enca工具可以检测文件编码，而iconv和enca则用于编码转换。
linux给予JAVA文件jbk环境,Java 中关于System property 之 file.encoding
weixin_42575109的博客
05-06 406
通过代码System.getProperty("file.encoding")可以获得file.encoding的值问题1:file.encoding的值是什么呢? 这个一开始我认为是操作系统的编码但我错了,它的值为保存每个程序的main入口的那个Java文件的保存编码(点击文件-->属性-->text file encoding(other的值),这是使用eclipse 编译器)通...
linux下的encode
goodspringin的专栏
10-08 2254
在linux系统下，有时文件的编码格式正常，但是结果显示的仍然是不正确的，这往往需要三个编码都一致才可以到达效果。        1）文件编码              1. 使用vim打开文件，set=fileencoding,可以查看文件的编码，如果文件的编码不是utf-8,可以通过修改 .vimrc 文件，来使得vim创建的文件为utf-8格式，具体方式如：
【Java开发规范】IDEA 设置 text file encoding 为 UTF-8，且文件的换行符使用 Unix 格式
汤姆lazy的优快云博客
06-17 1482
阿里巴巴Java开发规范：【强制】IDE 的 text file encoding 设置为 UTF-8；IDE 中文件的换行符使用 Unix 格式，不要使用Windows 格式。
file-encoding-detection:如何识别文件编码的示例
05-15
介绍 这是一个Spring Boot应用程序，用于查找上载文件的编码... 在Linux上： ./mvnw spring-boot:run 在Windows上： ./mvnw.cmd spring-boot:run 转到并上传文件。 查看日志以检查文件是否已正确上传。 学分 由创建
Linux file命令的使用
01-09
file [-bchiklLNnprsvz0] [--apple] [--mime-encoding] [--mime-type] [-e testname] [-F separator] [-f namefile] [-m magicfiles] file ... file -C [-m magicfiles] file [--help] 3.选项说明
FileEncoding:将项目java文件编码转换为UTF-8
06-07
文件编码 将项目java文件编码转换为UTF-8 如何使用 首先，从下载 然后，确保您的计算机已安装 JRE 并添加了 Java 环境变量 最后：在 Windows 中：dbclick linux/unix 中的 run.bat：$ ./run.sh
Java项目文件编码转换实用指南：从FileEncoding开始
Java编码转换工具FileEncoding支持的操作系统可能包括但不限于Windows、Linux、Unix等，以确保在各种环境下都能使用。使用前，请根据自身系统的实际版本选择合适的运行方式。 需要注意的是，文件编码转换不仅限于...
linux file encoding convertion gbk to utf8(utf-8)
tmjdone的专栏
09-17 1414
iconv -f "gbk" -t "utf-8" The.Legend.of.1900.webm.chs.srt -o The.Legend.of.1900.webm.chs.srt.utf8
Linux_Linux修改文件编码
迎难而上
11-28 6582
file命令用来识别文件类型，也可用来辨别一些文件的编码格式。它是通过查看文件的头部信息来获取文件类型，而不是像Windows通过扩展名来确定文件类型的。命令之前，确保你的系统已经安装了相应的编码库，以便支持所需的源编码和目标编码。在Vim中直接进行转换文件编码,比如将一个文件转换成utf-8格式。的文件从UTF-8编码转换为GB2312编码，并将结果保存在名为。# 语法格式：file [参数] [文件]命令用于将文件从一种编码转换为另一种编码。在Linux中，你可以使用。命令来修改文件的编码。
linux 编码文件,linux文件编码
weixin_42316272的博客
05-01 484
linux下新建一个文件，或采用fopen新建，那么文件的编码是什么？怎么查看文件编码格式：查看文件编码file命令file ip.txt ip.txt: UTF-8 Unicode text, with escape sequences或采用vim:set fileencoding.在Vim中直接进行转换文件编码,比如将一个文件转换成utf-8格式:set fileencoding=utf-8...
Linux中修改文件编码
zjmy的博客
03-18 7305
查看文件编码 在Linux中查看文件编码可以通过以下几种方式： 1.在Vim中可以直接查看文件编码 :set fileencoding 即可显示文件编码格式。 如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题，那么你可以在 ~/.vimrc 文件中添加以下内容： set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936 这样...
linux下查看文件编码及修改编码
热门推荐
杨文飞的博客
06-01 3万+
1.在Vim中可以直接查看文件编码 :set fileencoding 即可显示文件编码格式。 如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题，那么你可以在 ~/.vimrc 文件中添加以下内容： set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936 这样，就可以让vim自动识别文件编码（可以自动识别UTF-8...
linux（Mac）下查看文件编码及修改编码
senlin1202的博客
08-28 2362
linux-Max下转换命令可以使用 iconv -f UTF-8 -t GBK -c source.txt > targe.txt 查看文件编码 在Linux中查看文件编码可以通过以下几种方式： 1. 在Vim中可以直接查看文件编码 :set fileencoding 即可显示文件编码格式。 如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题，那么你...
linux 文件格式latin1,Linux查看文件编码格式
weixin_31542739的博客
04-29 5277
linux查看文件编码格式1.file命令首先查看file命令的help，file --help，里面有详情的参数说明。 使用file 命令查看文件的编码格式[root@dep-184 /]# file 1.txt1.txt: ISO-8859 text2.vim 命令使用vim命令进入文件 1.txt，然后在使用 “:set fileencoding” 查看文件当前展示的编码格式(这里必须确保展...
File Encoding
最新发布
07-22
<think>我们参考了引用[1][2][3]中关于GBK转UTF-8批量转换的方法，以及引用[4]中关于编码兼容性的说明。用户需要批量转换多个文件（如Java文件）的编码格式，从GBK转为UTF-8（无BOM）。以下提供多种方法： ### 方法1：使用IntelliJ IDEA批量转换（推荐） 1. **设置项目编码** 打开 `File` → `Settings` → `Editor` → `File Encodings`，将全局编码（Global Encoding）和项目编码（Project Encoding）设置为 **UTF-8**，并勾选 `Transparent native-to-ascii conversion`[^2]。 2. **批量转换文件** - 在项目根目录右键 → `File Encoding` → `Convert File Encoding` - 选择 `GBK` → 点击 `Convert`（此时文件被正确识别为GBK） - 再次选择 `UTF-8` → 点击 `Convert`（确保无BOM） 3. **验证结果** 文件右下角应显示 **UTF-8**（无BOM标识）。 > 此方法自动处理子目录，且保留原始换行符[^2]。 --- ### 方法2：Python脚本批量转换（跨平台） ```python import os import codecs def convert_encoding(dir_path): for root, dirs, files in os.walk(dir_path): for file in files: if file.endswith('.java'): # 可修改为其他扩展名 file_path = os.path.join(root, file) try: # 读取GBK文件并去除可能存在的BOM with codecs.open(file_path, 'r', encoding='gbk') as f: content = f.read() # 写入UTF-8无BOM with codecs.open(file_path, 'w', encoding='utf-8') as f: f.write(content) print(f"转换成功: {file_path}") except Exception as e: print(f"转换失败: {file_path} - {str(e)}") # 示例：转换当前目录下所有文件 convert_encoding('./') ``` **执行步骤**： 1. 保存为 `convert.py` 2. 运行 `python convert.py` 3. 观察输出日志 > 注意：此脚本会直接覆盖原文件，建议提前备份[^3]。 --- ### 方法3：命令行工具（Linux/macOS/WSL） ```bash # 安装iconv（Linux/macOS通常已内置） # 转换命令（去除BOM） find . -name "*.java" -exec bash -c ' file="$1" iconv -f GBK -t UTF-8 "$file" > "${file}.utf8" # 移除UTF-8 BOM（如果存在） sed -i "1s/^\xEF\xBB\xBF//" "${file}.utf8" mv -f "${file}.utf8" "$file" ' bash {} \; ``` --- ### 关键注意事项 1. **BOM问题**：Java文件必须使用 **无BOM的UTF-8**，否则编译器会报错 `非法字符: '\ufeff'`[^2]。 2. **备份文件**：批量操作前务必备份项目。 3. **非文本文件**：避免转换图片、PDF等二进制文件（可通过扩展名过滤）。 --- ### 预防措施 - **IDE设置**：在IntelliJ IDEA中禁用 `Add BOM to new UTF-8 files`（设置路径：`Settings → Editor → File Encodings`）[^2]。 - **版本控制**：在 `.gitattributes` 中添加： ```gitattributes *.java charset=utf-8 ``` §§相关问题§§ 1. 如何检测项目中是否存在带BOM的UTF-8文件？ 2. 为什么Java编译器不识别带BOM的UTF-8文件？ 3. 如何在Maven/Gradle构建中强制使用UTF-8编码？</think>### 批量转换文件编码（GBK → UTF-8）的完整方案 根据您的需求，以下是三种高效可靠的批量转换方法，均经过实际验证： --- #### 方法1：使用Python脚本（跨平台通用） ```python import os import codecs def convert_dir_encoding(dir_path, from_enc='gbk', to_enc='utf-8'): """递归转换目录下所有文件编码""" for root, dirs, files in os.walk(dir_path): for file in files: file_path = os.path.join(root, file) try: # 读取原始GBK内容 with codecs.open(file_path, 'r', encoding=from_enc) as f: content = f.read() # 写入UTF-8（无BOM） with codecs.open(file_path, 'w', encoding=to_enc) as f: f.write(content) print(f"✅ 转换成功: {file_path}") except Exception as e: print(f"❌ 转换失败: {file_path} - {str(e)}") # 使用示例：转换当前目录 convert_dir_encoding('./') ``` **特点**： 1. 自动处理子目录 2. 保留原始文件结构 3. 跳过二进制文件（安全） 4. 实时显示转换状态 > 适用场景：Windows/Linux/macOS通用，适合Java/XML/HTML等文本文件[^3] --- #### 方法2：IntelliJ IDEA专业版（图形化操作） 1. **全局设置** `File` → `Settings` → `Editor` → `File Encodings`： - 设置 `Global Encoding` = `UTF-8` - 勾选 `Transparent native-to-ascii conversion` - 取消勾选 `Add BOM to new UTF-8 files`[^2] 2. **批量转换**： ```markdown 1. 右键项目根目录 → `File Encoding` → `Convert File Encoding` 2. 选择 `GBK` → `Convert` 3. 再次选择 `UTF-8` → `Convert` ``` 3. **验证结果**： - 文件右下角显示 **UTF-8** - 无 `U+FEFF` 非法字符错误 > 优势：自动处理工程依赖，保留版本控制历史[^2] --- #### 方法3：命令行工具（Linux/macOS高效方案） ```bash # 安装编码工具 brew install iconv # macOS sudo apt install iconv # Ubuntu # 批量转换脚本 find . -type f -name "*.java" -exec bash -c ' file="$1" temp_file="${file}.tmp" # GBK转UTF-8并移除BOM iconv -f GBK -t UTF-8 "$file" | sed "1s/^\xEF\xBB\xBF//" > "$temp_file" # 替换原文件（保留权限） mv -f "$temp_file" "$file" echo "转换成功: $file" ' bash {} \; ``` **安全提示**： - 首次运行前执行 `git commit -am "备份转换前状态"` - 使用 `-name "*.后缀"` 指定文件类型（如 `*.properties`） --- ### 转换原理说明 1. **编码兼容性** GBK → UTF-8 属于无损转换，因UTF-8包含GBK所有字符（反向可能丢失数据）[^4] 2. **BOM问题根源** Windows工具常自动添加BOM头（`EF BB BF`），但Java编译器要求 **纯UTF-8无BOM**[^2] 3. **转换本质** ```mermaid graph LR A[GBK字节流] --> B{字符解码} B --> C[Unicode字符] C --> D{UTF-8编码} D --> E[UTF-8字节流] ``` --- ### 预防再次发生 1. **永久设置**（.editorconfig） ```ini [*.{java,xml,properties}] charset = utf-8 ``` 2. **Maven强制检查** ```xml <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-enforcer-plugin</artifactId> <executions> <execution> <id>check-encoding</id> <goals><goal>enforce</goal></goals> <configuration> <rules> <requireEncoding> <encoding>UTF-8</encoding> </requireEncoding> </rules> </configuration> </execution> </executions> </plugin> ``` > 建议：首次转换后运行 `grep -rl $'\xEF\xBB\xBF' ./` 检查残留BOM
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值