UTF-8 BOM填坑

最新推荐文章于 2025-07-31 15:43:17 发布
原创 最新推荐文章于 2025-07-31 15:43:17 发布 · 739 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

最近在负责公司的运维工作，公司服务器是在LInux上部署的，需要在Jenkins发布项目。最近的迭代发布时，在Jenkins上构建项目遇到其中一个项目启动报错，报错信息如下：

[ERROR] COMPILATION ERROR : 
[INFO] -------------------------------------------------------------
[ERROR] /root/.hudson/jobs/sv2-common-web/workspace/src/main/java/sv2/common/web/sso/interceptor/SsoLoginInterceptor.java:[1,0] error: illegal character: '\ufeff'
[ERROR] /root/.hudson/jobs/sv2-common-web/workspace/src/main/java/sv2/common/web/sso/interceptor/SsoLoginInterceptor.java:[1,9] error: class, interface, or enum expected

其中的一个Java文件编译报，报错原因是：illegal character: '\ufeff'

丢给百度之后，原来是UTF-8和UTF-8 BOM 之间的爱恨纠葛。当时在用Windows自带记事本在改动这个文件的时候，还特别注意了一下，另存为UTF-8，结果还是被坑了，一番百度后，结论：还是少触碰这个UTF-8 BOM，不知道啥时候就坑你一下。

解决方法：因为Windows自带的记事本，在存为UTF-8时，其实是存为UTF-8 BOM格式的，所以还是建议用IDE编辑文件，并且注意IDE的编码，或者网上推荐是用Notepad++进行编码更改，都可以解决这个问题。解决完文件编码问题，再次发布到服务器就没问题了。

Qt开发经验总结
草上爬的博客
12-02 1万+
增加了很多轮子，同时原有模块拆分的也更细致，估计为了方便拓展个管理。把一些过度封装的东西移除了（比如同样的功能有多个函数），保证了只有一个函数执行该功能。把一些Qt5中兼容Qt4的方法废弃了，必须用Qt5中对应的新的函数。跟随时代脚步，增加了不少新特性以满足日益增长的客户需求。对某些模块和类型及处理进行了革命性的重写，运行效率提高不少。有参数类型的变化，比如 long * 到 qintptr * 等，更加适应后续的拓展以及同时对32 64位不同系统的兼容。
git 修改上传文件编码为utf-8-bom
04-09
当上传文件存在中文时，修改上传文件编码为utf-8-bom
关于utf-8的BOM问题
ChasingdreamLY的博客
07-13 2247
1. 什么是BOM头    在utf-8编码文件中BOM在文件头部，占用三个字节，用来标识该文件属于utf-8编码，现在已经有很多软件识别BOM头，但还是有些不能识别BOM头，比如PHP就不能识别BOM头，这也就是用记事本编辑utf-8编码的PHP文件后，就会报错的原因。 2. 包含BOM头文件的产生    在windows环境下，用记事本打开任何一个文本文件，另存为utf-8格式后，这样文件就自...
去除UTF-8文件中的BOM头：方法与技巧
最新发布
weixin_35671843的博客
07-31 813
在处理文本文件时，字节顺序标记（Byte Order Mark，简称BOM）是一个不可忽视的组成部分。BOM是位于文本文件开头的一组特定字节序列，用于标识该文件所使用的字符编码。例如，在UTF-8编码中，BOM由三个字节（EF BB BF）组成，而在UTF-16和UTF-32编码中，BOM则分别由两个或四个字节组成。BOM头不仅仅是一个简单的标识符，它还在数据交换和文件处理中扮演着至关重要的角色。对于文本编辑器和阅读器来说，BOM头的识别可以确保字符编码的正确读取，避免乱码现象的发生。
UTF-8和BOM的一些说明
weixin_30505043的博客
06-15 909
BOM的含义 　　BOM即Byte Order Mark字节序标记。BOM是为UTF-16和UTF-32准备的，用户标记字节序（byte order）。拿UTF-16来举例，其是以两个字节为编码单元，在解释一个UTF-16文本前，首先要弄清楚每个编码单元的字节序。例如收到一个“奎”的Unicode编码是594E，“乙”的Unicode编码是4E59。如果我们收到UTF-16字节流"59...
UTF-8的BOM问题
走向程序员的一条道
01-13 1030
由于工作原因，最近碰到了java在拷贝文件时，显示时中文乱码，经查证后，确定是jdk的bug. 即在使用UTF-8格式拷贝xml文件时，写入文件留有UTF-8的bom信息。 以下是搜索到的相关信息，以备后用。 BOM——Byte Order Mark，就是字节序标记在UCS 编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符，它的编码是FEFF。而FFF...
关于UTF-8的BOM
skila
08-01 1110
。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
小程序开发填坑《十八》安卓下不解析json
03-29
问题描述： 安卓下执行request接口，服务端返回的json ，无法解析， typeof 为 string  ... charset=utf-8'); exit(json_encode($data)); 参考原因：android 下调用request 的时候，自动加上了 bom头，去掉就好了
java “错误：编码GBK 的不可映射字符”
Ariel_欢
05-24 2万+
前言 小编最近在写javaDemo时，使用的是文本文档，后缀名为.java的形式，代码中因为有中文以及特殊符号存在，导致DOS编码后出现错误：“编码GBK 的不可映射字符”。 javaDemo代码： /* * 运算符之一：算术运算符 * + - * / % (前)++ (后)++ （前）-- （后）-- +（连接符） */ class Test { public static void main(String[] args) { //除号：/ int
ftp客服端实现自动更新文件（带更新完自动启动功能）-python
tqlisno1的博客
10-10 2343
ftp客服端实现自动更新文件（带自动启动功能并封装为带配置文件的工具）-python前言一、项目环境和结构二、使用步骤1.引入库2.读入数据总结 前言 由于工位机不可能做到实时看守，当更新程序的时候我们还得手动去工位机上安装程序并运行，实属麻烦，因此笔者就研究了一下ftp自动更新并启动程序，最后封装为带一个配置文件的exe，所有人都可以使用的工具。 一、项目环境和结构 环境 python3.7_32位 （anaconda实现） 本地ftp服务端 结构 John Luke 二、使用步骤 1.引入
字符集与字符编码
u014023993的专栏
01-29 2633
目录 1.  概述 1.1 基本概念 1.2 映射关系 2.  ASCII字符集及编码 3.  GBXXXX字符集及编码 3.1 GB2312 3.2 GBK 3.3 GB 18030 3.4 代码页 4.  Big5字符集&编码 5.  Unicode字符集 6.  UTF编码 6.1. UTF-32编码 6.2. UTF-16编码 6.3. UTF-8编码...
可恶的UTF8 BOM
tfzh的学习记录
08-12 408
昨天APP里突然开始涌入大量机器人账号，滥发消息，本来应该负责用户模块的同事加个规则，屏蔽掉或者疯掉这些账号，但该同事周末当然是不上班的，我又没有权限，只好写个脚本检测，然后封号，其中获取用户信息的API返回的json数据，decode显示结果是null，error码是4，语法错误，但是仔细校验json格式，也是正常的，然后打印字节长度，才发现多出来3个字节，原来是可恶的BOM,截掉前面的3个字节...
UTF-8的BOM之争
weixin_33802505的博客
03-30 456
2019独角兽企业重金招聘Python工程师标准>>> ...
UTF-8 with BOM
qq_43618136的博客
02-20 673
UTF-8 with BOM 在utf-8编码文件中BOM在文件头部，占用三个字节，用来标识该文件属于utf-8编码，现在已经有很多编程语言文件和软件能识别BOM头，但还是有些不能识别BOM头部，比如PHP就不能识别BOM头部。 容易产生报错的情况 用记事本编辑utf-8编码的PHP文件后，会报错，因为在windows环境下，用记事本打开任何一个文本文件，另存为utf-8格式后，这样文件就自动被加...
UTF-8的BOM是什么意思
热门推荐
月光秦城
06-11 3万+
BOM：byte order mark，定义字节顺序，因为网络传输中分为两种，大头和小头。uft-8不需要bom表明字节顺序，但可以用BOM来表示编码方式，windows就是采用bom来标记文本文件的编码方式的。 bom是为utf-16和utf-32准备的，用于标记字节顺序。微软在utf-8中使用bom是因为这样可以把UTF-8和ASCII等编码区分开来，但这样的文件在windows之外的操作系...
UTF-8与UTF-8 BOM
kyle1314608的博客
06-26 274
在我们通常使用的windows系统中，我发现了一个有趣的现象。我新建一个空的文本文档，点击文件-另存为-编码选择UTF-8，然后保存。此时这个文件明明是空的，却占了3字节大小。原因在于：此时保存的编码方式自动会变为UTF-8 BOM 一、一个汉字在不同的编码方式中占多少字节？ 1.在UTF-8中，一个汉字占3个字节（一个字符占一个字节） 2.在ASCII码中，一个汉字占2个字节（一...
java utf 8 bom_Java读带有BOM的UTF-8文件乱码原因及解决方法
weixin_42415451的博客
02-12 550
转自：http://daimojingdeyu.iteye.com/blog/397661最近在处理文件时发现了同样类型的文件使用的编码可能是不同的。所以想将文件的格式统一一下(因为UTF-8的通用性，决定往UTF-8统一)，遇见的第一个问题是：如何查看现有文件的编码方式。上网找了一下，找到几篇比较好文章，这里就不转载啦把链接搞过来。文件编码问题集锦字符串编码(charset,encoding，d...
UTF-8 with BOM是什么意思
阿K_ay的专栏
05-02 1万+
UTF-8 BOM又叫UTF-8 签名。 其实UTF-8 的BOM对UFT-8没有作用,是为了支援UTF-16,UTF-32才加上的BOM,BOM签名的意思就是告诉编辑器当前文件采用何种编码,方便编辑器识别,但是BOM虽然在编辑器中不显示,但是会产生输出,就像多了一个空行,
C/C++报错——关于utf-8 BOM的问题
aRooooooba的博客
11-06 1742
在一个Qt项目整合的过程中，出现了如下报错： warning: C4819: 该文件包含不能在当前代码页(936)中表示的字符。请将该文件保存为 Unicode 格式以防止数据丢失 error: C2001: 常量中有换行符 经过检查，发现所有文件编码都没有任何问题，都是utf-8编码。但可能是因为组里有人用的是独立的Qt，有人用的VS版Qt，二者编码有细微的差别。 经过调查，我们发现VS...
UTF-8he UTF-8 BOM区别
02-27
<think>嗯，用户问的是UTF-8和UTF-8 BOM的区别。我需要先回忆一下这两种编码方式的基本概念。首先，UTF-8应该是一种通用的字符编码，支持各种语言，而且它是可变长度的，对吧？而BOM，全称是字节顺序标记，通常用来标识文本的字节序，不过我记得在UTF-8中，字节序其实并不影响，因为UTF-8的字节顺序是固定的。 那UTF-8 BOM到底是怎么回事呢？好像有些系统或程序在保存UTF-8文件时会在文件开头加上BOM，也就是三个字节的EF BB BF。虽然BOM在UTF-16或UTF-32中用于确定字节顺序，但在UTF-8里可能更多是作为标识文件编码的标志。但这样做可能会引起问题，比如有些软件无法正确识别BOM，导致开头出现乱码或者解析错误。 接下来要整理它们的区别。首先是BOM的存在与否，UTF-8不带BOM，而UTF-8 BOM则在文件开头有三个字节的标记。然后是兼容性问题，有些旧系统或工具可能不支持BOM，比如PHP在处理文件时如果开头有BOM可能会报错。另外，跨平台处理时，比如Linux和Windows之间的文件交换，BOM可能导致问题。还有应用场景，比如Web开发中通常不建议使用BOM，而某些Windows程序可能需要BOM来正确识别编码。 需要注意的点是，虽然BOM可以帮助识别编码，但现代很多环境和工具已经不需要它了。反而可能因为BOM的存在引发问题，比如脚本文件执行时报错，或者JSON解析失败。要提醒用户根据具体使用场景选择是否添加BOM，比如在Windows的文本文件中有时需要，而在Web开发中应避免。 可能需要举例说明，比如用记事本保存UTF-8时会自动添加BOM，而其他编辑器如Notepad++可以选择是否添加。还要注意不同编程语言对BOM的处理方式，比如Python在读取带有BOM的文件时需要指定编码方式，否则可能出错。 总结的时候要分点明确，用对比的方式列出区别，再给出使用建议，这样用户更容易理解。另外，要使用用户能理解的语言，避免技术术语过多，必要时进行解释。检查是否有遗漏点，比如文件大小的影响，虽然三个字节影响不大，但在某些情况下可能需要注意。最后确保回答结构清晰，步骤合理，符合用户的需求。</think>UTF-8 和 UTF-8 BOM 的区别主要体现在文件编码的标记方式及兼容性上，以下是具体对比： --- ### **1. BOM 标记的存在** - **UTF-8（无 BOM）** 标准 UTF-8 编码不包含任何字节顺序标记（Byte Order Mark, BOM）。文件直接以字符的 UTF-8 字节流开头。 *例如*：`你好` 的 UTF-8 编码是 `E4 BD A0 E5 A5 BD`（无开头标记）。 - **UTF-8 BOM** 在文件开头添加 3 字节的 BOM 标记 `EF BB BF`，用于标识文件为 UTF-8 编码。 *例如*：`你好` 的 UTF-8 BOM 编码是 `EF BB BF E4 BD A0 E5 A5 BD`。 --- ### **2. 兼容性问题** - **UTF-8（无 BOM）** ✅ 广泛兼容，是 Web 开发、Linux/Unix 系统的默认选择。 ✅ 无额外标记，避免解析冲突（如 PHP 脚本开头的 BOM 可能导致 HTTP 头错误）。 - **UTF-8 BOM** ⚠️ 部分旧系统或工具无法识别 BOM，可能导致以下问题： - 文件开头显示乱码（如 ``）。 - 脚本执行错误（如 Python 报错 `SyntaxError: encoding problem`）。 - JSON 解析失败（BOM 违反 RFC 标准）。 --- ### **3. 典型应用场景** | **场景** | **推荐编码** | **原因** | |------------------------|------------------|-----------------------------------| | Web 开发（HTML/CSS/JS）| UTF-8（无 BOM） | 避免浏览器解析冲突 | | Windows 文本文件 | UTF-8 BOM | 帮助记事本等工具正确识别编码 | | 跨平台开发（如 Python）| UTF-8（无 BOM） | 避免解释器报错 | --- ### **4. 如何选择？** - **使用 UTF-8 BOM 的情况** - 需兼容旧版 Windows 软件（如记事本）。 - 文件需要明确标识编码（但现代编辑器已支持自动检测）。 - **使用 UTF-8（无 BOM）的情况** - 开发 Web 应用或 API。 - 编写脚本或配置文件。 - 确保跨平台一致性（Linux/macOS/Windows）。 --- ### **示例对比** ```plaintext # UTF-8（无 BOM） 48 65 6C 6C 6F → "Hello" # UTF-8 BOM EF BB BF 48 65 6C 6C 6F → "Hello"（带 BOM 标记） ``` --- ### **注意事项** - 修改文件编码时，需通过编辑器明确选择是否添加 BOM（如 Notepad++ 的 `Encoding > UTF-8` vs `UTF-8-BOM`）。 - 编程中建议通过代码声明编码（如 Python 的 `# -*- coding: utf-8 -*-`），而非依赖 BOM。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值