用vim去除utf-8 BOM

去除UTF-8 BOM
最新推荐文章于 2024-09-02 12:28:21 发布
原创 最新推荐文章于 2024-09-02 12:28:21 发布 · 5.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何使用vim编辑器去除或保留UTF-8文件中的BOM(Byte Order Mark)。BOM标志通常出现在UTF-8编码文件的开头，对于一些程序可能会造成干扰。通过设置`:set nobomb`可以去除BOM，而`:set bomb`则用于保留。
file *
1:   UTF-8 Unicode text
2:   UTF-8 Unicode (with BOM) text

bom:UTF-8签名（UTF-8 signature）也叫做BOM（Byte Order Mark）

用vim去除utf-8 BOM


1.去掉utf-8 BOM

:set nobomb


2.保留utf-8 BOM

:set bomb
【linux】vim和vi使用
数字人生
02-22 1225
要选中内容进行剪切，先在命令模式下按 v 进入 Visual Mode，然后用 方向键 或 hjkl 选择文本，再按 d 进行剪切。要选中内容进行复制，先在命令模式下按 v 进入 Visual Mode，然后用方向键 或 hjkl 选择文本，再按 y 进行复制。与indent有关的配置，会自动缩进，从window复制代码时候，会造成多行乱缩进，去掉含有indent字符串的配置。"Ny （双引号 + 粘贴板号 + y）：复制到粘贴板N ，N 为粘贴板号。:set+空格+tab，可以看到有哪些set命令可用。
linux vim 去掉 bomb
zhaoyangjian724的专栏
07-09 1753
转换文件编码 在确保文件打开且无乱码后： " 设置文件编码为新编码 :set fileencoding=utf8 :w 新文件名 最后说说如何去掉或者加上bom，如果有vim那最好不过了，去掉命令： set encoding=utf-8 set nobomb 添加命令: set encoding=utf-8 set bomb
vim中去除BOM技巧
Nix Live
08-25 1710
命令模式下输入%s/^M$//g
CSV乱码 - UTF-8 Unicode (with BOM)
森伯416的博客
08-12 6052
Unicode 统一码，也叫万国码、单一码（Unicode）是计算机科学领域里的一项业界标准，包括字符集、编码方案等。Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。 如果把各种文字编码形容为各地的方言，那么Unicode就是世界各国合作开发的一种语言。 在这种语言环境下，不会再有语言的编码冲突，在同屏下，可以显示任何语言的内容，这就是Unicode的最大好处。 就是将世界上所有的文字用2个字节
编码格式
欲穷千里目，更上一层楼
10-21 1091
查看文件编码格式：$enca -L none test.txt或者$file test.txt格式转换：$iconv -f UTF-8 -t GB2312 test_int.cgi -o test_out.cgi特殊情况：$ file test.txt　　test.txt: UTF-8 Unicode (with BOM) textBOM是一个标签，在UTF-8编码格式的文件前多了两个字节，要去掉
用vim去掉utf-8 BOM
FuDesign2008的专栏
02-26 1207
'去掉utf-8 BOM :set nobomb '保留utf-8 BOM :set bomb
vim 去掉utf bom头
c692088846的专栏
01-17 795
1.去掉BOM标记：:set nobomb2.加上BOM标记：:set bomb3.查询当前UTF-8编码的文件是否有BOM标记：:set bomb?4.更高级一点的：:%!xxd “以16进制模式打开文件:%!xxd -r “将以16进制格式打开的文件返回文本模式编辑所以，先用第一个命令将文件以16进制打开，删除文件开头的EF BB BF，然后再用第二个命令返回文本模式。...
UTF-8和BOM的一些说明
weixin_30505043的博客
06-15 965
BOM的含义 　　BOM即Byte Order Mark字节序标记。BOM是为UTF-16和UTF-32准备的，用户标记字节序（byte order）。拿UTF-16来举例，其是以两个字节为编码单元，在解释一个UTF-16文本前，首先要弄清楚每个编码单元的字节序。例如收到一个“奎”的Unicode编码是594E，“乙”的Unicode编码是4E59。如果我们收到UTF-16字节流"59...
字符编码笔记汇总：ASCII、GBXXXX、Unicode、UTF-8等
程序猿成长室
09-16 4479
字符编码笔记汇总：ASCII、GBXXXX、Unicode、UTF-8等 版权声明：本文系个人经多处资料学习、吸收、整理而得，如需转载，请注明出处：作者名+链接。 内容说明：本系列内容大致包括基本概念(字符集、字符编码)、常用字符集和字符编码(ASCII、GB系列、UniCode等)、乱码原因及解决方案、Python内字符编码的相关处理。 （含大小端说明） 关键词：字符编码
PHP中遇到BOM、<feff>编码导致json_decode函数无法解析问题
10-25
4. 避免使用会自动添加BOM的编辑器：在Windows系统中，如果使用的是像记事本这样的编辑器，最好在保存文件时选择“不带格式的UTF-8”编码，而不是默认的“UTF-8”。这样可以防止自动添加BOM。 总结来说，遇到由BOM...
VIM去掉utf-8 bom头
陈万洲的专栏
11-16 1001
BOM头文件。
Vim - nobomb - 删除文件的BOM
胡争辉
08-27 4328
 Vim - nobomb - 删除文件的BOM *bomb* *nobomb*bomb boolean (default off) local to buffer {not in Vi} {only available when compiled with the |+multi_byte| feature} When writing a file a
生成UTF-8 Unicode (with BOM)的txt文档
sinat_23976137的博客
08-15 4676
背景：最近做仓库的条形码打印需求，需要把打印内容写入文本文档，window本身为UTF-8的文本，生成到linux服务器，file指令看了一下格式为ANSI,带中文的生成UTF-8，但是不带BOM，经过验证，斑马打印机对于不带BOM头的打印文件，打印会产生乱码。 于是，产生了要生成BOM的文本文档的需要。 什么是BOM？ 简单说就是文件开头的ef、bb、bf 用xxd指令看一下这个文件，可...
vim bom
super_ufo的笔记
08-17 1161
1.去掉BOM标记： :set nobomb 2.加上BOM标记： :set bomb 3.查询当前UTF-8编码的文件是否有BOM标记： :set bomb?
当心，vi编辑下的带bom头文件
weixin_45312167的博客
07-10 447
在情况比较紧急的情况下windows去ssh生产服务器linux系统并vi修改了一个生产上的文件，导致了一系列生产的问题，在此记录vi编辑下要注意的问题。 vi编辑一个文件保存后，默认是带bom头的， 如何查看是否带bom头 :set bomb? 去掉bom头 :set nobomb 增加bom头 :set bomb ...
用VIM设置UTF-8编码的BOM标记
weixin_30677475的博客
12-24 193
此篇接上篇，继续讨论如何用VIM来设置UTF-8编码的BOM标记。 1.去掉BOM标记： :set nobomb 2.加上BOM标记： :set bomb 3.查询当前UTF-8编码的文件是否有BOM标记： :set bomb? 4.更高级一点的： :%!xxd "以16进制模式打开文件:%!xxd -r "将以16进制格式打开的...
vs2015:/utf-8选项解决UTF-8 without BOM 源码中文输出乱码问题
热门推荐
10km的专栏
05-05 3万+
本来我已经参考网上关于C++中文输出乱码的文章解决了,如下面的代码输出前调用wcout.imbue设置locale,就可以正常输出中文了。 std::wcout.imbue(std::locale(std::locale(), "", LC_CTYPE)); std::wcout &lt;&lt; L"江清月近人" &lt;&lt; std::endl; 但是同样的方法换在另一个程序中还是...
UTF-8 with BOM 科普
zyckk4的博客
09-02 2168
UTF-8 with BOM 科普
python utf8 bom,在Python中将没有BOM的UTF-8转换为带有BOM的UTF-8
weixin_39609483的博客
12-29 671
Two questions here. I have a set of files which are usually UTF-8 with BOM. I'd like to convert them (ideally in place) to UTF-8 with no BOM. It seems like codecs.StreamRecoder(stream, encode, decode,...
[root@server ~]# cat -A test01.sh #!/bin/bash^M$ read -t 5 -p "M-eM-^FM-^YM-eM-^FM-^YM-gM-^\M-^K::" pwd001^M$ printf "\n"^M$ echo ${pwd001}^M$ [root@server ~]#
最新发布
07-05
从你执行 `cat -A test01.sh` 的输出来看，你的脚本中存在 **Windows 风格换行符（CRLF）** 和 **UTF-8 BOM 字符** 以及 **中文字符的乱码表示**。这些都会导致 Bash 解析失败。 --- ## 🔍 错误分析 以下是你的 `cat -A` 输出： ``` #!/bin/bash^M$ read -t 5 -p "M-eM-^FM-^YM-eM-^FM-^YM-gM-^\M-^K::" pwd001^M$ printf "\n"^M$ echo ${pwd001}^M$ ``` ### ✅ 存在的问题： 1. `^M` 表示 `\r`，即 Windows 换行符（CRLF），Bash 不喜欢这个。 2. `"M-eM-^FM-^Y..."` 是 UTF-8 编码中中文字符的错误显示方式，说明文件可能包含 **BOM 头** 或使用了不兼容的编码格式。 3. 整个脚本每行结尾都有 `$`，表示是 LF（`\n`），但前面还有 `^M`（`\r`），说明是 CRLF 混合格式。 --- ## ✅ 解决方案 ### ✅ 方法一：使用 `dos2unix` 清理 CRLF（推荐） ```bash dos2unix test01.sh ``` 如果你还没有安装 `dos2unix`，可以使用以下命令安装： - CentOS / RHEL： ```bash yum install dos2unix ``` - Ubuntu / Debian： ```bash apt-get install dos2unix ``` --- ### ✅ 方法二：使用 `sed` 删除所有 `\r` 字符 ```bash sed -i 's/\r//' test01.sh ``` --- ### ✅ 方法三：使用 `vim` 查看并转换文件格式 打开文件： ```bash vim test01.sh ``` 查看当前文件格式： ```vim :set fileformat? ``` 如果输出为 `fileformat=dos`，请运行： ```vim :set fileformat=unix :wq ``` --- ### ✅ 方法四：确保文件没有 BOM 使用 `xxd` 检查是否有 BOM： ```bash xxd test01.sh | head -n 1 ``` 如果看到类似： ``` 00000000: efbb bf23 212f 6269 6e2f 6261 7368 0d0a ...#!/bin/bash.. ``` 说明有 BOM（`ef bb bf`）。可以用 `sed` 去掉： ```bash sed -i '1s/^\xEF\xBB\xBF//' test01.sh ``` --- ## ✅ 最终修复后的脚本内容 ```bash #!/bin/bash read -t 5 -p "Input password: " pwd001 printf "\n" echo "You entered: ${pwd001}" ``` 保存后运行： ```bash chmod +x test01.sh ./test01.sh ``` 或者： ```bash bash test01.sh ``` --- ## 📌 总结 | 问题 | 原因 | 解决方法 | |------|------|-----------| | `^M`、`$'\r'` 报错 | Windows 换行符（CRLF） | 使用 `dos2unix` 或 `sed -i 's/\r//'` | | 中文字符乱码 | 文件编码含 BOM 或非 UTF-8 | 使用 `xxd` 检查并删除 BOM | | `': 不是有效的标识符` | 变量名被插入非法字符 | 使用 `cat -A` 检查并清理 | ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值