使用Shell去除BOM

最新推荐文章于 2022-12-01 15:18:34 发布
原创 最新推荐文章于 2022-12-01 15:18:34 发布 · 388 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#bom #脚本

发现有些文档在Shell下面处理的时候,第一个字节总是无法正常显示,出现乱码. 后来发现原来是BOM在作怪,BOM一共占用了3个字节. 通过UE可以在保存的时候,选择不保存BOM来去除.

但是我既然是在Linux下面做处理,为什么不直接通过Shell脚本来处理呢.查了资料之后发现下面的命令可以实现.

echo -ne '\xef\xbb\xbf123456' | awk '{if(NR==1)sub(/^\xef\xbb\xbf/,""); print}'


下图是去除BOM之后的效果
[img]http://dl.iteye.com/upload/attachment/0066/6158/469f741c-0027-3108-b74f-df3b94f10a40.gif[/img]

-ne是确保可以打印出16进制
\xef\xbb\xbf是UTF8 BOM的16进制表示
awk 后面命令意思就是,如果第一行是以UTF8 的BOM开头,则去除

BOM的详细解释
http://www.cnblogs.com/chengmo/archive/2010/10/30/1864004.html
PHP批量去除Bom头的方法
liuruiaaa的博客
03-13 802
PHP批量去除Bom头的方法
Python 去掉BOM
Criss@陈磊
07-30 1566
Python 去掉BOM BOM的全程是Byte Order Mark（定义字节顺序）。我们开发测试代码的时候，我们既希望它能在windows上运行，也希望它能在Linux上运行，也就是系统无关，那么在有些Windows系统上的文件中存在了BOM，这样在Linux上读取的时候就会出现读取问题，因此我们需要兼容去掉BOM的代码。 好好说说BOM BOM的定义可以参考Byte order mark,具体就不在这里说了，感兴趣自己去看一下，但是在网页中使用带BOM的utf8会导致很多Browser显示乱码。对
使用shell命令去除文件中的BOM
Tango的专栏
12-01 1861
由于使用一些编辑器会导致文件中有BOM，在Linux下使用VIM可以看到这样的标签，查看其字节组成可以找出其16进制表示为EF BB BF。可以使用bash命令来去除BOM：       grep -r -I -l $'^\xEF\xBB\xBF' . | xargs sed -i 's/^\xEF\xBB\xBF//g' 这个命令将从当前名录开始递归检索，遇到 EF BB BF 会将
shell 去除utf8文件中bom头的方法
hsyyff的博客
11-08 558
shell 去除utf8文件中bom头的方法
一个批量移除BOM头的bash脚本
weixin_33970449的博客
09-01 287
有时候我们的文件可能不需要BOM头，例如：我们公司的SVN服务器提供的代码都UTF8编码保存（不能有BOM头）否则代码提交不上去。 文件很多的时候就需要批量操作。   脚本使用方法：remove-bom.sh filePath|dirPath 参数可传文件路径或目录路径。具体代码如下： #!/usr/bin/env bash # @author frank # @email ...
linux批量去除 utf-8 bom
name327的专栏
11-26 357
#!/bin/bash cat fff.txt | while read line do echo $line vim +":set nobomb" +":set fileencoding=utf8" +":wq" $line < /dev/tty done
UTF-8 BOM批量检测与处理工具集，支持子目录扫描与编码转换
1. 使用“BOM检测.exe”工具，指定项目路径并检测子目录； 2. 将检测结果导出到新目录（如D盘某目录）； 3. 使用“GB2UTF81.exe”批量清除BOM头； 4. 将处理后的文件复制回原项目目录，覆盖原文件。 建议进一步优化...
BOM字符解析与处理技术详解
比如，一个在Windows上用记事本保存的UTF-8 CSV文件上传至Linux服务器进行处理时，shell脚本或awk/grep等命令行工具可能无法正确识别第一行字段名，原因正是BOM被当作普通字符对待。因此，在进行跨平台文本传输时，...
Hudson集成SVN与Maven构建及BOM处理工具
虽然大多数现代程序能正确识别带 BOM 的 UTF-8 文件，但部分工具（尤其是 Linux 下的 shell 脚本、Java 编译器、JSON 解析器等）可能会因 BOM 导致解析错误或异常。例如，在 Maven 构建过程中，若 `pom.xml` 文件...
C#UTF-8 BOM 转 UTF-8
最新发布
10-21
我们参考了用户提供的3个引用，其中引用[1]介绍了在Linux环境下使用shell脚本转换BOM头的方法，引用[2]和引用[3]则分别用C#代码演示了去除BOM头和转换编码的方法。 用户需求：将C#中带UTF-8 BOM的编码转换为UTF-8...
有些命令
cm_chenmin的专栏
10-14 619
一些杂琐的东西，记录一下，以后可能会用得上，另外以后遇到可以记录的可以追加在这里 查找进程内最耗费CPU的线程： ps -Lfp pid #列出进程内所有线程 -L threads -f 所有full -p by process id ps -mp pid -o THREAD,tid,time top -Hp pid #找出进程内最耗CPU线程ID printf "%x\n" ti
Linux怎么样修改文件编码,Linux下批量修改文件编码
weixin_32816563的博客
04-28 1902
Linux下批量修改文件编码假设需要将所有ipaddr目录下的php文件，编码从gb2312转到utf8cdipaddrfind./-typef-name"*.php"|whilereadline;doecho$lineiconv-fGB2312-tUTF-8$line>${line}.utf8mv$line${line}.gb2312mv${line}...
Linux下查找包含BOM头的文件和清除BOM头命令
cbbbc
11-16 3499
查找包含BOM头的文件，命令如下： 点击(此处)折叠或打开 grep -r -I -l $'^\xEF\xBB\xBF' ./ \xef\xbb\xbf是UTF8 BOM的16进制表示  这个命令会把当前目录及所有子目录下的BOM头删除掉。 点击(此处)折叠或打开 find . -type f -exec sed -i 's/\xEF\xBB
linux命令echo详解,Linux系统中echo命令的参数及用法详解
weixin_29474859的博客
04-29 6010
Linux系统中echo命令主要是显示文字的功能。下面由学习啦小编为大家整理了Linux系统中echo命令的参数及用法详解的相关知识，希望对大家有帮助!Linux系统中echo命令的参数及用法详解：参数说明功能说明：显示文字。语 　 法：echo [-ne][字符串] / echo [–help][–version]补充说明：echo会将输入的字符串送往标准输出。输出的字符串间以空白字符隔开, 并...
【Linux命令】echo -ne（不换行，文本中\t等生效）
叮当猫的喵i
12-01 2360
表示 不自动换行，文本中的特殊\ 生效。
linux下查找包含BOM头的文件和清除BOM头命令
iwangchengyi的专栏
04-17 319
http://blog.sina.com.cn/s/blog_49f914ab0101eyjj.html     查找包含BOM头的文件，命令如下：   grep -r -I -l $'^\xEF\xBB\xBF' ./     这条命令会查找当前目录及子目录下所有包含BOM头的文件，并把文件名在屏幕上输出。     但是，删除BOM头，网上找到的命令大多不能用，比较常见...
批量将文件转换为UTF-8无BOM格式
weixin_30915951的博客
04-19 1623
最近有一个项目需要迁移，要把文件全部转换成utf8格式的，本来想用python，后来听说PowerShell很是强大，就试着用了一下，果然好用啊！ $list = Get-ChildItem .\ -recurse *.java|%{$_.FullName} $Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding($False) for...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值