删除 linux <feff>

最新推荐文章于 2021-05-13 11:09:04 发布

weixin_33895016

最新推荐文章于 2021-05-13 11:09:04 发布

阅读量641

点赞数

CC 4.0 BY-SA版权

文章标签：开发工具 python

原文链接：https://my.oschina.net/u/264186/blog/602088

本文介绍如何在Linux环境中处理包含BOM(Byte Order Mark)的UTF-8文件及去除文本文件中的^M字符。提供了具体的shell脚本示例及使用sed、grep等命令的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

linux下处理windows utf8文件，发现vim头会多一个<feff>

1. linux vim 中的<feff>

<feff>被称作BOM(Byte Order Mark)的不可见字符，是Unicode用来标识内部编码的排列方式的，在UTF-16、UTF-32编码里它是必需的，而在UTF-8>里是可选的

linux下删除<feff>: grep -I -r -l $'\xEF\xBB\xBF' file | |xargs sed -i 's/\xEF\xBB\xBF//'

自己项目中批量删除文件：

#!/bin/sh

filelist=$(ls)
echo "all file"
for file in $filelist
do
        echo $file
    #if [ -d $file ]
    #then
        #tar -cf $file.tar $file
    grep -I -r -l $'\xEF\xBB\xBF'  $file | xargs sed  -i  's/\xEF\xBB\xBF//'
                #echo $file
    #fi
done

2. linux vim 中的^M

在Linux下使用vi来查看一些在Windows下创建的文本文件，有时会发现在行尾有一些“^M”

去掉^M

1> dos2unix file

2> sed -i "s=^M==g" file

3> vim打开时候用 :%s/^M//g

转载于:https://my.oschina.net/u/264186/blog/602088