sed不能删除特定行字符开头的行

解决特殊字符干扰sed命令问题
本文记录了解决使用sed命令删除特定行时遇到的问题,特别是当行首出现特殊字符<U+FEFF>导致命令失效的情况,并探讨了这一字符作为文件编码标记的作用。
部署运行你感兴趣的模型镜像

问题如题,今天处理以文本文件时想删除以“T\t”开头的行,于是使用如下命令:

$sed '/^T\t/d' file > file.output

结果如下:


发现第一行虽以T\t开头,却没有被删掉,自己估计是第一行存在隐藏字符,遂用vi打开该原数据文件,使用set list查看隐藏字符,结果如下:


未发现特殊情况,在网上搜索解决方案未果,请教师兄,得解答:

$less file

发现第一行开头有<U+FEFF>

在网上搜索解释如下:

资源文件生成器 (Resgen.exe) 在默认情况下使用 UTF-8 编码来处理文件。若要让 Resgen.exe 识别使用 UTF-16 编码的文件,必须在该文件的开头包含 Unicode 字节顺序标记 (U+FEFF)。

此标记应为某程序添加的文件编码标记。

耗时半日解决此问题,留此记录,以防忘记。


您可能感兴趣的与本文相关的镜像

GPT-SoVITS

GPT-SoVITS

AI应用

GPT-SoVITS 是一个开源的文本到语音(TTS)和语音转换模型,它结合了 GPT 的生成能力和 SoVITS 的语音转换技术。该项目以其强大的声音克隆能力而闻名,仅需少量语音样本(如5秒)即可实现高质量的即时语音合成,也可通过更长的音频(如1分钟)进行微调以获得更逼真的效果

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值