转化windows和mac电脑文件时的各种神坑--如何去掉windows文本的多余的\r回车符(^M)

车水洒

于 2018-04-10 01:55:35 发布

阅读量2.9k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：文本分析

本文链接：https://blog.youkuaiyun.com/susannusas/article/details/79875209

在Linux/Mac系统中，处理来自Windows的文本文件时，经常会遇到^M符号（回车符问题）。文章介绍了如何识别和解决这个常见问题，包括使用VIM、正则表达式、sed、tr命令以及dos2unix工具。同时，文中提到了在使用过程中遇到的一些坑，如在VIM中输入^M的特殊方法、dos2unix安装及调用问题，以及批量转换文件的技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1。原因
在Linux中，文本文件用”/n”表示回车换行，而Windows用”/r/n”表示回车换行。所以在Linux中使用Windows的文本文件常常会出现错误。
mac 或者在linux下，用VIM打开一些windows下编辑过的文本文件。每行结尾都会有一个^M符号，这是因为 DOS下的编辑器和Linux编辑器对文件行末的回车符处理不一致，
对于回车符的定义：
windows：0D0A
unix\linux: 0A
MAC: 0D
检测是否出现这个问题可以
发现是因为csv文件单个item内有\r，即回车符

测试回车符

import pandas as pd
a = "\r\r 文本数据" \
    "\r\r 测试"
d = {
  
  'nid':[100], 'doc':[a]}
df = pd.DataFrame(data=d, columns=('nid', 'doc'))
df.to_csv('p.txt', index=False)
df1 = pd.read_csv('p.txt')