项目github地址:bitcarmanlee easy-algorithm-interview-and-practice
欢迎大家star,留言,一起学习进步
1.处理训练集的时候遇到的坑
最近在做文本分类的时候,处理训练集的时候遇到了有关\r \n的大坑,特意记录下来以防下次遇到类似的情况。
首先来看结论:
“\r"是回到行首,”\n"是到下一行。"\r"是回车,"\n"是换行。"\r"是使光标到行首,而"\n"是使光标下移一格。
我们经常使用的Enter键是两个加起来的结果,即"\r\n"。
2.测试
下面我们来看看测试的结果。
以python为例子:
print "123\r\nabc"
print "456\naaa"
print "789\rbbb"
可能大部分人认为的输出结果是:
123
abc
456
aaa
789
bbb
但是实际的输出结果是:
123
abc
456
aaa
bbb
为什么会这样呢?(来源部分摘自网络)
在计算机还没有出现之前,有一种叫做电传打字机(Teletype Model 33)的玩意,每秒钟可以打10个字符。但是它有一个问题,就是打完一行换行的时候,要用去0.2秒,正好可以打两个字符。要是在这0.2秒里面,又有新的字符传过来,那么这个字符将丢失。
于是,研制人员想了个办法解决这个问题,就是在每行后面加两个表示结束的字符。一个叫做“回车”,告诉打字机把打印头定位在左边界;另一个叫做“换行”,告诉打字机把纸向下移一行。
这就是“换行”和“回车”的来历,从它们的英语名字上也可以看出一二。
后来,计算机发明了,这两个概念也就被般到了计算机上。那时,存储器很贵,一些科学家认为在每行结尾加两个字符太浪费了,加一个就可以。于是,就出现了分歧。
Unix系统里,每行结尾只有“<换行>”,即“\n”;
Windows系统里面,每行结尾是“<换行><回车>”,即“\n\r”;
Mac系统里,每行结尾是“<回车>”。
一个直接后果是,Unix/Mac系统下的文件在Windows里打开的话,所有文字会变成一行;而Windows里的文件在Unix/Mac下打开的话,在每行的结尾可能会多出一个^M符号。
3.原因分析
\r 就是return 回到本行行首,这就会把这一行以前的输出覆盖掉,具体内部细节就像是输出缓冲区重新开始缓冲了一样。
而\n 是换行+回车,把光标先移到下一行,然后换到行首->也就是下一行的行首。
而文章开头提到的处理训练集的坑,就是因为文本中存在"\r"字符,结果某个文本"\r"之前的内容全部被覆盖掉,只剩下了最后一行。
尤其是在windows,linux/unix平台切换的时候,上面的问题一定要多加注意。