在 nlp任务中都需要用到大容量的语料,在处理语料之前需要查看语料的格式,但是直接在打开文件会爆内存,所以可以尝试只输出语料的前几行。
head -n 10 en_wiki.txt // 输出前10行到终端
head -n 10 en_wiki.txt >> test.txt // 输出前10行到test文件
在 nlp任务中都需要用到大容量的语料,在处理语料之前需要查看语料的格式,但是直接在打开文件会爆内存,所以可以尝试只输出语料的前几行。
head -n 10 en_wiki.txt // 输出前10行到终端
head -n 10 en_wiki.txt >> test.txt // 输出前10行到test文件