本文分享了一次尝试处理大规模数据集的经验，由于数据量过大（超过8GB），直接处理导致资源耗尽。作者建议将大文件进行分割后再合并以提高处理效率。
来源：http://www.cnblogs.com/Shirlies/p/4536880.html
来源：http://www.cnblogs.com/txw1958/archive/2012/07/12/scrapy_installation_introduce.html
//统计ngram用疯了===数据量太大。8G的电脑都爆了，还是老老实实切割文件再combine吧===
囧囧囧
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
