data/inst/order_products__prior.csv,这个文件500多MB但是一开始我的python是32位,每次读取如果不指定chunksize直接回出现Memory Error的问题。
网上很多解决方法,几乎每个都试过,比如先指定chunksize然后得到一个TextFilereader类型,然后根据这个类型进行遍历,但是我发现这种方法我的循环结束不了,不太了解TextFilereader的使用方法。第二个是改虚拟内存,然后我发现每次运行我的内存占有不到80%就会直接终止,哪怕我把C/D盘的空间全部分配到虚存,还是一样的错误。
最后我快放弃的时候尝试了最后一个方法,重新下载python装一个64位的,哪怕以前的包都要重新下载。。然后我就重新下了,最后发现了一个简单的装包的途径,从pycharm的终端进行安装,最后我把之前的包全部重新下载了,就解决了。

附上装jieba,sklearn的代码
pip install scikit-learn
pip install jieba