Python|解决导入数据的时候memory error问题

本人在分析处理数据的时候，用pandas直接读取5.5G的csv文件吗，结果出现memory error，通过百度和借鉴大佬的博客，解决了这个问题。

是通过一次读取10000行来解决。

# path 为你的文件路径
data = pd.read_csv(filepath, sep=',',engine = 'python',iterator=True, header=None)
loop = True
chunkSize = 10000
chunks = []
index = 0
while loop:
    try:
        chunk = data.get_chunk(chunkSize)
        chunks.append(chunk)
        index += 1
        print('当前读到第%d行数据'%(index*chunkSize))

    except StopIteration:
        loop = False
        print("迭代结束")
print('开始合并')
data = pd.concat(chunks, ignore_index= True)
print('合并完成')

最后成功解决问题。