python读取大文件csv内存溢出_Python,内存错误,csv文件太大

在尝试导入一个接近1 Gb的'targets.csv'文件时,Python程序遇到了内存错误。为了解决这个问题,可以考虑使用逐行读取文件的方法来减少内存占用。例如,使用`csv.reader()`的迭代器版本来打开文件,而不是一次性加载整个文件。这样做可能会使处理速度变慢,但能有效地避免内存溢出问题。示例代码中展示了如何逐行读取CSV文件并进行处理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

我有一个python模块的问题,它不能处理导入大数据文件(文件目标.csv重量接近1 Gb)

加载此行时出现错误:targets = [(name, float(X), float(Y), float(Z), float(BG))

for name, X, Y, Z, BG in csv.reader(open('targets.csv'))]

回溯:

^{pr2}$

我想知道有没有办法打开文件目标.csv一行一行?也很想知道这会减慢进程吗?在

这个模块已经很慢了。。。在

谢谢!在import geometry

import csv

import numpy as np

import random

import cv2

S = 0

img = cv2.imread("MAP.tif", -1)

height, width = img.shape

pixx = height * width

iterr = float(pixx / 1000)

accomplished = 0

temp = 0

ppm = file("epson gamut.ppm", 'w')

ppm.write("P3" + "\n" + str(width) + " " + str(height) + "\n" + "255" + "\n")

# PPM file header

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值