python django下载大的csv文件

最新推荐文章于 2024-02-23 11:04:12 发布

zhaozhi406

最新推荐文章于 2024-02-23 11:04:12 发布

阅读量2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python 软件应用

本文链接：https://blog.youkuaiyun.com/zhaozhi406/article/details/51783187

软件应用同时被 2 个专栏收录

9 篇文章

订阅专栏

python

5 篇文章

订阅专栏

在接手的Python Django项目中，需要优化CSV文件导出功能，特别是处理大量数据。文章介绍了使用Django的StreamingHttpResponse结合python的generator来实现这一目标，避免一次性加载所有数据到内存。提到使用这种方式相比python自带的csv.writer更有利于CSV文件的兼容性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

接手他人项目，第一个要优化的点是导出csv的功能，而且要支持比较多的数据导出，以前用php实现过，直接写入php://output就行了，django怎么做呢？如下:

借助django的StreamingHttpResponse和python的generator

def outputCSV(rows, fname="output.csv", headers=None):
    def getContent(fileObj):
        fileObj.seek(0)
        data = fileObj.read()
        fileObj.seek(0)
        fileObj.truncate()
        return data

    def genCSV(rows, headers):
        # 准备输出
        output = cStringIO.StringIO()
        # 写BOM
        output.write(bytearray([0xFF, 0xFE]))
        if headers != None and isinstance(headers, list):
            headers = codecs.encode("\t".join(headers) + "\n", "utf-16le")
            output.write(headers)
            yield getContent(output)
        for row in rows:
            rowData = codecs.encode("\t".join(row) + "\n", "utf-16le")
            output.write(rowData)
            yield getContent(output)  #因为StreamingHttpResponse需要一个Iterator
        output.close()
    resp = StreamingHttpResponse(genCSV(rows, headers))
    resp["Content-Type"] = "application/vnd.ms-excel; charset=utf-16le"
    resp["Content-Type"] = "application/octet-stream"
    resp["Content-Disposition"] = "attachment;filename=" + fname
    resp["Content-Transfer-Encoding"] = "binary"
    return resp

假设遍历结果集的代码如下：

headers = ["col1", "col2", ..., "coln"]
def genRows():
            for obj in objList:
                yield  [obj.col1, obj.col2, ...obj.coln]     

#这样调用,返回response
return outputCSV(genRows(), "file.csv", headers)

有人可能会问，为什么不用python自带的csv.writer？因为生成的csv兼容不太好啊，关于csv的兼容性，可以看这里。

参考： http://stackoverflow.com/questions/5146539/streaming-a-csv-file-in-django