python django下载大的csv文件

zhaozhi406

于 2016-06-29 15:29:37 发布

阅读量2k

点赞数 1

分类专栏： python 软件应用

本文链接：https://blog.youkuaiyun.com/zhaozhi406/article/details/51783187

版权

在接手的Python Django项目中，需要优化CSV文件导出功能，特别是处理大量数据。文章介绍了使用Django的StreamingHttpResponse结合python的generator来实现这一目标，避免一次性加载所有数据到内存。提到使用这种方式相比python自带的csv.writer更有利于CSV文件的兼容性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

接手他人项目，第一个要优化的点是导出csv的功能，而且要支持比较多的数据导出，以前用php实现过，直接写入php://output就行了，django怎么做呢？如下:

借助django的StreamingHttpResponse和python的generator

def outputCSV(rows, fname="output.csv", headers=None):
    def getContent(fileObj):
        fileObj.seek(0)
        data = fileObj.read()
        fileObj.seek(0)
        fileObj.truncate()
        return data

    def genCSV(rows, headers):
        # 准备输出
        output = cStringIO.StringIO()
        # 写BOM
        output.write(bytearray([0xFF, 0xFE]))
        if headers != None and isinstance(headers, list):
            headers = codecs.encode("\t".join(headers) + "\n", "utf-16le")
            output.write(headers)
            yield getContent(output)
        for row in rows:
            rowData = codecs.encode("\t".join(row) + "\n", "utf-16le")
            output.