Python连接数据库获取数据生成csv文件

最新推荐文章于 2022-11-25 14:57:08 发布
原创 最新推荐文章于 2022-11-25 14:57:08 发布 · 5.3k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何使用Python从MySQL数据库中读取数据，并将这些数据导出为CSV文件。涉及的技术包括pymysql库的使用、pandas进行数据处理及CSV文件的写入操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

import pandas  as  pd
import csv
import pymysql


def JoinDB():
    conn = pymysql.connect(host='localhost', user='root', passwd='passwd', db='DB')
    ##创建游标
    cur = conn.cursor()
    ##执行sql语句
    count=cur.execute('select * from user')
    print('总共有%s条数据' %count)
    # 搜取所有结果
    results = cur.fetchall()
    # 获取表的数据结构字段
    fields = cur.description
    return list(results), list(fields)
S=JoinDB()
# print(S[0][i])
# print(S[1][i][0])
results=S[0]
fields=S[1]
print(results)
print(fields)
# print(fields[0][0])
# print(results)
# #写入文件
def writer_file(results,fields):
    ##查看文件大小
    file_size = os.path.getsize('/home/kiosk/Flask_Movie_Site-master/app/数据库转文件存储/data.csv')
    if file_size == 0:
        ##表头
        name=[]
        results_list=[]
        for  i  in  range(len(fields)):
            name.append(fields[i][0])
        print(name)
        for  i  in  range(len(results)):
            results_list.append(results[i])
        ##建立DataFrame对象
        file_test = pd.DataFrame(columns=name, data=results_list)
        ##数据写入,不要索引
        file_test.to_csv('/home/kiosk/Flask_Movie_Site-master/app/数据库转文件存储/data.csv', encoding='utf-8', index=False)
    else:
        with  open('/home/kiosk/Flask_Movie_Site-master/app/数据库转文件存储/data.csv', 'a+', newline='') as  file_test:
            ##追加到文件后面
            writer = csv.writer(file_test)
            ##写文件
            writer.writerows(results)


if __name__ == '__main__':
    writer_file(results,fields)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

【Python】python把数据转换为csv文件
Fanjufei的博客
05-31 4527
然后定义了一个包含数据的列表data，列表中每个元素表示一行数据，包含ID、Name和Age三列数据。执行以上代码后，就会在当前目录下生成一个名为data.csv的CSV文件，并且该文件中已经写入了我们定义的数据列表中的内容。列表中的每个字符串，将其逐行写入到文件中，每个字符串后面加上一个换行符，以保证每个字符串占据一行。的文件，其中包含了我们定义的三个字符串，每个字符串占据一行。下面是一个简单的示例程序，演示了如何将一个列表中的字符串写入到一个文本文件中。，它包含了需要写入文件的字符串。
python亿级mysql数据库导出_Python之csv文件从MySQL数据库导入导出的方法
weixin_42362048的博客
01-21 407
Python之csv文件从MySQL数据库导入导出的方法发布时间：2020-10-26 07:39:02来源：脚本之家阅读：53作者：张行之Python从MySQL数据库中导出csv文件处理csv文件导入MySQL数据库import pymysqlimport csvimport codecsdef get_conn():conn = pymysql.connect(host='localhost...
Python实现将MySQL数据库表中的数据导出生成csv格式文件的方法
12-25
本文实例讲述了Python实现将MySQL数据库表中的数据导出生成csv格式文件的方法。分享给大家供大家参考，具体如下： #!/usr/bin/env python # -*- coding:utf-8 -*- """ Purpose: 生成日汇总对账文件 Created: 2015/4/27 Modified:2015/5/1 @author: guoyJoe """ #导入模块 import MySQLdb import time import datetime import os #日期 today = datetime.date.today() yestoday = toda
python导出数据找不到csv_Python实现将MySQL数据库表中的数据导出生成csv格式文件的方法...
weixin_39916520的博客
11-23 231
本文实例讲述了Python实现将MySQL数据库表中的数据导出生成csv格式文件的方法。分享给大家供大家参考，具体如下：#!/usr/bin/env python# -*- coding:utf-8 -*-"""Purpose: 生成日汇总对账文件Created: 2015/4/27Modified:2015/5/1@author: guoyJoe"""#导入模块import MySQLdbimp...
如何读取数据库并把数据导出CSV文档
yinghuochong124的博客
03-18 1937
import csv import os import pymysql from pprint import pprint # import pandas class Test_myqsl(object): def __init__(self): #读取数据库和建立游标对象 self.connect = pymysql.connect(host="127.0.0.1", port=33
利用Python将数据库查询结果导出为EXCEL，CSV，TSV格式(性能比Kettle高接近1倍)
落落的专栏 专注SQL调优 性能调优
05-10 2122
虽然可以用Kettle等ETL工具将数据库查询结果导出为CSV格式，但是感觉很麻烦，我们还是用Python来做吧 import cx_Oracle #导入连接Oracle模块 import os #导入os模块 import csv #
Python之csv文件从MySQL数据库导入导出的方法
09-09
总结，Python结合`pymysql`和`csv`库提供了强大的工具来处理MySQL数据库与CSV文件之间的数据交换。通过以上步骤，你可以轻松地实现数据的导入和导出，提高工作效率。当然，实际使用时还需要考虑错误处理、性能优化等...
Python读取Mysql数据库数据保存至csv文件，以及简单使用Python进行数据分析。(加州房价数据集)
2201_75412958的博客
11-25 4480
Python和数据库的交互
python导出sqlserver数据并保存csv_Python实现将MySQL数据库表中的数据导出生成csv格式文件的方法...
weixin_39964833的博客
11-28 253
本文实例讲述了Python实现将MySQL数据库表中的数据导出生成csv格式文件的方法。分享给大家供大家参考，具体如下：#!/usr/bin/env python# -*- coding:utf-8 -*-"""Purpose: 生成日汇总对账文件Created: 2015/4/27Modified:2015/5/1@author: guoyJoe"""#导入模块import MySQLdbimp...
python查询数据库导出csv文件_Python实现将MySQL数据库表中的数据导出生成csv格式文件的方法...
weixin_39817215的博客
11-30 656
本文实例讲述了Python实现将MySQL数据库表中的数据导出生成csv格式文件的方法。分享给大家供大家参考，具体如下：#!/usr/bin/env python# -*- coding:utf-8 -*-"""Purpose: 生成日汇总对账文件Created: 2015/4/27Modified:2015/5/1@author: guoyJoe"""#导入模块import MySQLdbimp...
如何把DB数据包转换成CVS数据包
06-04
如果您的分不够或者不是优快云的会员，去我的淘宝店找我，我直接发给你。http://shop57288894.taobao.com/
sqlite3数据库.db文件自动批量导出为csv文件shell脚本
qq_32904521的博客
06-23 1589
#!/usr/bin/env bash #列出db文件中的表 DB=`sqlite3 $1 "SELECT tbl_name FROM sqlite_master WHERE type='table' and tbl_name not like 'sqlite_%';"` #导出db文件中的每个表 for tab in $DB; do sqlite3 $tab <<! .head...
php快速导出数据库到csv
jamsan_n的专栏
08-28 852
需求 需要在浏览器页面，通过下载按钮将数据库全部导出到本地. 方案 每读一行数据库记录，echo一行到输出; 实现 //导出函数，参数$mycli已打开数据库的mycli对象 function exportDbTable($mysqi){ //首先输出头部 header("Content-type:text/csv;"); header("Conten...
Python读取DBF文件并保存为CSV文件的几种方法
m0_37108612的博客
01-09 4329
直接读取DBF input=f"H:/1.dbf" table = DBF(input, encoding='utf-8') #writer.writerow(table.field_names)#写入表头 for record in table: print(record) 2.以Pands读取DBF并保存 with open(out, 'w', encoding='utf-8', newline="") as f: d.
SQLite 3导入导出成txt或csv操作
m0_46172703的博客
12-29 4232
平时使用官方提供的sqlite3.exe工具来操作 sqlite的数据库,可以在网上下到。 进入管理： sqlite3.exe d:\test.db //假设数据是　d:\test.db .databases //显示所有数据库 和 mysql的　show databases;　 .tables //显示当前数据库的表格　和 mysql 的show tables;　 .schment tablename; //显示表格结构　和mysql的　SHOW CREATE TABLE tbl_name .outpu
利用python查询mysql数据库表中数据并生成为csv文件
qq_36791745的博客
06-25 2771
利用python查询mysql数据库表中数据并生成为csv文件
将SQLite数据库中的数据导出到CSV文件
热门推荐
qi704169722的博客
06-08 1万+
111
使用python读取数据库数据写入csv文件同一列下
最新发布
03-16
<think>好的，我现在要解决的问题是使用Python将数据库中的数据读取并写入到CSV文件的同一列下。首先，我需要明确用户的具体需求是什么。用户提到的是“同一列下”，这可能意味着所有数据都放在一个列中，而不是多列。不过，通常情况下，数据库查询结果会有多列，所以可能需要进一步确认用户的意图。但根据问题描述，可能是指将多个字段合并到一列，或者每个记录占据CSV的一行，但所有数据都放在同一列里。 接下来，我需要考虑如何连接到数据库。Python中常用的库有sqlite3（适用于SQLite）、pymysql（MySQL）、psycopg2（PostgreSQL）等。用户没有指定数据库类型，可能需要给出一个通用的方法，或者以SQLite为例，因为它是内置的，无需额外安装。 然后，执行SQL查询，获取数据。这部分需要使用数据库游标执行查询语句，并获取结果。例如，使用cursor.execute()和cursor.fetchall()。 接下来，将数据写入CSV文件。Python的csv模块可以处理CSV文件的写入。需要注意的是，如果要将所有数据写入同一列，可能需要将每行数据转换为一个字符串，或者按照某种格式拼接字段。例如，如果数据库查询结果有多列，用户可能希望将每行的所有字段合并成一个字符串，放在CSV的同一列中，每行一个记录。 可能的步骤： 1. 导入必要的库（如sqlite3、csv）。 2. 连接到数据库。 3. 执行查询，获取数据。 4. 处理数据，将每行合并为一个字符串（如果需要同一列）。 5. 使用csv.writer写入CSV文件，每行一个数据。 需要注意的问题： - 数据库连接的正确参数（如数据库路径、用户名、密码等）。 - 处理不同数据类型，确保转换为字符串时不会出错。 - CSV文件的换行符和编码问题，特别是在不同操作系统上。 - 是否包含表头，用户是否需要列名。 可能的代码结构示例： ```python import sqlite3 import csv # 连接数据库 conn = sqlite3.connect(&#39;example.db&#39;) cursor = conn.cursor() # 执行查询 cursor.execute("SELECT * FROM table_name") rows = cursor.fetchall() # 处理数据，假设将每行字段合并为逗号分隔的字符串 data = [&#39;,&#39;.join(map(str, row)) for row in rows] # 写入CSV，每行一个数据到同一列 with open(&#39;output.csv&#39;, &#39;w&#39;, newline=&#39;&#39;, encoding=&#39;utf-8&#39;) as f: writer = csv.writer(f) for item in data: writer.writerow([item]) # 作为单个元素列表，确保写入同一列 conn.close() ``` 验证这个代码是否满足需求。假设数据库表有多个列，例如id、name、age，那么每行会被合并成类似“1,John,30”的字符串，然后作为CSV文件中的一列，每行一个。这样CSV文件中的每一行只有一个单元格，内容是该行的所有字段合并后的字符串。 如果用户希望每个字段都单独占据同一列的不同行，那处理方式会不同，但这种情况较为少见。需要进一步确认，但根据问题描述，更可能的是每行数据合并为一个字符串，放在同一列中。 此外，需要注意数据库连接的正确关闭，以及异常处理，比如使用try-finally或with语句来确保资源释放。另外，字符编码问题，比如确保写入CSV时使用正确的编码（如utf-8）。 总结步骤： 1. 连接数据库。 2. 获取数据。 3. 处理数据为每行一个字符串。 4. 写入CSV，每行一个单元格。</think>以下是将数据库数据读取并写入CSV文件同一列的步骤详解： --- ### **1. 准备工作** - **安装依赖库** 根据数据库类型安装驱动（示例使用SQLite，Python内置无需安装）： ```bash # 若使用MySQL，安装pymysql：pip install pymysql # 若使用PostgreSQL，安装psycopg2：pip install psycopg2 ``` --- ### **2. 连接数据库** ```python import sqlite3 # 以SQLite为例 # 连接数据库（替换为你的数据库路径） conn = sqlite3.connect(&#39;mydatabase.db&#39;) cursor = conn.cursor() ``` --- ### **3. 执行SQL查询** ```python # 示例查询语句（替换为你的SQL） cursor.execute("SELECT * FROM employees") rows = cursor.fetchall() # 获取所有数据 ``` --- ### **4. 处理数据（合并到同一列）** 假设需要将每行记录的多个字段合并为字符串： ```python # 将每行数据转为逗号分隔的字符串 processed_data = [&#39;,&#39;.join(map(str, row)) for row in rows] ``` --- ### **5. 写入CSV文件** ```python import csv with open(&#39;output.csv&#39;, &#39;w&#39;, newline=&#39;&#39;, encoding=&#39;utf-8&#39;) as f: writer = csv.writer(f) # 写入标题（可选） writer.writerow(["All Data"]) # 单列标题 # 写入数据（每行一个单元格） for item in processed_data: writer.writerow([item]) # 注意：传入列表包裹的单个元素 ``` --- ### **完整代码示例** ```python import sqlite3 import csv # 1. 连接数据库 conn = sqlite3.connect(&#39;mydatabase.db&#39;) cursor = conn.cursor() # 2. 执行查询 cursor.execute("SELECT * FROM employees") rows = cursor.fetchall() # 3. 处理数据 processed_data = [&#39;,&#39;.join(map(str, row)) for row in rows] # 4. 写入CSV with open(&#39;output.csv&#39;, &#39;w&#39;, newline=&#39;&#39;, encoding=&#39;utf-8&#39;) as f: writer = csv.writer(f) writer.writerow(["All Data"]) # 单列标题 for item in processed_data: writer.writerow([item]) # 每行一个单元格 # 关闭连接 conn.close() ``` --- ### **结果示例** 生成的`output.csv`内容如下： ```csv All Data 1,John,30,Engineer 2,Jane,25,Designer 3,Bob,35,Manager ``` --- ### **常见问题** 1. **多列合并格式** 修改`&#39;,&#39;.join(map(str, row))`中的分隔符（如`|`、`\t`）。 2. **编码问题** 确保`encoding=&#39;utf-8&#39;`与数据字符集一致。 3. **大数据量处理** 分批读取数据，避免内存溢出： ```python while True: batch = cursor.fetchmany(1000) if not batch: break # 处理并写入批次数据 ``` 4. **其他数据库驱动** 替换连接代码（以MySQL为例）： ```python import pymysql conn = pymysql.connect(host=&#39;localhost&#39;, user=&#39;root&#39;, password=&#39;123456&#39;, database=&#39;testdb&#39;) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值