python向mySQL批量插入数据的方法

最新推荐文章于 2025-02-07 17:42:39 发布
原创 最新推荐文章于 2025-02-07 17:42:39 发布 · 3.3w 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #mysql #database #insert #user #sql

本文介绍如何利用mySQLdbpython库中的cursor.executemany()函数进行数据库的批量处理，包括批量插入操作。通过实例演示了如何快速高效地执行大量SQL语句，简化了数据库操作流程。
通过调用mySQLdb python库中的 cursor.executemany()函数完成批量处理。


今天用这个函数完成了批量插入
例程：
def test_insertDB():
    conn = database.Connection(host=options.mysql_host, database=options.mysql_database,
                user=options.mysql_user, password=options.mysql_password)
    sql = "insert into person(name, age, telephone) values(%s, %s, %s)"
    tmp = (('ninini', 89, '888999'), ('koko', 900, '999999'))
    conn.executemany(sql, tmp)


其他还有批量更新，批量查询估计没有测试
参考来源：
http://markmail.org/message/dzxuv65tlrfvpsau
co_diy
关注
python使用pymysql批量插入数据库5000W条复杂的数据，如何用python脚本实现和用MySQL自定义存储过程实现
HRD的博客
01-31 2150
END;BEGINEND;END WHILE;COMMIT;END IF;
MySQL 批量插入详解：快速提升大数据导入效率的实战方法
m0_74824780的博客
12-29 866
批量插入是提高 MySQL 数据插入性能的重要手段。通过使用批量插入技术，可以显著减少 SQL 执行次数，提高数据导入的效率。本文通过一个学生信息表的实战示例，详细介绍了批量插入的实现方法，并提供了性能优化的建议。希望这篇文章对您在处理大规模数据时有所帮助。如果有更复杂的数据处理需求，您还可以考虑使用 MySQL 的LOAD DATA语句或专门的 ETL 工具来进行数据导入操作。
python工具-excel批量导入mysql (几千万数据半小时可搞定)
04-23
这个工具是之前写了做数据稽核用的工具，甲方发过来了几十个Excel表格，每个表格都有一百多万数据，必须导入数据库才能作分析，所以写了这个脚本用来导数据，做报表的可参考，改一下脚本中的数据库字段就能用了
Python语句实现Mysql多条插入语句
10-26
本代码，用python语句，实现了一次插入多条sql语句。希望能对大家带来帮助。
python文件读写用到的库_python文件读写并使用mysql批量插入示例分享(python操作mysql)...
weixin_39616503的博客
11-24 163
# -*- coding: utf-8 -*-'''Created on 2013年12月9日@author: hhdys'''import osimport mysql.connectorconfig = {'user': 'root','password': '******','host': '127.0.0.1','database': 'test','raise_on_warnings':...
python 批量导入mysql_Python批量插入数据到Mysql
weixin_39968266的博客
02-19 248
我用python弄了半天没搞定，高手来看下，我使用的是cursor.executemany来实现插入示例数据：{'info': {'files': [{'path': ['Runner Runner [2013]HDRip XviD-SaM[ETRG].avi'], 'length': 733460868},{'path': ['SaMple.avi'], 'length': 5577446},{...
Python向MySQL批量插数据的实例讲解
12-23
背景：最近测试web项目需要多条测试数据，sql中嫌要写多条，就看了看python如何向MySQL批量插数据（pymysql库） 1、向MySQL批量插数据 import pymysql #import datetime #day = datetime.datetime.now().strftime('...
Python操控mysql批量插入数据的实现方法
12-16
在Python中，通过pymysql模块，编写简短的脚本，即方便快捷地控制MySQL数据库 一、连接数据库  使用的函数：pymysql.connect  语法：db=pymysql.connect(host='localhost',user='root',port=3306,password='Your ...
Python + MySQL（7）批量插入数据到MySQL数据库
weixin_42221654的博客
11-24 1102
参数化sql批量插入Mysql数据库；将csv文件导入到mysql数据库
Python向数据库中批量插入数据
最新发布
m0_53679359的博客
02-07 544
测试过程中可能会需要造大量的测试数据，例如用户数据，订单数据等等，此时可以使用python批量插入数据，提高测试效率。
python-批量插入数据
qq_42636236的博客
11-06 1013
是不是在工作中经常会遇到各种数据需要我们处理然后将所需要的数据最终写入数据库这种事情呢？实例需求：如果已有人员权限表（已提供excel表），想查看这些人是否存在于数据库表user用户表中，如果存在则跳过，否则将这个用户插入到表中。（批量查询写入操作）这样就完成批量数据的写入了，是不是很简单？三、将已获取的数据源数据写入表中。一、连接mysql数据库。
python mysql批量insert数据_Python--Python学习日记之MySQL增删改查、批量插入等等
weixin_39626180的博客
12-05 401
最近闲置在家无聊玩起了Python，发现用Java平时写的一些小程序如果使用Python的话代码会更加精简，Python使用起来和Java几乎没有区别，今天就先记录下连接Mysql的一些简单操作，获取连接、插入、批量插入、修改、删除等首先连接Mysql连接MySQL需要安装插件，下载下来直接默认安装就可以了测试是否安装成功，如下图就是安装成功了# coding:UTF-8import MySQLd...
Python批量插入mysql（通过TXT文件）
qyykaola的博客
11-15 1351
from conf import setting import pymysql #链接数据库 conn = pymysql.connect(host=setting.MYSQL_HOST, user=setting.USER, password=setting.PASSWORD, port=settin...
Python 数据批量插入 MySQL
HaKim的博客
10-08 663
TODO
在Python中向MySQL批量插入数据的方法
06-02 1137
在Python中向MySQL批量插入数据的方法 haijd Article在Python中向MySQL批量插入数据的方法2008-09-01 22:51:49 | 作者：haijd使用Python操作MySQL数据库时，如果插入的数据条目很多，一条条地执行"inse...
Linux下和MySQL下利用python插入亿万级数据
热门推荐
Gradient Fly
07-18 1万+
下载mysqldb首先必须下载mysqldb，下载语句是yum install MySQL-python不熟悉yum的自行百度吧，嘿嘿。 安装之后，在命令行输入 #>>>python #接下来是python代码 >>>import MySQLdb >>>#显示出了命令行即为安装成功 >>>exit()#退出python插入亿万级数据作者在写SQL时就知道2种写法（大牛另说），（1）一次插入一条，（
python MySQL 批量插入
托塔天王的博客
10-25 1696
在现实生活中，经常会使用到Python 将信息清洗完后插入数据库，但一条条插入势必速度效率跟不上，此时将需要使用批量插入的思维。 # coding:utf-8 import pymysql # 打开数据库连接 db = pymysql.connect(host='localhost', port=3306, user='username', passwd='password', db='database_name', charset='utf8') # 使用
python操作数据库之批量导入
张小竟
04-02 1535
python操作数据库之批量导入 Python语法简洁清晰，特色之一是强制用空白符(white space)作为语句缩进。 Python具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中[3] 有特别要求的部分，用更合适的语言改写，
python mysql批量插入数据
07-27
在Python中，可以使用pymysql库来实现批量插入数据到MySQL数据库。有两种常用的方法可以实现批量插入数据。 方法一是使用for循环和cursor.execute(sql)的方式，具体步骤如下： 1. 导入pymysql库：import pymysql 2. 建立数据库连接：conn = pymysql.connect(host='XXX.XXX.XXX.XXX', user='XXXXX', password='XXXXX', db='XXXXX', port=3306, charset='utf8') 3. 创建游标对象：cursor = conn.cursor() 4. 编写插入数据的SQL语句：sql = "INSERT INTO 表名(字段1, 字段2) VALUES (%s, %s)" 5. 使用for循环遍历数据列表，执行插入操作：for data in data_list: cursor.execute(sql, data) 6. 提交事务：conn.commit() 7. 关闭游标和数据库连接：cursor.close() conn.close() 方法二是使用cursor.executemany(sql, list)的方式，具体步骤如下： 1. 导入pymysql库：import pymysql 2. 建立数据库连接：conn = pymysql.connect(host='XXX.XXX.XXX.XXX', user='XXXXX', password='XXXXX', db='XXXXX', port=3306, charset='utf8') 3. 创建游标对象：cursor = conn.cursor() 4. 编写插入数据的SQL语句：sql = "INSERT INTO 表名(字段1, 字段2) VALUES (%s, %s)" 5. 定义数据列表：data_list = \[('a', 1), ('b', 2), (None, 3)\] 6. 执行批量插入操作：cursor.executemany(sql, data_list) 7. 提交事务：conn.commit() 8. 关闭游标和数据库连接：cursor.close() conn.close() 需要注意的是，使用executemany方法时，可以将Python的None转换为SQL的NULL，非常方便。同时，注意%s不需要加引号，而在使用execute方法时，需要加引号。 希望以上信息对您有所帮助。 #### 引用[.reference_title] - *1* *3* [python操作mysql批量插入](https://blog.youkuaiyun.com/pxx000000/article/details/126600034)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [简单实现pymysql批量写入数据方法](https://blog.youkuaiyun.com/m0_48300767/article/details/131063781)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值