Linux下和MySQL下利用python插入亿万级数据

最新推荐文章于 2023-05-22 13:15:47 发布

link-ai

最新推荐文章于 2023-05-22 13:15:47 发布

阅读量1.2w

点赞数 7

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： python mysql linux 数据亿万级

本文链接：https://blog.youkuaiyun.com/u013894072/article/details/51944159

本文介绍了如何在Linux系统中使用Python连接MySQL并高效插入亿万级数据。通过安装mysqldb库，对比了一次插入一条和一次插入多条SQL语句的效率，以一次插入多条为例，展示了如何插入1000万条数据，执行时间约为400秒。对于更大的数据量，如1亿条，耗时约31分钟。欢迎提供改进建议。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

##下载mysqldb
首先必须下载mysqldb，下载语句是

yum install MySQL-python

安装之后，在命令行输入

#>>>python
#接下来是python代码
>>>import MySQLdb
>>>#显示出了命令行即为安装成功
>>>exit()#退出python

##插入亿万级数据
作者在写SQL时就知道2种写法（大牛另说），（1）一次插入一条，（2）一次插入多条。
之前在书上看到，一次插入多条会提高sql语句的速度，所以接下来就以（2）为例进行实验插入1000万条的数据。
首先随便建张表

CREATE TABLE `good` (
  `id` int(10) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) DEFAULT NULL,
  `price` double DEFAULT NULL,
  `color` varchar(255) DEFAULT NULL,
  `goodNum` int(11) DEFAULT NULL,
  `brandName` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
  ）

Linux下代码如下

import sys
import os
import time
import random as rd
import MySQLdb as md

def test():
  con=md.connect(host="localhost",user="root",passwd="admin123",db="test")
  cursor=con.cursor()
  #sql1="truncate table product"
  #n=cursor.execute(sql1)
  tm1=time.time()
  oriName="sujaloiushteg