Spider学习笔记（四）:将爬取数据存入数据库

Python MySQL 数据批量插入示例

最新推荐文章于 2025-07-04 08:31:10 发布

小火skr车

最新推荐文章于 2025-07-04 08:31:10 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： Spider 文章标签： Spider 爬虫数据库

本文链接：https://blog.youkuaiyun.com/xiaohuoche175/article/details/81773999

Spider 专栏收录该内容

14 篇文章

订阅专栏

本文介绍了一个使用 Python 的 pymysql 库将文本文件中的数据批量插入 MySQL 数据库的示例。通过读取 tencent.txt 文件中的每一条记录，并将其转换为可执行 SQL 语句的形式，最终实现数据的批量导入。

import pymysql
conn = pymysql.connect(host='127.0.0.1',user='root',password='123456',
                       database='world',port=3306,charset='utf8')

#游标
cur = conn.cursor()

#读取
with open('tencent.txt','r',errors='ignore',encoding='utf-8') as f :
    jobList = f.readlines()
    for job in jobList:
        job = eval(job)
        sql = "INSERT INTO tencent(jobname,joburl,jobIofo,jobcompany,jobmoney,jobtime)VALUES " \
              "(%r,%r,%r,%r,%r,%r)" % (job[0], job[1], job[2], job[3], job[4], job[5])
        print(job)
        print(sql)
        cur.execute(sql)
        conn.commit()
cur.close()
conn.close()