Spider学习笔记（四）:将爬取数据存入数据库

最新推荐文章于 2025-07-04 08:31:10 发布

原创最新推荐文章于 2025-07-04 08:31:10 发布 · 1.4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Spider #爬虫 #数据库

Spider 专栏收录该内容

14 篇文章

订阅专栏

本文介绍了一个使用 Python 的 pymysql 库将文本文件中的数据批量插入 MySQL 数据库的示例。通过读取 tencent.txt 文件中的每一条记录，并将其转换为可执行 SQL 语句的形式，最终实现数据的批量导入。

import pymysql
conn = pymysql.connect(host='127.0.0.1',user='root',password='123456',
                       database='world',port=3306,charset='utf8')

#游标
cur = conn.cursor()

#读取
with open('tencent.txt','r',errors='ignore',encoding='utf-8') as f :
    jobList = f.readlines()
    for job in jobList:
        job = eval(job)
        sql = "INSERT INTO tencent(jobname,joburl,jobIofo,jobcompany,jobmoney,jobtime)VALUES " \
              "(%r,%r,%r,%r,%r,%r)" % (job[0], job[1], job[2], job[3], job[4], job[5])
        print(job)
        print(sql)
        cur.execute(sql)
        conn.commit()
cur.close()
conn.close()