requests库下，python爬虫后将数据存入到MySQL中

最新推荐文章于 2024-12-03 18:51:58 发布

原创最新推荐文章于 2024-12-03 18:51:58 发布 · 4.4k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#存入mysql

本文介绍了一种使用Python的request库进行网页爬取并将爬取到的数据保存到MySQL数据库的方法。具体步骤包括：创建数据库及数据表、定义数据存储函数以及在获取数据后调用该函数完成数据保存。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

单纯使用request库进行爬虫，将数据存入MySQL的方法如下

第一步：

从Navicat进入创建数据库（articles），数据表（info）

第二步：

定义函数

import pymysql

def save_to_mysql(data):
    try:
        conn = pymysql.connect(host='localhost', port=3306, user='root', password='123456', db='articles', charset="utf8")

        cursor = conn.cursor()
        insert_sql = """
                    insert into info(info_title,author)
                    values(%s, %s)
                """
        cursor.execute(insert_sql, (data["info_title"], data["author"]))

        print('save to mysql', data)
        conn.commit()
        cursor.close()
        conn.close()
    except Exception as e:
        print('wrong' + e)

第三步：在提取到具体的data = {xxxxxx}后面调用 save_to_mysql(data)