用request库进行简单爬虫，将数据存入MySQL的实现方法

最新推荐文章于 2024-04-03 14:43:08 发布

原创

最新推荐文章于 2024-04-03 14:43:08 发布 · 1.1k 阅读

4 ·

CC 4.0 BY-SA版权

本文介绍了如何使用requests库进行简单的网页爬取，并将抓取到的数据存入MySQL数据库中。首先通过数据库管理工具创建articles数据库及info表，然后编写Python函数利用pymysql模块实现数据保存。在爬取过程中，需将数据保存操作置于循环内部，以确保所有数据都能正确入库。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

单纯使用request库进行爬虫，将数据存入MySQL的方法如下

第一步：

从Navicat/Mysql-Front进入创建数据库（articles），数据表（info）

第二步：

定义函数

import pymysql

def save_to_mysql(data):
    try:
        conn = pymysql.connect(host='localhost', port=3306, user='root', password='123456', db='articles', charset="utf8")
 
        cursor = conn.cursor()
        insert_sql = """
                    insert into info(info_title,author)
                    values(%s, %s)
                """
        cursor.execute(insert_sql, (data["info_title"], data["author"]))
 
        print('save to mysql', data)
        conn.commit()
        cursor.close()
        conn.close()
    except Exception as e:
        print('wrong' + e

第三步：在提取到具体的data = {xxxxxx}后面调用 save_to_mysql(data)

#参考：https://blog.youkuaiyun.com/xiongzaiabc/article/details/81008094

自己试验过的链接，放在for循环里面，如果放在和for平行的位置只取出每一页的最后一条数据：