python爬虫练习，爬取数据写入MySQL数据库

最新推荐文章于 2025-06-25 22:50:22 发布

原创

最新推荐文章于 2025-06-25 22:50:22 发布 · 3.3k 阅读

60 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #python #mysql

本文通过实例演示了如何使用Python爬虫抓取网页内容，并将数据存储到MySQL数据库中，涉及数据库连接、游标操作及SQL语句执行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本次爬取内容就选取章节名和章节链接作为举例
url：http://www.xbiquge.la/0/215/
在这里插入图片描述
数据库操作的基本方法：
1）：连接数据库
2）：获取数据库游标
3）：执行sql语句
4）：断开数据库连接

# 连接数据库，参数包括IP、用户名、密码、对应的库名
        connect = pymysql.connect('localhost', 'root', 'gui2019', 'python')
        # 数据库游标
        course = connect.cursor()
        # 插入语句
        sql = "INSERT INTO kongfu values(default, '%s', '%s')  " % (title_name, newUrl)
        try:
            print("正在写入数据 ---->>>>: ", title_name)
            course.execute(sql)
            connect.commit()
        except Exception as e:
            print('数据写入失败!', e)
            connect.rollback()
            connect.close()

运行效果如图所示：在这里插入图片描述