python爬虫爬取古诗词内容，并存入mysql

最新推荐文章于 2024-10-09 16:46:05 发布

上海外来务工人员甲

最新推荐文章于 2024-10-09 16:46:05 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

分类专栏： python爬虫文章标签： python 爬虫古诗词

本文链接：https://blog.youkuaiyun.com/qq_36344346/article/details/83416376

本文介绍如何使用Python爬虫抓取古诗词数据，并将其有效地存储到MySQL数据库中，通过re模块进行正则表达式解析，实现数据提取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python爬虫爬取古诗词内容，并存入mysql

将各模块分类下载
爬取结果展示:
在这里插入图片描述
代码如下:

from urllib import request
import re,os
import pymysql
import time

base_url = "https://so.gushiwen.org"
shiwen_url='https://www.gushiwen.org/shiwen/'

def get_model_url(shiwen_url):
    html=get_html(shiwen_url)
    res = '<a href="https://so\.gushiwen\.org/(.*?)\.aspx">(.*?)</a>'
    urls=re.compile(res).findall(html)
    return urls

def conn_mysql():
    url = '49.4.71.22'
    username = 'admin'
    password = 'admin963'
    dbname = 'test'
    db=pymysql.connect(url,username,password,dbname)
    return db

def createtable_poem():
    sql='create table if not exists poem(model_name varchar(50),poem_name varchar(50),' \
        'author_name varchar(50),dynasty var