爬虫之爬取古诗文网站

丁大喵

于 2019-06-21 13:48:51 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/l_u_h_a_i/article/details/93190289

本文介绍了如何使用Python爬虫技术爬取古诗文网站的数据，包括诗词作者、朝代和诗词内容。通过实例详细讲解了请求网页、解析HTML、处理反爬策略等步骤，帮助读者掌握网络爬虫的基本技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import pandas as pd
import urllib.parse
import urllib.request
from lxml import etree
import requests
import re
import time
import os
import random


def get_zhushi_info(url):
    #urls='https://so.gushiwen.org/shiwen2017/ajaxshiwencont.aspx?id=45c396367f59&value=zhu'
    proxy = random.choice(proxy_list)
    header = random.choice(spider_header)
    urlhandle = urllib.request.ProxyHandler({'http': proxy})
    opener = urllib.request.build_opener(urlhandle)
    urllib.request.install_opener(opener)

    req = urllib.request.Request(url)
    req.add_header('User-Agent', header)
    author_poem = []
    response_result = urllib.request.urlopen(req).read()

    html = response_result.decode('utf-8')
    html = etree.HTML(html)

    title = html.xpath(
        '//div[@class="main3"]/div[@class="left"]/div[@class="sons"]/div[@c

最低0.47元/天解锁文章