基础8·起点小说一页爬取（xpath的使用，re库下的文本修改）

最新推荐文章于 2024-10-22 07:00:00 发布

楼上little黑

最新推荐文章于 2024-10-22 07:00:00 发布

阅读量573

点赞数

CC 4.0 BY-SA版权

分类专栏：基础爬虫及进阶文章标签： xpath

本文链接：https://blog.youkuaiyun.com/qq_44534317/article/details/89490394

基础爬虫及进阶专栏收录该内容

16 篇文章

订阅专栏

本文介绍了一种使用Python的requests库和lxml库来爬取起点中文网小说章节内容的方法。通过分析网页源代码，定位到所需文本所在的div和p标签，利用XPath表达式精确抓取并使用正则表达式清理数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

分析网页源代码发现，所需的文本储存在div标签下的p标签，并且p标签基本上只储存了想要获取的内容
所以调用lxml会更省力
在这里插入图片描述


import requests,time,re
from lxml import etree

def get_text(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        ret=r.text
        return  ret
    except:
        return ""

def save(ret):
    html = etree.HTML(ret,parser = etree.HTMLParser(encoding='gbk'))            #etree获取网页源代码，非本地文档
    results = html.xpath('//div[@class="read-content j_readContent"]/p/text()') #选取指定属性的div标签，获取到子节点p的内容       

    for result in results:
        result = re.sub('\s','',result)                                         #使用正则去替换全角空格
        print(result)
        time.sleep(1)

if __name__ == '__main__':
    url = "https://read.qidian.com/chapter/T_qvdsDahpITFqQ-idajwA2/_P8EZSmpMaDwrjbX3WA1AA2"
    ret=get_text(url)
    save(ret)

结果展示

在这里插入图片描述