简单的文章爬取（Python）

最新推荐文章于 2022-01-14 09:54:49 发布

时越zz

最新推荐文章于 2022-01-14 09:54:49 发布

阅读量392

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/qq_49644209/article/details/114555629

该博客详细介绍了如何使用Python的BeautifulSoup库爬取古诗文网上的《三国演义》全本内容。首先通过设置User-Agent伪装浏览器，然后获取首页URL的数据，接着解析HTML找到所有章节标题和对应的链接。对于每个章节，再次发送请求获取内容，并将其保存到本地文件中。整个过程实现了从抓取到保存的完整流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from bs4 import BeautifulSoup
import bs4
import requests
import lxml

# UA 伪装
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0"
}
# 先进行首页数据的爬取
# 指定url
url = "https://so.gushiwen.org/guwen/book_106.aspx"
page_txt = requests.get(url, headers=headers).text
# 创建Beautifulsoup实例
soup = BeautifulSoup(page_txt, "lxml")
# 爬取所有的标题  注意返回一个列表
soup_lis = soup.select(".bookcont > ul > span ")
fp = open("./sanguo.txt", "w", encoding="utf-8")
# 遍历所有标题
for i in soup_lis:
    # 取出标题
    soup_title = i.string
    # 取出标题中原文章中的url
    new_url = i.a["href"] # 注意必须是这个标签的上一级.下一级
    # 爬取每章中的所有数据
    new_txt = requests.get(new_url, headers=headers).text
    new_soup = BeautifulSoup(new_txt, "lxml") # 重新生成一个实例
    all = new_soup.find("div", class_="contson").text # 注意这里可以使用find，因为原文章的作品只在这个标签下面
    fp.write(soup_title + "\n" + all)
    print("爬取完成！！")
fp.close()