爬虫案例三读书网

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

提示：这里可以添加本文要记录的大概内容：

爬虫案例读书网

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、爬虫案例读书网

"""
网址: https://www.dushu.com/book/1011.html
目标: 书名 作者,简介
"""
import requests
from lxml import etree
def get_one_page_data(url):
    # url = "https://www.dushu.com/book/1011.html"
    headers = {
		"":"" # 请求头
    }
    resp = requests.get(url,headers=headers)
    # print(resp.text)
    page = etree.HTML(resp.text)
    li_list = page.xpath(".//div[@class='bookslist']/ul/li")
    for li in li_list:
        book_name = li.xpath(".//h3/a/text()")[0].strip()
        author = li.xpath(".//p[1]/text()")[0].strip()
        brief = li.xpath(".//p[@class='disc eps']/text()")[0].strip()
        print(book_name, author, brief)

def main():
    for i in range(1, 11):
        print(f"第{i}页开始抓取")
        if i == 1:
            url = "https://www.dushu.com/book/1011.html"
        else:
            url = f"https://www.dushu.com/book/1011_{i}.html"
        get_one_page_data(url)
        print(f"第{i}页抓取完成")
if __name__ == '__main__':
    main()
# 第1页开始抓取
# 春秋本义 程端学，钱永生，吴志坚，北京大学，儒藏编… 《春秋本义》，元代程端学撰。程端学（1278—1334），字时叔，号积斋，庆元（…
# 中国经学（第三十二辑） 彭林 主编 《中国经学》第三十二辑，在“经学义理”“经学历史”“经学文献”等栏目下，…
# 揅经室集 《儒藏》精华编选刊 阮元 撰 沈莹莹 校点 北京大学《儒藏》编纂… 《？C经室集》六十三卷，清阮元著。《？C经室集》是阮元自编定稿的个人文集，…
# 毛诗后笺 （清）胡承珙 撰 暂缺简介...
# 仪礼章句 吴廷华，徐到稳，北京大学，儒藏编纂与研究… 《仪礼章句》十七卷，清吴廷华撰。《仪礼》经文本身较为难懂，朱熹《仪礼经传…
# 群经平议（上下册） 俞樾，张钰翰，北京大学，儒藏编纂与研究中… 《群经平议》三十五卷，清俞樾撰。《群经平议》为清经学大师俞樾经学研究之重…
# 中国五大古典名著 暂缺作者 暂缺简介...
# ...