爬虫-爬取豆瓣图书TOP250

最新推荐文章于 2024-09-13 15:51:42 发布

weixin_33863087

最新推荐文章于 2024-09-13 15:51:42 发布

阅读量236

点赞数

文章标签： python 爬虫

原文链接：http://www.cnblogs.com/hiss/p/8870792.html

版权

本文介绍了一个Python程序，该程序使用requests和BeautifulSoup库从豆瓣Top250书籍页面抓取书籍信息，包括标题、作者及评分等，并展示了如何遍历所有页面并获取每本书的详细信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
from bs4 import BeautifulSoup

def get_book(url):
    wb_data = requests.get(url)
    soup = BeautifulSoup(wb_data.text,'lxml')
    title_list = soup.select('h1 > span')
    title = title_list[0].text
    author_list = soup.select('div#info > a')
    author = author_list[0].text.replace(" ", "").replace("\n", "")
    score_list = soup.select('strong.ll.rating_num')
    score = score_list[0].text

    data = {
        'title':title,
        'score':score,
        'author':author,
    }

    print(data)


def get_all_book():
    for i in range(0,250,25):
        url = 'https://book.douban.com/top250?start=' + str(i)
        wb_data = requests.get(url)
        soup = BeautifulSoup(wb_data.text,'lxml')
        href_list = soup.select('div.pl2 > a')
        for href in href_list:
            link = href.get('href')
            get_book(link)

get_all_book()