爬虫爬取豆瓣前500名书单

最新推荐文章于 2025-03-11 23:01:11 发布

原创最新推荐文章于 2025-03-11 23:01:11 发布 · 756 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python

python爬虫专栏收录该内容

6 篇文章

订阅专栏

本文介绍了一种使用Python的requests和BeautifulSoup库进行网页爬取的方法，具体目标是从当当网抓取图书排行榜的前500名书籍信息，包括书名和标签，并详细展示了如何解析和保存数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬虫爬取豆瓣前500名书单

排名书名所在标签
进一步提取文本

排名书名所在标签

在这里插入图片描述

# 观察上面的文档结果

import requests
from bs4 import BeautifulSoup
import bs4


def main(page):
    url = u'http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-'+str(page)
    html = requests.get(url)
    html.encoding = 'gb2312'
    bs = BeautifulSoup(html.content, 'lxml')
    a = bs.find_all('div', 'name')
    # print(a)
    file = open('../file/out.txt', mode='a+', encoding='utf-8')
    # 将结果追加文本中
    for i in a:
        file.write(str(i)+'\n')
    file.close()


if __name__ == '__main__':
# 每页20页记录
    for i in range(1, 26):
        main(i)

进一步提取文本

import requests
from bs4 import BeautifulSoup
import bs4


def main():
    file = open('../file/out1.txt', mode='w+', encoding='utf-8')
    with open('../file/out.txt', mode='r', encoding='utf-8') as f:
        for i in f:
            bs = BeautifulSoup(i, 'lxml')
            file.write(str(bs.div.a['title'])+'\n')
    file.close()


if __name__ == '__main__':
    main()