利用requsets、bs4、re库爬取豆瓣图书top250【Python】

最新推荐文章于 2025-07-15 16:19:48 发布

原创

最新推荐文章于 2025-07-15 16:19:48 发布 · 1k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#豆瓣图书 #网络爬虫 #requests #BeautifulSoup #re

因为最近在练习定向网络爬虫技术，爬了豆瓣电影之后，顺便爬一下豆瓣图书，具体请看介绍。

介绍

1.用到的库有requests，bs4中的BeautifulSoup，以及正则表达式re库。requests用来获取网页，BeautifulSoup用来解析页面，re用来匹配查找。
2.值得注意的是，博主想把top250的图书的名字、评分、一句话简介提取出来，但是没有看到有的图书是没有一句话简介的，于是刚开始的时候疯狂报错。严谨考虑确实应该加一层判断才对。
3.其实re库和BeautifulSoup库都不是必须的，使用其中一个就可以达到效果，这里为了练习，两个库都使用上了。

脚本如下

'''
@Author: Guo Yingwei
@Date: 2019-07-09 17:02:37
@E-mail: willgyw@126.com
@Description:  crawl top250 book on Douban.
'''
import requests
from bs4 import BeautifulSoup
import codecs
import re

def get_page(url):
    try:
        r = requests.get(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ''
    
def parse_html(html, return_list