豆瓣读书排名—beautifulsoup提取

最新推荐文章于 2021-02-20 18:21:16 发布

原创最新推荐文章于 2021-02-20 18:21:16 发布 · 390 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#beautifulsoup

python爬虫专栏收录该内容

8 篇文章

订阅专栏

本文介绍了一种使用Python爬取豆瓣网站上图书排行榜的方法。通过发送HTTP请求获取页面内容，并利用正则表达式和BeautifulSoup解析网页源码，提取书籍排名及名称等信息。最后将数据保存为txt文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
import re
import json
from bs4 import beautiful.soup


#发送请求，获取响应
class A():
    def get_html(self):
        response = requests.get(url)
        html = response.read().decode("utf-8")
        return html

    beautifulsoup
    
    #解析响应，提取数据
    def parse_html(html):
        
        #正则表达式(排名、书名)
        pattern = re.compile('class="hd".*?class="pos">(.*?)</span>.*?class="title".*?target="_blank">(.*?)</a>', re.S)
        items = re.findall(pattern, html)
        for item in items:
            yield{
                'rank': item[0],
                'name': item[1].strip()
                }
    
        
#运行函数
if __name__ == '__main__':

    for perpage in range(0,3):
        with open('book_rank.txt', 'a', encoding = "utf-8") as br:
            url = 'https://www.douban.com/doulist/1264675/?start=' + str(perpage*25) + '&sort=seq&sub_type='
            html = A.get_html(url)
            for item in A.parse_html(html):
                br.write(json.dumps(item, ensure_ascii=False)+ '\n')