根据关键词爬取豆瓣相关书籍信息

最新推荐文章于 2024-07-01 17:12:36 发布

原创

最新推荐文章于 2024-07-01 17:12:36 发布 · 435 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

这段代码展示了如何使用Python的requests和BeautifulSoup库爬取豆瓣网站上'python'标签的图书信息，包括书名、作者、出版年份、出版社和评分。爬虫逐页爬取，遇到空数据则停止。数据存储为CSV文件。

根据书的类型爬取相关信息并且保存至csv，这里以‘python’为例。
结果可以看到除了书名外，其他都有混杂，因为研究html不太彻底。得到的数据有点错误。

import sys
import time
import requests
import pandas as pd
import re
import csv
import numpy as np
from bs4 import BeautifulSoup
book_tag="python"
pagenum=1
header={'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
book_list=[]
while True:
    url="https://book.douban.com/tag/"+book_tag+"?start="+str(pagenum*20)
    try:
        response=requests.get(url,headers=header)
        response.raise_for_status()
        response.encoding=response.apparent_encoding
        responsetext=response.text
    except:
        print("爬取数据失败")
    # with open('douban.txt','wb+') as f:
    #     f.write(responsetext.encode())
    #     f.close()

    soup=BeautifulSoup(responsetext,'html.parser')
    list_soup=soup.find_all('li',class_='subject-item')
    if list_soup==[]:
        break
    def has_title(tag):
        return tag.has_attr('title')