python爬虫小案例_从豆瓣爬取多页的图书信息保存到数据库（MongoDB）

最新推荐文章于 2025-02-23 13:50:14 发布

原创最新推荐文章于 2025-02-23 13:50:14 发布 · 1.4k 阅读

26 ·

CC 4.0 BY-SA版权

文章标签：

#python

Python 同时被 3 个专栏收录

38 篇文章

订阅专栏

Python 相关

36 篇文章

订阅专栏

Python 爬虫

8 篇文章

订阅专栏

本文介绍了一种使用Python爬取豆瓣网站上特定标签图书信息的方法，包括书名、其他信息、评分及评价人数等详细数据，并展示了如何将这些数据存储到MongoDB数据库中。

部署运行你感兴趣的模型镜像

一、在豆瓣网爬取以下图书的信息：

二、参考代码：

1、连接 MongoDB 数据库，并且创建数据库和表

import pymongo
myclient = pymongo.MongoClient("mongodb://127.0.0.1:27017/")

db = myclient['webCrawler'] # 创建数据库 webCrawler

datatable = db['Book_info'] # 创建 Book_info 表

2、爬取数据并且存储到数据库

import re 
import pandas as pd
import requests
from bs4 import BeautifulSoup


dataSet = [] # 用来存储 爬取下来的书籍信息

# 爬取 前五页 的数据
for i in range(5):
       
    u = 'https://book.douban.com/tag/%E4%BA%92%E8%81%94%E7%BD%91?start='+str(i*20)+'&type=T'
    
    txt = requests.get(url = u)
    
    soup = BeautifulSoup(txt.text,'lxml') # 解析网址：使用 BeautifulSoup解析网址内容
    
    lis = soup.find('ul',class_="subject-list").find_all('li') # 查找所有 ul 的class 为"subject-list"下的 所有 li 标签
    
    
    for li in lis:
        book_dict = {} # 用来存储 每本书的信息
        book_dict['书名'] = li.h2.text.replace(' ','').replace('\n','')
        book_dict['其他信息'] = li.find('div',class_="pub").text.replace(' ','').replace('\n','')
        book_dict['评分'] = li.find('span',class_='rating_nums').text
        book_dict['评价人数'] = re.search(r'(\d*)人',li.find('span',class_='pl').text.replace(' ','').replace('\n','')).group(1)
        
        datatable.insert_one(book_dict) # 插入 图书信息到数据库中
        
        dataSet.append(book_dict) # 把每本书的信息 添加到列表中       
        

dataSetdf = pd.DataFrame(dataSet) # 将 list 类型的数据转换成 DataFrame 类型

三、可在数据库里查看爬取下来的信息：