爬虫——豆瓣Top250

最新推荐文章于 2025-11-20 13:04:47 发布

原创

最新推荐文章于 2025-11-20 13:04:47 发布 · 719 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #python #数据挖掘

本文介绍如何利用Python的requset库和BeautifulSoup（bs4）解析工具，爬取并整理豆瓣Top250书籍的数据，最终将数据存储为CSV文件，便于进一步分析。

使用requset库和bs4解析，最后保存为csv文件

import requests
from bs4 import BeautifulSoup
import pandas as pd
import xlwt
#https://movie.douban.com/top250?start=0
#https://movie.douban.com/top250?start=25&filter=
#爬取网页 获取响应 分析发现网页url与页面有关 25*page

def get_content(page):


        url = 'https://movie.douban.com/top250'

        data = {
            'start':25 * page
        }
        headers = {
             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'
        }
        response = requests.get(url=url,params=data,headers=headers)
        content = response.text
        return content

#解析响应内容 使用bs4
#所有的信息都在div[@class= info]标签下面
#电影名 xpath路径 //div[@class="info"]//span[@class="title"]/text() 会有中英文 [0]使得只有中文

def get_Data():
    data_info = []
    for page in range(0,10):
        content = get_content(page)
        soup = BeautifulSoup(content,'lxml')
        infos = soup.