Python爬取豆瓣电影数据的实战教程

包含编程籽料、学习路线图、爬虫代码、安装包等！【点击领取】

前言
在数据分析和机器学习领域，获取高质量的数据是第一步。豆瓣电影作为一个知名的电影评分网站，包含了丰富的电影信息和用户评价数据。本文将介绍如何使用Python爬取豆瓣电影数据，并存储到本地文件中。

准备工作
在开始之前，我们需要准备以下工具和库：

Python 3.x

requests库（用于发送HTTP请求）

BeautifulSoup4（用于解析HTML）

pandas（用于数据处理）

反爬措施：设置请求头、使用代理IP（可选）

安装所需库：

pip install requests beautifulsoup4 pandas

基础爬虫实现
1. 分析豆瓣电影页面结构
首先我们需要分析豆瓣电影Top250的页面结构（https://movie.douban.com/top250）。通过浏览器开发者工具（F12）可以查看页面HTML结构。

2. 获取单页电影数据

import requests
from bs4 import BeautifulSoup
import pandas as pd

def get_movies_on_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    movies = []
    for item in soup.find_all('div', class_='item'):
        title = item.find('span', class_='title').text
        rating = item.find('span', class_='rating_num').text
        people = item.find('div', class_='star').find_all('span')[-1].text[:-3]
        quote = item.find('span', class_='inq').text if item.find('span', class_='inq') else ''
        
        movies.append({
            'title': title,
            'rating': rating,
            'people': people,
            'quote': quote
        })
    
    return movies

# 测试获取第一页数据
url = 'https://movie.douban.com/top250'
movies = get_movies_on_page(url)
print(movies[:3])  # 打印前3部电影信息

3. 分页爬取所有数据
豆瓣Top250共有10页，我们需要构造所有页面的URL：

def get_all_movies():
    all_movies = []
    base_url = 'https://movie.douban.com/top250?start={}&filter='
    
    for i in range(0, 250, 25):
        url = base_url.format(i)
        print(f'正在爬取: {url}')
        movies = get_movies_on_page(url)
        all_movies.extend(movies)
        # 避免请求过于频繁，设置延时
        time.sleep(2)
    
    return all_movies

# 获取所有电影数据
all_movies = get_all_movies()

数据存储
将爬取到的数据保存为CSV文件：

def save_to_csv(movies, filename='douban_movies.csv'):
    df = pd.DataFrame(movies)
    df.to_csv(filename, index=False, encoding='utf_8_sig')
    print(f'数据已保存到 {filename}')

save_to_csv(all_movies)

反爬策略应对
豆瓣有一定的反爬机制，我们需要采取以下措施：

设置请求头：模拟浏览器访问

添加延时：避免频繁请求

使用代理IP（可选）：防止IP被封

随机User-Agent：使用fake_useragent库

改进后的请求函数：

from fake_useragent import UserAgent

def get_random_headers():
    ua = UserAgent()
    return {
        'User-Agent': ua.random,
        'Host': 'movie.douban.com',
        'Referer': 'https://movie.douban.com/top250'
    }

# 修改get_movies_on_page函数中的headers
headers = get_random_headers()

完整代码

import requests
from bs4 import BeautifulSoup
import pandas as pd
import time
from fake_useragent import UserAgent

def get_random_headers():
    ua = UserAgent()
    return {
        'User-Agent': ua.random,
        'Host': 'movie.douban.com',
        'Referer': 'https://movie.douban.com/top250'
    }

def get_movies_on_page(url):
    headers = get_random_headers()
    
    try:
        response = requests.get(url, headers=headers)
        response.raise_for_status()
        soup = BeautifulSoup(response.text, 'html.parser')
        
        movies = []
        for item in soup.find_all('div', class_='item'):
            title = item.find('span', class_='title').text
            rating = item.find('span', class_='rating_num').text
            people = item.find('div', class_='star').find_all('span')[-1].text[:-3]
            quote = item.find('span', class_='inq').text if item.find('span', class_='inq') else ''
            
            movies.append({
                'title': title,
                'rating': float(rating),
                'people': int(people),
                'quote': quote
            })
        
        return movies
    except Exception as e:
        print(f"获取数据失败: {e}")
        return []

def get_all_movies():
    all_movies = []
    base_url = 'https://movie.douban.com/top250?start={}&filter='
    
    for i in range(0, 250, 25):
        url = base_url.format(i)
        print(f'正在爬取: {url}')
        movies = get_movies_on_page(url)
        all_movies.extend(movies)
        time.sleep(3)  # 增加延时
    
    return all_movies

def save_to_csv(movies, filename='douban_movies.csv'):
    df = pd.DataFrame(movies)
    df.to_csv(filename, index=False, encoding='utf_8_sig')
    print(f'数据已保存到 {filename}')

if __name__ == '__main__':
    all_movies = get_all_movies()
    save_to_csv(all_movies)
    
    # 简单数据分析
    df = pd.DataFrame(all_movies)
    print("\n豆瓣Top250电影数据分析:")
    print(f"平均评分: {df['rating'].mean():.2f}")
    print(f"评价人数最多: {df.loc[df['people'].idxmax()]['title']} ({df['people'].max()}人评价)")
    print(f"最高评分: {df.loc[df['rating'].idxmax()]['title']} ({df['rating'].max()}分)")

进阶扩展
爬取更多信息：导演、主演、年份、类型等

多线程爬取：提高爬取效率

使用Scrapy框架：构建更强大的爬虫

数据可视化：分析评分分布、类型分布等

注意事项
爬虫应遵守网站的robots.txt协议

控制请求频率，避免给服务器造成过大压力

仅用于学习目的，不得用于商业用途

如果被封IP，需要更换IP或暂停爬取

结语
本文介绍了如何使用Python爬取豆瓣电影Top250的基本信息。通过这个案例，你可以掌握requests和BeautifulSoup的基本用法，以及如何处理常见的反爬措施。希望这篇教程对你有所帮助！

最后：
希望你编程学习上不急不躁,按照计划有条不紊推进,把任何一件事做到极致,都是不容易的,加油,努力！相信自己！

文末福利
最后这里免费分享给大家一份Python全套学习资料，希望能帮到那些不满现状，想提升自己却又没有方向的朋友，也可以和我一起来学习交流呀。

包含编程资料、学习路线图、源代码、软件安装包等！【点击这里领取！】
① Python所有方向的学习路线图，清楚各个方向要学什么东西
② 100多节Python课程视频，涵盖必备基础、爬虫和数据分析
③ 100多个Python实战案例，学习不再是只会理论
④ 华为出品独家Python漫画教程，手机也能学习