Python抓取豆瓣电影Top250

文章简介

在本篇文章中，我们将探讨如何利用Python编程语言中的requests库和BeautifulSoup库来抓取豆瓣网站上电影Top250的数据信息。通过本文的学习，读者将掌握基本的网络爬虫技巧，了解如何解析HTML文档，以及怎样高效地处理和存储抓取到的数据。

1. 前言

简要介绍为什么选择豆瓣Top250作为抓取目标，以及这项任务可能带来的价值或学习点。

2. 准备工作

安装必要的库

pip install requests beautifulsoup4

3. 详细代码

import requests
from bs4 import BeautifulSoup
import time

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'
}

# 定义函数来获取并解析单页内容
def fetch_page(start):
    url = f'https://movie.douban.com/top250?start={start}'
    try:
        response = requests.get(url, headers=headers)
        response.raise_for_status()  # 如果响应状态码不是200，抛出HTTPError
        return response.text
    except requests.RequestException as e: