python爬虫实战：抓取豆瓣电影 Top250数据

1.1 分析网页结构

        首先，打开豆瓣电影 Top250 页面，并通过浏览器的开发者工具（F12）观察网页的结构。每部电影的标题和评分位于特定的 HTML 标签内，可以通过这些标签来提取数据。

1.2 编写爬虫

import requests
from bs4 import BeautifulSoup

def get_movies(url):
    headers = {'User-Agent': 'Mozilla/5.0'}
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'lxml')
    
    movies = []
    
    for item in soup.find_all('div', class_='item'):
        title = item.find('span', class_='title').text
        rating = item.find('span', class_='rating_num').text
        movies.append({'title': title, 'rating': rating})
    
    return movies

url = 'https://movie.douban.com/top250'
movies = get_movies(url)

# 输出爬取的电影信息
for movie in movies:
    print(movie)

1.3 结果展示

        通过该爬虫可以成功抓取豆瓣电影 Top250 页面的电影标题和评分信息。

         该段代码只能抓取一页的数据，如果你想抓取整个 Top250 列表，就需要处理分页问题。豆瓣 Top250 分为 10 页，每页显示 25 部电影，所以你需要遍历多个页面，逐页抓取数据。

如何处理分页

        通过分析 URL 发现，豆瓣的分页信息通过 URL 的 start 参数控制。例如：

• 第一页的 URL 是：https://movie.douban.com/top250?start=0
• 第二页的 URL 是：https://movie.douban.com/top250?start=25
• 第三页的 URL 是：https://movie.douban.com/top250?start=50

        每次递增 25 就可以访问到下一页。因此，可以通过一个循环来构建不同的 URL，并抓取多页的数据。

详细文件已上传至资源文件中，可自行下载【免费】爬取豆瓣电影top250数据资源-优快云文库