爬虫实战：爬取豆瓣TOP250电影信息

最新推荐文章于 2025-02-14 16:01:44 发布

D_ry

最新推荐文章于 2025-02-14 16:01:44 发布

阅读量1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python 爬虫

本文链接：https://blog.youkuaiyun.com/qq_36936510/article/details/88543598

本文分享了一个Python爬虫实战项目，详细介绍了如何爬取并处理豆瓣电影TOP250的电影信息。通过两个核心函数，实现了获取电影详情页URL和解析电影详情数据的功能。最终数据以txt格式存储，也可方便地导入Excel进行进一步分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

直接上代码，主要2个函数，一个是获取每个电影的详情页URL的函数，一个是处理电影详情页数据的函数。

import requests
from bs4 import  BeautifulSoup
import time

start_url = 'https://movie.douban.com/top250'
movie_url = []
#连接太多会被拒绝，限制在5个
requests.adapters.DEFAULT_RETRIES = 5

def get_url(url):
    global movie_url, start_url
    resp = requests.get(url)
    soup = BeautifulSoup(resp.text,'lxml')
    info_list = soup.find_all(class_='info')
    for info in info_list:
        movie_url.append(info.find('a').get("href"))
    try:
        next_link = soup.find(attrs={
   
   'rel':'next'}).get("href")
        url = start_url+next_link
    except:
        url = None
    print(url)
    return url

def get_movie_info(url):
    try:
        resp = requests.get(url)  
    except:
        time.sleep(5)
        resp = requests.get(url)
    soup = BeautifulSoup(resp.text,'lxml')
    score = soup.find(attrs={
   
   'property':