Python—爬取豆瓣电影排行榜

最新推荐文章于 2025-06-23 10:16:45 发布

小枫Geek

最新推荐文章于 2025-06-23 10:16:45 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫 python Xpath 文章标签： python 爬虫数据挖掘

本文链接：https://blog.youkuaiyun.com/m0_65592409/article/details/123498146

python 同时被 3 个专栏收录

37 篇文章

订阅专栏

爬虫

19 篇文章

订阅专栏

Xpath

5 篇文章

订阅专栏

该代码段使用Python的requests库获取豆瓣电影Top250纪录片的评分、排行、网址、类型、国籍、电影名、发布日期及演员信息，并存储到Excel表格中。每20部电影为一页，支持分页爬取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
import json
from xlutils.copy import copy
import xlrd
import xlwt

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'
}
url = 'https://movie.douban.com/j/chart/top_list?'
excel = xlwt.Workbook()
sheet = excel.add_sheet('纪录片')
sheet.write(0, 0, '评分')
sheet.write(0, 1, '排行')
sheet.write(0, 2, '网址')
sheet.write(0, 3, '类型')
sheet.write(0, 4, '国籍')
sheet.write(0, 5, '电影名')
sheet.write(0, 6, '发布日期')
sheet.write(0, 7, '演员')
start = 0
n = 1

param = {
    'type': '1',
    'interval_id': '100:90',
    'action': '',
    'start': start,
    'limit': '20',
}
response = requests.get(url=url, params=param, headers=headers)  # 返回一个列表数据response
li_data = json.loads(response.text)

# score-评分
# rank-排行
# url-网址
# types-类型
# regions-国籍
# title-名称
# release_date-发布日期
# actors-演员

for i in li_data:
    score = i['score']
    rank = str(i['rank'])
    url = i['url']
    types = ','.join(i['types'])
    regions = ','.join(i['regions'])
    title = i['title']
    release_date = i['release_date']
    actors = ','.join(i['actors'])

    sheet.write(n, 0, score)
    sheet.write(n, 1, rank)
    sheet.write(n, 2, url)
    sheet.write(n, 3, types)
    sheet.write(n, 4, regions)
    sheet.write(n, 5, title)
    sheet.write(n, 6, release_date)
    sheet.write(n, 7, actors)

    n += 1
    print(score, rank, url, types, regions, title, release_date, actors)
    # print(i)
start += 20
excel.save('D:/pycharm_pro/爬虫/My_Demo/豆瓣电影.xls')

print('start=%d' % start)