Requests库实战(三)---爬取豆瓣电影详细信息

最新推荐文章于 2025-04-21 21:42:04 发布

赤坂·龙之介

最新推荐文章于 2025-04-21 21:42:04 发布

阅读量340

点赞数

分类专栏： python爬虫

本文链接：https://blog.youkuaiyun.com/Nagato_Yuki_SOS/article/details/118058340

版权

python爬虫专栏收录该内容

9 篇文章

订阅专栏

完整代码

爬取豆瓣电影的详细信息
地址：豆瓣电影动画
向下滑动时新增的数据也是Ajax请求，原理和上一个项目是一样的。唯一的不同是此处请求url携带了多个参数

import requests
import json
header={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36 Edg/91.0.864.48'
}
url='https://movie.douban.com/j/chart/top_list?'
param={
    'type': '25',
    'interval_id': '100:90',
    'action': '',
    'start': '0',
    'limit': '20',
}

r=requests.get(url=url,params=param,headers=header)
dic_obj=r.json()

print(dic_obj)
with open('./douban.json','w',encoding='utf-8') as f:
    json.dump(dic_obj,f,ensure_ascii=False)