requests用法之爬取豆瓣排行

最新推荐文章于 2024-11-22 23:13:34 发布

原创最新推荐文章于 2024-11-22 23:13:34 发布 · 622 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#豆瓣 #爬虫

Python 同时被 2 个专栏收录

22 篇文章

订阅专栏

爬虫

8 篇文章

订阅专栏

本文介绍了一种使用Python和requests库爬取豆瓣电影排行榜的方法，通过设置代理IP和请求头，成功获取了科幻类型电影的详细信息，包括电影名称、评分、图片链接、上映日期和评价人数，并将数据存储到本地txt文件中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬取豆瓣排行

import requests

url = "https://movie.douban.com/j/chart/top_list?type_name=科幻&type=17&interval_id=100:90&action="
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"}
proxies = {"http":"http://163.204.241.255:9999","https":"https://163.125.67.224:9797"} #代理ip

response = requests.get(url=url,proxies=proxies,headers=headers)
result = response.json()
# print(result)
for i in result:  #提取数据
    print(i)
    rating = i["rating"]  #评分
    print(rating)
    score = i["score"]  #评分
    cover_url = i["cover_url"]  #图片链接
    types = i["types"]  #类型
    title = i["title"]  #标题
    release_date = i["release_date"]  #上映日期
    vote_count = i["vote_count"]  #评价人数
    actors = i["actors"]  #演员
    info = "电影名称：{}，评分：{},图片：{}，上映日期：{}，评价人数：{}".format(title,score,cover_url,release_date,vote_count)
    print(info)
    with open("douban.txt", "a", encoding="utf-8")as f:  #写入txt文件
        f.write(info+"\n")