豆瓣电影热度排名----爬虫学习

关注

原创最新推荐文章于 2026-08-30 13:11:46 发布 540 阅读 AI 写同款· GEO 优化 ›

老程序如何python代码爬取豆瓣热度Top100以内的电影信息 @本文来源于公众号：csdn2299，喜欢可以关注公众号程序员学府文章目录概述什么是网络爬虫分析爬虫需求确定目标分析目标1.借助工具分析目标网页2.然后对电影详情页进行分析思路分析具体实现效果总结概述这是一个简单的python爬虫程序，仅用作技术学习与交流，主要是通过一个简单的实际案例来对网络爬虫有个基础的认识。什么是网络爬虫简单的讲，网络爬虫就是模拟人访问web站点的行为来获取有价值... 阅读详情

亲测有效，仅供学习~

from urllib import request
import re
header={"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}
#https://movie.douban.com/j/search_subjects?type=movie&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%86&sort=recommend&page_limit=20&page_start=0
#https://movie.douban.com/j/search_subjects?type=movie&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%86&sort=recommend&page_limit=20&page_start=20
#https://movie.douban.com/j/search_subjects?type=movie&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%86&sort=recommend&page_limit=20&page_start=40
score_list=[]
movie_name_list=[]

page=int(input("请输入需要爬取的页数"))
for i in range(page):
    url = "https://movie.douban.com/j/search_subjects?type=movie&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%86&sort=recommend&page_limit=20&page_start="+str(i*20)
    req = request.Request(url,headers=header)
    resp=request.urlopen(req).read().decode()
    #"rate":"9.3","cover_x":1100,"title":"海上钢琴师"
    patten_score=r'"rate":"(.*?)"'
    patten_name=r'"title":"(.*?)"'
    score=re.findall(patten_score,resp)
    movie_name=re.findall(patten_name,resp)
    score_list.extend(score)
    movie_name_list.extend(movie_name)
for j in range(len(movie_name_list)):
    print("热度排名第",str(j+1)," 电影名称：",str(movie_name_list[j]),"，电影评分：",str(score_list[j]))