豆瓣网电影爬取

最新推荐文章于 2023-12-26 14:56:38 发布

W痞子书生

最新推荐文章于 2023-12-26 14:56:38 发布

阅读量870

点赞数

CC 4.0 BY-SA版权

分类专栏： Python 文章标签：豆瓣网爬取电影爬取 python爬虫

本文链接：https://blog.youkuaiyun.com/wkdami/article/details/80826966

还在思考该看什么电影吗？还在纠结这个电影值不值得看吗？还在苦恼找不到对口味的电影吗？福利来了！豆瓣网电影信息爬取，专业分析电影价值，有了网友们的切身体验，你还需有担心看到烂片的烦恼吗！
废话不多说，直接上代码！

开发环境：Windows10
开发语言:Python3.6
开发工具：pycharm
抓包工具：Charles

import random
import json

import jsonpath as jsonpath
import requests
import time


class DouBan_Spider():
   def __init__(self):
       self.start = 0
       self.User_Agents = [
           "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
           "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .