Python爬虫实战 | (6) 爬取猫眼电影《海王》影评

在本篇博客中，我们将爬取猫眼电影《海王》影评。下面是海王影评的接口：

http://m.maoyan.com/mmdb/comments/movie/249342.json_v=yes&offset=0&startTime=2019-01-01%2000:00:00

其中http://m.maoyan.com是猫眼电影的网址，后面是一个路径，249342是电影《海王》的id，startTime是评论的起始时间，年月日时分秒，%20代表空格。

接下来，我们打开这个影评接口：

接口的数据是json格式，一系列的键值对，上图阴影部分是一条影评 。我们关心的字段有cityName，content，id，score，startTime。

首先搭建爬虫主体框架：

import requests
import json
import time
from datetime import datetime
from datetime import timedelta

def get_page(url):
    pass

def parse_page(html):
    pass

def write_tofile(comments):
    pass

if __name__ == '__main__':

    '''
    海王影评接口
    url = 'http://m.maoyan.com/mmdb/comments/movie/249342.json?_v_=yes&offset=0&startTime=2019-01-01%2000:00:00'
    '''

    id = '249342' #海王电影id
    start_time = '2019-01-01 00:00:00' #开始时间
    end_time = '2018-01