豆瓣电影爬虫练习之下滑惰性加载（延迟加载、懒加载、无限滚动、瀑布流）

爬虫如果要翻页，需要有page参数变化，有规律才好翻页继续爬下去，如果没有规律，就只能爬一次就结束了，所以爬虫要持续执行，需要找到数据加载的规律，也就是找到那个动态变化的参数，而且这个参数还是有规律的，比如每次加1，或者像豆瓣电影列表里，每次加20。

豆瓣电影列表里，下滑懒加载，可以查看xhr资源里的加载链接，是有规律的：

https://movie.douban.com/j/chart/top_list?type=17&interval_id=100%3A90&action=&start=0&limit=1

https://movie.douban.com/j/chart/top_list?type=17&interval_id=100%3A90&action=&start=0&limit=20

https://movie.douban.com/j/chart/top_list?type=17&interval_id=100%3A90&action=&start=20&limit=20

https://movie.douban.com/j/chart/top_list?type=17&interval_id=100%3A90&action=&start=40&limit=20

https://movie.douban.com/j/chart/top_list?type=17&interval_id=100%3A90&action=&start=60&limit=20

其中参数start在变化，其他的参数都不变，这就有规律可循了。

MongoDB的安装使用，可以参考这篇：mongodb Windows安装与使用教程（python）_andux的博客-优快云博客

爬豆瓣电影列表用MongoDB数据库进行保存数据，需要在MongoDB中创建一个数据库和表（collection）。

python爬虫豆瓣电影列表代码如下：

import requests
import json
import pymongo


headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36"
}

# https://movie.douban.com/j/chart/top_list?type=17&interval_id=100%3A90&action=&start=0&limit=20
url_start = "https://movie.douban.com/j/chart/top_list"
params_start = {
    "type": "17",
    "interval_id": "100:90",
    "action": "",
    "start": "0",
    "limit": "20",
}

client = pymongo.MongoClient("mongodb://localhost:27017")
db = client["douban"]
collection = db["movies"]


def main(url, params):
    params_next = {
        "type": "17",
        "interval_id": "100:90",
        "action": "",
        "start": int(params_start["start"]) + 20,
        "limit": "20",
    }
    res = requests.get(url, headers=headers, params=params)
    if len(res.json()) == 0:
        return
    # print(json.dumps(res.json(), ensure_ascii=False, indent=4))
    for item in res.json():
        data = {
            "title": item["title"],
            "release_date": item["release_date"],
            "rank": item["rank"],
        }
        result = collection.insert_one(data)
        print(result.inserted_id)
    main(url_start, params_next)


if __name__ == '__main__':
    main(url_start, params_start)

执行结果：