爬取豆瓣上的电影--获取ajax的加载内容

目录

一.那么问题来了，有622条数据，有没有必要一次加载到页面中？

二.解决方案：使用ajax做局部刷新

1.爬取整个界面

2.通过ajax做局部刷新

（1）导入模块

（2）分析接口，总结规律

（3）代码

3.优化代码

---

豆瓣网址：https://www.douban.com/

我们想要爬取豆瓣网上分类是剧情的电影

进入官网---->电影----->排行榜----->分类排行榜------>剧情

点击进入

我们会发现满足条件的有622部电影，

一.那么问题来了，有622条数据，有没有必要一次加载到页面中？

答：没有必要

      界面不会把这些电影都给用户展现出来，当我们滑动滚动条的时候，会发现当滑动条快完的时候，滑动条又会变长，自己试一试，体会一下

（1）数据量大，在通信过程中要花费大量的时候，会让用户等待很久，用户体验较差

（2）由于数据量较大，一次加载到内存中会占用大量的内存空间

（3）由于用户只关心前几页的数据，后面的数据如果使用通信得来，或加载到内存江北视为浪费资源

二.解决方案：使用ajax做局部刷新

1.爬取整个界面

url 就是请求的地址

编写代码

import requests
url='https://movie.douban.com/typerank?type_name=%E5%89%A7%E6%83%85&type=11&interval_id=100:90&action='
respon