爬虫学习-3（动态页面爬取-Ajax）

所谓动态页面，简单来说就是该页面的数据在你访问的时候并不是一下子给你，而是随着你的浏览逐渐展现，譬如豆瓣电影分类中的页面，数据会随着你的浏览逐渐呈现，并没有页面的跳转过程。所以我们要爬取的就是服务器返回的链接(画红线的链接)，并不能直接爬取网页链接。

from urllib.request import Request,urlopen
from fake_useragent import UserAgent
from urllib.parse import urlencode

base_url="https://movie.douban.com/j/chart/top_list?type=24&interval_id=100:90&action=&start={}&limit=20"
for i in range(100):
    headers={
        "User-Agent":UserAgent().chrome
    }
    url=base_url.format(i*20)
    url=Request(url,headers=headers)
    response=urlopen(url)
    info=response.read().decode()
    if info==""or info==None:
        break
    print(info)