爬虫 处理网页中的ajax请求

浏览器：Google Chrome

Python版本：3.7

所引用的库：

from collections import deque
import requests
import json
from bs4 import BeautifulSoup
import re

解决步骤：

1. 按F12查看需要爬取的网页源代码，点击Network中的XHR，可以看到在Name文件列表找到对应文件。
   
2. 单击该文件，点击Headers，可以发现网站其实是向https://www.taptap.com/ajax/top/download?page=2&total=30发出了GET请求。
   
   再往下拉可以看到请求的参数为page和total：
   
3. 根据获取到的信息设置初始参数

total = 30
page = 2
json_url = 'https://www.taptap.com/ajax/top/download?total=' + str(total) + '&page=' + str(page)
unvisited = deque()     # 待爬取的链接的集合，使用广度