案例需求:
1.爬取该网页下的一级评论和二级评论
https://m.weibo.cn/detail/4813628149072458
2.
3.
分析:
1.找到一级评论请求地址
url请求地址:
二级url地址
分析翻页参数——可知翻页是从第二页开始的
从而得到:
移动端链接:https://m.weibo.cn/detail/4813628149072458
一级评论接口:https://m.weibo.cn/comments/hotflow?id=4813628149072458&mid=4813628149072458&max_id_type=0
--参数:
id: 4813628149072458
mid: 4813628149072458
max_id_type: 0
max_id: 13883307764046392 #翻页参数---从第二页开始 (在上一页一级评论接口可以找到)二级评论接口:https://m.weibo.cn/comments/hotFlowChild?cid=4813628329693567&max_id=0&max_id_type=0
---参数:
cid: 4813628329693567
max_id: 0 #二级翻页参数(在上一页评论接口中可以找到)
max_id_type: 0
获取一级评论
import requests
from jsonpath import jsonpath
import re
class Weibo():
def __init__(self):
self.one_url = 'https://m