使用Python爬取中国Mooc网讨论区内所有评论
最近受朋友委托,写了一个爬取中国Mooc往讨论区所有评论的程序 ,他需要这些数据写论文. 如下:
他需要爬取这些板块里所有的评论. 俗话说的好 六月七月爬虫热 因为这段时间许多的大学生都毕业了
特此写一篇文章来记录一下
可以看到 评论非常的多, 人工手动去爬取工作量是非常之大, 要我想都不敢想 . 都是几千几百条评论回复的 .现在开始正文.
首先 来分析一下, 很容易发现是 Ajax异步加载 现在开始找接口 发现是这个接口
然后我们来看参数
我们只看有没有跟url相关的参数 发现 c0-.
原创
2020-07-03 13:12:09 ·
3286 阅读 ·
73 评论