本文介绍了如何利用Python抓取微博评论。首先通过分析微博API接口和移动端网站找到评论数据，接着阐述了实战步骤，包括设置URL、携带cookie请求、处理返回数据、去除表情、保存到文件以及处理接口限制和数据去重。最后，讨论了在限制条件下这种方法的有效性，并提供了学习资源。
【Part1——理论篇】
试想一个问题，如果我们要抓取某个微博大V微博的评论数据，应该怎么实现呢?最简单的做法就是找到微博评论数据接口，然后通过改变参数来获取最新数据并保存。首先从微博api寻找抓取评论的接口，如下图所示。
但是很不幸，该接口频率受限，抓不了几次就被禁了，还没有开始起飞，就凉凉了。
接下来小编又选择微博的移动端网站，先登录，然后找到我们想要抓取评论的微博，打开浏览器自带流量分析工具，一直下拉评论，找到评论数据接口，如下图所示。
之后点击“参数”选项卡，可以看到参数为下图所示的内容：
可以看到总共有4个参数，其中第1、2个参数为该条微博的id，就像人的身份证号一样，这个相当于该条微博的“身份证号”，max_id是变换页码的参数，每次都要变化，下次的max_id参数值在本次请求的返回数据中。
【Part2——实战篇】<
最低0.47元/天 解锁文章
扫一扫
914
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
