Python_xiaobang的博客

【Part1——理论篇】 试想一个问题，如果我们要去抓取某个微博大V微博的评论数据，应该怎样去实现呢?最简单的做法就是找到微博评论数据接口，然后通过改变参数来获取最新数据并保存。首先寻找从微博抓取评论的接口，如下图所示。 但是很不幸，该接口频率受限，抓不了多少次就会被禁，刚准备好飞，就凉凉了。 接下来小编又开始选择移动端的微博网站，先登录，然后找到我们想去抓取评论的微博，打开浏览器自带流量分析工具，一直把评论往下拉，找到评论数据接口，如下图所示。 之后看到“参数”选项卡进行点击，可以看到有参数如下图所

如果你正在学习编程，那么“爬虫”绝对是你不可忽视的。那么，学习python爬虫之前需要哪些准备？ 一颗热爱学习，不屈不挠的心 一台有键盘的电脑（什么系统都行。我用的os x，所以例子会以这个为准） html相关的一些知识。不需要精通，能懂一点就行 Python的基础语法知识 。 当这些你都具备了，这个时候你需要学习： 1.基本的爬虫工作原理 2.基本的http抓取工具：scrapy 3.Bloom Filter: Bloom Filters by Example **4.如果需要大规模