- 博客(2)
- 收藏
- 关注
RSS订阅
原创 python爬虫抓取B站全量评论及用户画像（视频教程，纯干货）
本视频主要介绍了如何完整的爬取B某视频网站的全量评论和用户画像，包括爬取子评论和子评论的方法，API和字典数据的获取使用方法。有详细的代码解释和经验分享，直到程序执行返回爬取结果。添加链接描述因论坛上传视频大小有限，可扫码前往公众号文章中观看。本视频仅用于个人学习，禁止从事违法活动和商业谋利。...
2020-12-26 12:58:09
1496
2
原创 大数据爬虫为什么要使用IP代理,代理IP的特点是什么?
随着互联网的迅猛发展，大数据的应用，大数据样本获得需要通过数据爬虫来实现，而爬虫工作者一般都绕不过代理 IP 这个问题，为什么呢，这是因为在网络爬虫抓取信息的过程中，抓取频率高过了目标网站的设置阀值，将会被禁止访问。如果抓取频率低了就影响数据抓取，严重浪费时间，那么这个问题如何解决呢，其实也很简单，那就是使用代理 IP。那么代理 IP 一般从哪里来呢？一般获取代理 IP 的方式有以下三种，让我们一一道来。第一种：自己搭建服务器，这种代理 IP 优点是效果最稳定，时效和地区完全可控，可以按照自己的要求来搞
2021-01-05 14:05:49
253
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人