
爬虫
NineDays66
email:547691062@qq.com
展开
-
python 爬虫禁止访问解决方法(403)
1.增加Header2.代理IP3.终极方法4.实例练习5.更多思考在上一篇博客中说到,程序使用一段时间后会遇到HTTP Error 403: Forbidden错误。 因为在短时间内直接使用Get获取大量数据,会被服务器认为在对它进行攻击,所以拒绝我们的请求,自动把电脑IP封了。 解决这个问题有两种方法。一是将请求加以包装,变成浏览器请求模式,而不再是“赤裸裸”的请求。 但有时服务器是根据同一I...原创 2018-06-07 14:50:05 · 102134 阅读 · 1 评论 -
python 根据 url 下载图片
前言最近在做机器学习下的人脸识别的学习,机器学习这个东西有点暴力,很大程度上靠训练的数据量来决定效果。为了找数据,通过一个博客的指导,浏览了几个很知名的数据集。几个大型数据集是通过发邮件申请进行下载,几个小型数据集直接在网页的链接下载,还有一个Pubfig数据集则是提供了大量图片的链接来让我们自己写程序来下载。权衡了数据量的需求,最后选择Pubfig的数据集,于是就自己写了一个pyth...转载 2019-01-02 16:40:34 · 12243 阅读 · 0 评论