user-Agent
关注
分享
扫一扫
bin~ibn
本科学历，大三选修人工智能方向，参加过语音识别项目，会使用深度学习的TensorFlow框架，掌握机器学习算法，会使用爬虫技术爬取数据，本科期间做过全国大学生创新创业训练赛进入省级，获得过大学生数学建模大赛优秀奖，华北五省机器人大赛省三等奖，参与过软件著作权的编写，参加过挑战杯，大学期间成绩优异，成绩排名稳居前五，通过了大学四级考试，会使用java、c、python、HTML、sql、JavaScript等语言，获得过ACAA中国数字艺术设计师证书
展开
-
爬虫的自创建请求对象：报错AttributeError: 'str' object has no attribute 'items'
在使用爬虫库创建自定义请求对象时将值传入headersagent = random.choice(userAgent)REQ = request.Request(url,headers=agent)报错AttributeError: 'str' object has no attribute 'items'查看源码属性的类型是键值对型将传入的值放入字符串中即可：agent = r...原创 2020-04-25 09:15:05 · 1881 阅读 · 1 评论 -
爬虫使用多个user-Agent
为什么要使用多个user-Agent？因为我们的爬虫到时候是一直循环的，每次爬取的时间间隔较短，目标网页容易发现同一个浏览器浏览太快这个漏洞，导致爬取不顺利，所以使用多个user-Agent来进行爬取访问，是一个随机的过程怎么样使用？以一个简单的爬取百度标题为例...原创 2020-04-25 08:59:58 · 1030 阅读 · 0 评论