网络爬虫
关注
分享
扫一扫
風起云扬
一位爱好运动的程序猿，本人主要在AI头部公司，从事AI算法研发以及提供AI解决方案，主要专注的研究方向：自然语言处理、知识图谱、多轮对话、信息抽取，服务行业有制造业、政府、军工领域； 如果相关文章对你有帮助、欢迎关注、点赞、收藏(一键三连)和订阅专栏哦； 如果想了解更多深度学习与自然语言处理技术的发展、算法、业务落地和场景，可以联系我一起探讨
展开
-
Python利用Requests库写爬虫
Python利用Requests库写爬虫python编译环境是 python 3.6基本Get请求：#-*- coding:utf-8 -*-import requestsurl = 'http://www.baidu.com'r = requests.get(url)print(r)带参数Get请求：#--coding:utf-8--i原创 2017-08-08 21:00:37 · 377 阅读 · 0 评论 -
Python3 解决编码问题： `UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 10: ille
Python3 解决编码问题： UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 10: illegal multibyte sequence — 当执行爬虫将爬取信息打印到终端时出现的编码错误Python 版本：python-3.5.0-amd64目标网站：http://blog转载 2017-09-17 16:43:51 · 994 阅读 · 0 评论 -
Python爬虫防封杀方法集合
Python爬虫防封杀方法集合前言在爬取的过程中难免发生ip被封和403错误等等，这都是网站检测出你是爬虫而进行反爬措施，这里自己总结下如何避免方法1：设置等待时间有一些网站的防范措施可能会因为你快速提交表单而把你当做机器人爬虫，比如说以非常人的速度下载图片，登录网站，爬取信息。常见的设置等待时间有两种，一种是显性等待时间（强制停几秒），一种是隐性等待时间（看具体情转载 2017-09-17 16:53:56 · 799 阅读 · 0 评论 -
Python3 解决编码问题： `UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 10: ille
python3 解决编码问题： UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 10: illegal multibyte sequence — 当执行爬虫将爬取信息打印到终端时出现的编码错误Python 版本：python-3.5.0-amd64目标网站：http://blog.csdn...原创 2018-05-14 16:16:49 · 1121 阅读 · 0 评论