爬虫
领带衬有黄金
领带衬有黄金,凡是独当一面
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
scrapy爬虫框架记录语句
.extract()将xpath对象转换为Unicode字符串 scrapy startproject XXX 新建一个scrapy爬虫文件 scrapy crawl XXX 执行scrapy 项目爬虫 scrapy genspider xxx "http://www.baidu.com/" 新建一个爬虫执行文件 scrapy list 查询当前可以执行的爬虫文件清单 管道文件...原创 2018-08-09 15:35:39 · 407 阅读 · 0 评论 -
爬虫遇到防盗链问题,图片加载不出来现象
<meta name="referrer" content="never"> 将出现在具有防盗链的界面添加该语句,就会有效的避过防盗链。 也可以添加referrer头,添加浏览器请求头,进行伪装。...原创 2018-08-07 18:37:27 · 1758 阅读 · 0 评论
分享