scrapy 框架
关注
分享
扫一扫
wtftx
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
优快云-markdown编辑器记录
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...原创 2019-04-28 12:13:39 · 166 阅读 · 0 评论 -
scrapy 爬取图片
记录一下scrapy 框架爬取静态网页图片方法 爬取网站 煎蛋网动物区 settings.py 之中进行设置 BOT_NAME = 'pictures' SPIDER_MODULES = ['pictures.spiders'] NEWSPIDER_MODULE = 'pictures.spiders' USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; ...原创 2019-05-11 19:33:43 · 563 阅读 · 0 评论 -
关于xpath选择器tips
from scrapy.selector import Selector text = ''' <html><body> <div> <ul> <li class="item-0"><a href="link1.html">first</a></li> <...原创 2019-05-07 20:31:28 · 182 阅读 · 0 评论 -
Scrapy的中间件（一）
主要内容参考 《Python爬虫开发 从入门到实战》 中间件是Scrapy里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。“中间件”本质上就是在中途劫持数据，做一些修改再把数据传递出去。中间件主要用来辅助开发， 在Scrapy中有两种中间件：下载器中间件（Downloader Middleware）和爬虫中间件（Spider...原创 2019-05-20 11:13:15 · 1040 阅读 · 0 评论 -
scrapy初探（抓取豆瓣top250）
抓取的内容：电影的title，director，评分，名言和详情页的电影简介，一共爬取五个内容。涉及主页的爬取和详情页的爬取。用scrapy可以很简单的实现这次爬取。 此次涉及 的除了scrapy框架外还有正则表达式的编写等知识。 豆瓣250 之前也爬取过，用的selenium自动化，这次用scrapy爬取一次，用于scrapy的初探 首先建立一个project： scrapy startproj...转载 2019-05-09 12:19:15 · 249 阅读 · 0 评论 -
scrapy基本框架 basic爬取小说一部
python 3.70 scrapy 1.60 windows 10.01 爬取一部小说 小说网址 设置items import scrapy class Novel1Item(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() title = scrap...原创 2019-05-08 19:57:44 · 395 阅读 · 0 评论 -
crawlspider structure
记录一下相关参数方便查用 可以继承四种类来建立scrapy爬虫：Spider类，CrawlSpider类， CSVFeedSpider类和XMLFeedSpider类。 scrapy genspider -t modulewewant filename domain.com 对于一些比较规则的网站用Spider类去进行简单自动化爬取，但是对于一些较为复杂或者说链接的存放不规则的网站可以使用 cr...原创 2019-05-05 10:59:30 · 209 阅读 · 0 评论 -
scapy robot.txt
在scrapy settings.py文件中有这样的一条默认开启的语句： # Obey robots.txt rules ROBOTSTXT_OBEY = True 默认为True，就是要遵守robots.txt 的规则. 通俗来说， robots.txt 是遵循 Robot协议 的一个文件，它保存在网站的服务器中，它的作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页 不希望 你进行爬取收录。在...原创 2019-04-29 12:34:16 · 826 阅读 · 0 评论 -
scrapy爬虫防止被反爬的5个策略
Preventing from being banned with scrapy structure 1. delay time import time # first time.sleep() # second one, which can be used in setting.py or spider download_delay = *** 2. Ban cookies # Disable...原创 2019-04-28 19:47:17 · 3023 阅读 · 0 评论 -
scrapy 提取图片与信息（自定义管道）
利用 scrapy 框架提取图片以及有用的信息： python 3.7 scrapy 1.6 豆瓣top250电影 scrapy的管道文件（pipelines）： pipelines: 在一个工程里面，在pipelines.py文件中定义管道，管道实际上就是一个类，而这个类定义了一些方法（属性），用来处理我们传进类（管道）中的数据，在处理完以后，再返回被处理以后的数据。多个管道合用，首先是将一个数...原创 2019-05-16 16:50:29 · 927 阅读 · 1 评论