<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wtftx的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wtftx</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wtftx]]></copyright><item><title><![CDATA[js代码识别Selenium+Webdriver及其应对方案]]></title><link>https://blog.youkuaiyun.com/wtftx/article/details/90377280</link><guid>https://blog.youkuaiyun.com/wtftx/article/details/90377280</guid><author>wtftx</author><pubDate>Mon, 20 May 2019 23:40:49 +0800</pubDate><description><![CDATA[今天学到的新知识，开发爬虫的过程中使用Selenium + Chromedriver 也能很轻松的被js识别。
例：
使用下面这一段代码启动Chrome窗口：
from selenium import webdriver
import time

driver = webdriver.Chrome()
time.sleep(300)
driver.quit()

在这个窗口中打开开发者工具，并定位...]]></description><category></category></item><item><title><![CDATA[Scrapy的中间件（一）]]></title><link>https://blog.youkuaiyun.com/wtftx/article/details/90344846</link><guid>https://blog.youkuaiyun.com/wtftx/article/details/90344846</guid><author>wtftx</author><pubDate>Mon, 20 May 2019 11:13:15 +0800</pubDate><description><![CDATA[主要内容参考 《Python爬虫开发 从入门到实战》
中间件是Scrapy里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。“中间件”本质上就是在中途劫持数据，做一些修改再把数据传递出去。中间件主要用来辅助开发，
在Scrapy中有两种中间件：下载器中间件（Downloader Middleware）和爬虫中间件（Spider...]]></description><category></category></item><item><title><![CDATA[scrapy 提取图片与信息（自定义管道）]]></title><link>https://blog.youkuaiyun.com/wtftx/article/details/90266982</link><guid>https://blog.youkuaiyun.com/wtftx/article/details/90266982</guid><author>wtftx</author><pubDate>Thu, 16 May 2019 16:50:29 +0800</pubDate><description><![CDATA[利用 scrapy 框架提取图片以及有用的信息：
python 3.7
scrapy 1.6
豆瓣top250电影
scrapy的管道文件（pipelines）：
pipelines: 在一个工程里面，在pipelines.py文件中定义管道，管道实际上就是一个类，而这个类定义了一些方法（属性），用来处理我们传进类（管道）中的数据，在处理完以后，再返回被处理以后的数据。多个管道合用，首先是将一个数...]]></description><category></category></item><item><title><![CDATA[scrapy 爬取图片]]></title><link>https://blog.youkuaiyun.com/wtftx/article/details/90112477</link><guid>https://blog.youkuaiyun.com/wtftx/article/details/90112477</guid><author>wtftx</author><pubDate>Sat, 11 May 2019 19:33:43 +0800</pubDate><description><![CDATA[记录一下scrapy 框架爬取静态网页图片方法
爬取网站 煎蛋网动物区

settings.py 之中进行设置

BOT_NAME = 'pictures'

SPIDER_MODULES = ['pictures.spiders']
NEWSPIDER_MODULE = 'pictures.spiders'

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; ...]]></description><category></category></item><item><title><![CDATA[scrapy初探（抓取豆瓣top250）]]></title><link>https://blog.youkuaiyun.com/wtftx/article/details/90028254</link><guid>https://blog.youkuaiyun.com/wtftx/article/details/90028254</guid><author>wtftx</author><pubDate>Thu, 09 May 2019 12:19:15 +0800</pubDate><description><![CDATA[抓取的内容：电影的title，director，评分，名言和详情页的电影简介，一共爬取五个内容。涉及主页的爬取和详情页的爬取。用scrapy可以很简单的实现这次爬取。
此次涉及 的除了scrapy框架外还有正则表达式的编写等知识。
豆瓣250 之前也爬取过，用的selenium自动化，这次用scrapy爬取一次，用于scrapy的初探
首先建立一个project：
scrapy startproj...]]></description><category></category></item><item><title><![CDATA[scrapy基本框架 basic爬取小说一部]]></title><link>https://blog.youkuaiyun.com/wtftx/article/details/89970900</link><guid>https://blog.youkuaiyun.com/wtftx/article/details/89970900</guid><author>wtftx</author><pubDate>Wed, 08 May 2019 19:57:44 +0800</pubDate><description><![CDATA[python 3.70
scrapy 1.60
windows 10.01
爬取一部小说 小说网址

设置items

import scrapy

class Novel1Item(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrap...]]></description><category></category></item><item><title><![CDATA[关于xpath选择器tips]]></title><link>https://blog.youkuaiyun.com/wtftx/article/details/89928818</link><guid>https://blog.youkuaiyun.com/wtftx/article/details/89928818</guid><author>wtftx</author><pubDate>Tue, 07 May 2019 20:31:28 +0800</pubDate><description><![CDATA[from scrapy.selector import Selector

text = '''
&lt;html&gt;&lt;body&gt;
&lt;div&gt;
    &lt;ul&gt;
        &lt;li class="item-0"&gt;&lt;a href="link1.html"&gt;first&lt;/a&gt;&lt;/li&gt;
        &lt;...]]></description><category></category></item><item><title><![CDATA[crawlspider structure]]></title><link>https://blog.youkuaiyun.com/wtftx/article/details/89841227</link><guid>https://blog.youkuaiyun.com/wtftx/article/details/89841227</guid><author>wtftx</author><pubDate>Sun, 05 May 2019 10:59:30 +0800</pubDate><description><![CDATA[记录一下相关参数方便查用
可以继承四种类来建立scrapy爬虫：Spider类，CrawlSpider类， CSVFeedSpider类和XMLFeedSpider类。
scrapy genspider -t modulewewant filename domain.com

对于一些比较规则的网站用Spider类去进行简单自动化爬取，但是对于一些较为复杂或者说链接的存放不规则的网站可以使用 cr...]]></description><category></category></item><item><title><![CDATA[scapy robot.txt]]></title><link>https://blog.youkuaiyun.com/wtftx/article/details/89672323</link><guid>https://blog.youkuaiyun.com/wtftx/article/details/89672323</guid><author>wtftx</author><pubDate>Mon, 29 Apr 2019 12:34:16 +0800</pubDate><description><![CDATA[在scrapy settings.py文件中有这样的一条默认开启的语句：
# Obey robots.txt rules
ROBOTSTXT_OBEY = True

默认为True，就是要遵守robots.txt 的规则. 通俗来说， robots.txt 是遵循 Robot协议 的一个文件，它保存在网站的服务器中，它的作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页 不希望 你进行爬取收录。在...]]></description><category></category></item><item><title><![CDATA[scrapy爬虫防止被反爬的5个策略]]></title><link>https://blog.youkuaiyun.com/wtftx/article/details/89642527</link><guid>https://blog.youkuaiyun.com/wtftx/article/details/89642527</guid><author>wtftx</author><pubDate>Sun, 28 Apr 2019 19:47:17 +0800</pubDate><description><![CDATA[Preventing from being banned with scrapy structure
1. delay time
import time
# first
time.sleep()
# second one, which can be used in setting.py or spider
download_delay = ***

2. Ban cookies
# Disable...]]></description><category></category></item><item><title><![CDATA[优快云-markdown编辑器记录]]></title><link>https://blog.youkuaiyun.com/wtftx/article/details/89635544</link><guid>https://blog.youkuaiyun.com/wtftx/article/details/89635544</guid><author>wtftx</author><pubDate>Sun, 28 Apr 2019 12:13:39 +0800</pubDate><description><![CDATA[这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入
欢迎使用Ma...]]></description><category></category></item></channel></rss>