<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[ReganDu的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/ReganDu</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; ReganDu]]></copyright><item><title><![CDATA[Scrapy1.5基本概念（十二）——异常（Exceptions）]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/85778746</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/85778746</guid><author>ReganDu</author><pubDate>Fri, 04 Jan 2019 15:30:49 +0800</pubDate><description><![CDATA[
本文为译文，原文见地址：https://docs.scrapy.org/en/latest/topics/exceptions.html

异常
内置的异常引用
下面是一组Scrapy内置的所有异常和这些异常的适用范围。
DropItem

exception scrapy.exceptions.DropItem

这个异常必须由数据项管道阶段抛出，以便停止处理数据项。更多信息见数据项管道。
C...]]></description><category></category></item><item><title><![CDATA[Scrapy1.5基本概念（十一）——配置项（Settings）]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/85778688</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/85778688</guid><author>ReganDu</author><pubDate>Fri, 04 Jan 2019 15:30:29 +0800</pubDate><description><![CDATA[
本文为译文，原文见地址：https://docs.scrapy.org/en/latest/topics/settings.html

配置项
Scrapy配置项允许你自定义所有Scrapy组件的行为，包括核心、扩展、管道和爬虫本身。
配置项的基础结构提供了键值映射的全局命名空间，代码可以在项目的任意地方使用该命名空间来提取配置项的值。配置项还可以通过不同的机制来填充数据，后续我们会介绍。
这些...]]></description><category></category></item><item><title><![CDATA[Scrapy1.5基本概念（十）——链接提取器（Link Extractors）]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/85778667</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/85778667</guid><author>ReganDu</author><pubDate>Fri, 04 Jan 2019 15:30:20 +0800</pubDate><description><![CDATA[
本文为译文，原文见地址：https://docs.scrapy.org/en/latest/topics/link-extractors.html

链接提取器（Link Extractors）
链接提取器是只用于从web页面（scrapy.http.Response对象）中提取链接的对象，这些链接最终会被继续追踪。
在Scrapy中有一个可用的scrapy.linkextractors.Lin...]]></description><category></category></item><item><title><![CDATA[Scrapy1.5基本概念（九）——请求和响应（Requests and Responses）]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/85778634</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/85778634</guid><author>ReganDu</author><pubDate>Fri, 04 Jan 2019 15:30:12 +0800</pubDate><description><![CDATA[
本文为译文，原文见地址：https://docs.scrapy.org/en/latest/topics/request-response.html

请求和响应（Requests and Responses）
Scrapy使用Request和Response对象来爬行web站点。
通常来说，Request对象在爬虫中生成，并且系统中传递，直到它们到达下载器（Downloader），下载器执行请...]]></description><category></category></item><item><title><![CDATA[Scrapy1.5基本概念（八）——Feed exports]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/85778609</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/85778609</guid><author>ReganDu</author><pubDate>Fri, 04 Jan 2019 15:30:02 +0800</pubDate><description><![CDATA[
本文为译文，原文见地址：https://docs.scrapy.org/en/latest/topics/feed-exports.html

Feed exports
于版本0.10中新增。
在实现Scrapy时，最常用特性之一是能够正确地存储爬取到的数据，这通常意味着生成一个“导出文件”，其中包含了爬取到的数据（通常被称为“到处提要（export feed）”），以供其他系统使用。
Scra...]]></description><category></category></item><item><title><![CDATA[Scrapy1.5基本概念（七）——数据项管道（Item Pipeline）]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/85778571</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/85778571</guid><author>ReganDu</author><pubDate>Fri, 04 Jan 2019 15:25:04 +0800</pubDate><description><![CDATA[
本文为译文，原文见地址：https://docs.scrapy.org/en/latest/topics/item-pipeline.html

数据项管道（Item Pipeline）
在数据项被爬虫爬取到之后，这个数据项将被发送给数据项管道（Item Pipeline），数据项管道将通过一些按照顺序执行的组件来处理这个数据项。
每一个数据项管道组件（有时候称为数据项管道）都是一个Python...]]></description><category></category></item><item><title><![CDATA[Scrapy1.5基本概念（六）——Scrapy shell]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/85778544</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/85778544</guid><author>ReganDu</author><pubDate>Fri, 04 Jan 2019 15:24:46 +0800</pubDate><description><![CDATA[
本文为译文，原文见地址：https://docs.scrapy.org/en/latest/topics/shell.html

Scrapy shell
Scrapy shell是一个交互式的shell，你可以在其中非常快速地尝试和调试你的抓取代码，而不必运行爬虫。它本来是用来测试数据提取代码的，但实际上你可以用它来测试任何类型的代码，因为它也是一个常规的Python shell。
这个she...]]></description><category></category></item><item><title><![CDATA[Scrapy1.5基本概念（五）——数据项加载器（Item Loader）]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/85778519</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/85778519</guid><author>ReganDu</author><pubDate>Fri, 04 Jan 2019 15:24:24 +0800</pubDate><description><![CDATA[
本文为译文，原文见地址：https://docs.scrapy.org/en/latest/topics/loaders.html

数据项加载器
数据项加载器提供了一个方便的机制来填充爬取到的数据项（Item）。即使数据项可以使用它们自身的类似于字典API的方式来填充数据，但是数据项加载器提供了一个更方便的API从抓取过程中来填充它们。整个过程简单说就是通过自动化一些常见的任务——比如在分配数...]]></description><category></category></item><item><title><![CDATA[Scrapy1.5基本概念（四）——数据项（Item）]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/85778485</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/85778485</guid><author>ReganDu</author><pubDate>Fri, 04 Jan 2019 15:23:57 +0800</pubDate><description><![CDATA[
本文为译文，原文见地址：https://docs.scrapy.org/en/latest/topics/items.html

数据项
本文主要目的是，从非结构化的数据源（比如，web页面）提取出结构化的数据。Scrapy爬虫可以提取数据并返回项Python字典一样的数据。虽然让人觉得很方便和熟悉，但是Python字典缺乏结构化：这是很容易在字段名中输入错误或者返回不一致的数据，特别是在有许多...]]></description><category></category></item><item><title><![CDATA[Scrapy1.5基本概念（三）——选择器（Selector）]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/85778457</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/85778457</guid><author>ReganDu</author><pubDate>Fri, 04 Jan 2019 15:23:35 +0800</pubDate><description><![CDATA[
本文为译文，原文见地址：https://docs.scrapy.org/en/latest/topics/selectors.html#module-scrapy.selector

选择器
当你爬取网页时，通常需要你去执行的任务是从HTML源中提取数据。这里有一些可用的库能够帮你实现这个操作：

BeautifulSoup是一个在Python程序员中非常流行的web爬取库，它根据HTML代码的...]]></description><category></category></item><item><title><![CDATA[Scrapy1.5基本概念（二）——爬虫（Spider）]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/85778418</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/85778418</guid><author>ReganDu</author><pubDate>Fri, 04 Jan 2019 15:23:03 +0800</pubDate><description><![CDATA[本文为译文，原文见地址：https://docs.scrapy.org/en/latest/topics/spiders.html

爬虫
爬虫是一些类，这些类定义了如何对某个站点（或一组站点）进行抓取，包括如何执行抓取（即跟踪链接）以及如何从其页面中提取结构化数据（即抓取项）。换句话说，爬虫是为特定站点（或者在某些情况下是一组站点）爬行和解析页面定义自定义行为的地方。
对于爬虫，循环爬取的流程...]]></description><category></category></item><item><title><![CDATA[Scrapy1.5基本概念（一）——命令行工具]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/85778397</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/85778397</guid><author>ReganDu</author><pubDate>Fri, 04 Jan 2019 15:22:42 +0800</pubDate><description><![CDATA[
本文为译文，原文见地址：https://docs.scrapy.org/en/latest/topics/commands.html

命令行工具

于版本0.10新增。

通过scrapy命令行工具可以控制Scrapy，这里将其称为“Scrapy tool”，以便将其与子命令区分开来，子命令我们将其称为“commands”或者“Scrapy Commands”。
处于多种目的，Scrapy工具...]]></description><category></category></item><item><title><![CDATA[Scrapy1.5入门（四）——示例]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/85778371</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/85778371</guid><author>ReganDu</author><pubDate>Fri, 04 Jan 2019 15:22:17 +0800</pubDate><description><![CDATA[
本文为译文，原文见地址：https://docs.scrapy.org/en/latest/intro/examples.html

示例
通过示例是最好的学习方法，Scrapy也不例外。出于这个原因，有一个名为quotesbot的示例Scrapy项目，你可以使用它来播放和学习有关Scrapy的更多信息。它包含两个用于http://quotes.toscrape.com爬虫，一个使用CSS选择器...]]></description><category></category></item><item><title><![CDATA[Scrapy1.5入门（三）——Scrapy教程]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/85778338</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/85778338</guid><author>ReganDu</author><pubDate>Fri, 04 Jan 2019 15:21:54 +0800</pubDate><description><![CDATA[
本文为译文，原文见地址：https://docs.scrapy.org/en/latest/intro/tutorial.html

Scrapy教程
在本教程中，我们假设Scrapy已经在你的系统上成功安装了。如果没有，请跳转到安装向导。
我们将前往http://quotes.toscrape.com/，一个列出了著名作家名言的网站。
本教程会向你展示如下任务：

创建一个新的Scrapy工程...]]></description><category></category></item><item><title><![CDATA[Scrapy1.5入门（二）——安装向导]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/85778292</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/85778292</guid><author>ReganDu</author><pubDate>Fri, 04 Jan 2019 15:21:16 +0800</pubDate><description><![CDATA[
本文为译文，原文见地址：https://docs.scrapy.org/en/latest/intro/install.html

安装向导
安装Scrapy
Scrapy可以运行在Python2.7版本和Python3.4或者及其以上版本。
如果你正在使用Anaconda或者Miniconda，你可以从conda-forge通道来安装这个包，该通道具有Linux、Windows和OS X平台下...]]></description><category></category></item><item><title><![CDATA[Scrapy1.5入门（一）——初识Scrapy]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/85778066</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/85778066</guid><author>ReganDu</author><pubDate>Fri, 04 Jan 2019 15:20:27 +0800</pubDate><description><![CDATA[
本文为译文，原文见地址：https://docs.scrapy.org/en/latest/intro/overview.html

初识Scrapy
Scrapy是一个用来爬取web网站和提取结构化数据的应用框架，可用于数据挖掘、信息的处理或者归档。
即使Scrapy最初是为web抓取（web scraping）而设计的，但它也可以使用api(如Amazon Associates web Se...]]></description><category></category></item><item><title><![CDATA[Flask1.0.2系列（二十） Flask相关的模式]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/80270224</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/80270224</guid><author>ReganDu</author><pubDate>Wed, 16 May 2018 14:51:54 +0800</pubDate><description><![CDATA[英文原文地址：http://flask.pocoo.org/docs/1.0/patterns/若有翻译错误或者不尽人意之处，请指出，谢谢~]]></description><category></category></item><item><title><![CDATA[Flask1.0.2系列（十九） 在Shell下工作]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/80269364</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/80269364</guid><author>ReganDu</author><pubDate>Wed, 16 May 2018 09:04:28 +0800</pubDate><description><![CDATA[英文原文地址：http://flask.pocoo.org/docs/1.0/shell/若有翻译错误或者不尽人意之处，请指出，谢谢~        （新增于版本0.3。）        很多人喜欢Python的原因之一是其有用交互式shell。shell允许你实时地执行Python命令并且立即会得到一个返回结果。Flask本身不包含一个交互式shell，因为它不需要预先设置任何特定的设置，仅仅导...]]></description><category></category></item><item><title><![CDATA[Flask1.0.2系列（十八） 开发服务器]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/80269029</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/80269029</guid><author>ReganDu</author><pubDate>Fri, 11 May 2018 16:38:33 +0800</pubDate><description><![CDATA[英文原文地址：http://flask.pocoo.org/docs/1.0/server/若有翻译错误或者不尽人意之处，请指出，谢谢~        从Flask0.11版本开始，这里有多种内置方法来运行一个开发服务器。最好的方法是使用flask命令行工具，但是你也可以继续使用Flask.run()函数。1. 命令行        在开发时，强烈推荐使用flask命令行脚本（上一章内容）。因为它...]]></description><category></category></item><item><title><![CDATA[Flask1.0.2系列（十七） 命令行接口]]></title><link>https://blog.youkuaiyun.com/ReganDu/article/details/80266502</link><guid>https://blog.youkuaiyun.com/ReganDu/article/details/80266502</guid><author>ReganDu</author><pubDate>Fri, 11 May 2018 16:38:27 +0800</pubDate><description><![CDATA[英文原文地址：http://flask.pocoo.org/docs/1.0/cli/若有翻译错误或者不尽人意之处，请指出，谢谢~        在你的虚拟环境中安装Flask的时候会安装flask脚本——一个Click命令行接口。从终端执行，这个脚本能够访问内置的、扩展的、以及应用程序定义的命令。--help选项能够获取更多关于任何命令和选项的信息。1. 检测应用程序        flask命...]]></description><category></category></item></channel></rss>