Python爬虫之Scrapy框架的使用（二）一：创建爬虫二：settings配置文件三：创建启动文件四：爬虫文件内容五：item文件六：pipelines文件七：使用scrapy中的ItemLoader提取数据7.1 爬虫文件内容7.2 input_processor和output_processor7.3 重用和扩展ItemLoaders一：创建爬虫scrapy startproject ArticleSpidercd ArticleSpiderscrapy genspider cnblogs

Python爬虫之高性能异步爬虫一：异步爬虫的方式二：线程池的基本使用三：线程池案例四：协程的使用4.1 初识协程4.2 多任务异步协程五：aiohttp异步网络请求模块5.1 安装aiohttp模块5.2 aiohttp案例一：异步爬虫的方式1：多线程，多进程（不建议）好处：可以为相关阻塞的操作单独开启线程或者进程，阻塞操作就可以异步执行弊端：无法无限制的开启多线程或者多进程2：线程池，进程池（适当的使用）好处：可以降低系统对进程或者线程创建和销毁的一个频率，从而很好的降低系统的开销弊端：池

Python爬虫之PyQuery模块一：PyQuery简介二：初始化2.1 字符串的初始化2.2 URL初始化2.3 文件初始化三：基本CSS选择器3.1 查找子节点3.2 查找父节点3.3 查找兄弟节点四：遍历五：获取信息5.1 获取属性5.2 获取文本六：节点操作6.1 addClass和removeClass6.2 attr、text和html6.3 remove()七：其他操作方法一：PyQuery简介pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML

python3 HTTP请求urllib与requests一：urllib模块1.1 urlopen()1.2 User-Agent1.3 Request类1.4 urllib.parse 模块1.5 提交方法method1.6 处理json数据1.7 HTTPS证书忽略二：urllib3 库三：requests库3.1 get请求一：urllib模块urllib是Python中内置的发送网络...

Python爬虫之CrawlSpider爬虫一：CrawlSpider爬虫介绍二：CrawlSpider相关基础2.1 创建CrawlSpider爬虫2.2 LinkExtractors链接提取器2.3 Rule规则类三：CrawlSpider实例3.1 创建项目及爬虫3.2 定义要爬取的url规则3.3 定义要保存的数据字段3.4 保存爬取到的数据四：CrawlSpider总结一：CrawlSpider爬虫介绍Scrapy框架中分两类爬虫，Spider类和CrawlSpider类。在Python爬虫之

Python爬虫之Scrapy框架架构一：scrapy框架介绍1.1 Scrapy框架模块功能1.2 scrapy架构图1.3 安装scrapy二：scrapy框架的使用2.1 创建scrapy项目2.2 settings配置文件配置一：scrapy框架介绍写一个爬虫，需要做很多的事情。比如：发送网络请求、数据解析、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求等。这些工作如果每次都要自己从零开始写的话，比较浪费时间。因此Scrapy把一些基础的东西封装好了，在他上面写爬虫可以变的更加的

Python爬虫之selenium一：Selenium介绍二：selenium常用操作2.1 关闭页面2.2：定位元素2.3：操作表单元素2.4 行为链2.5 Cookie操作2.6 页面等待2.7 切换页面2.8 设置代理ip2.9 WebElement元素2.10 无界面浏览器一：Selenium介绍Selenium相当于是一个机器人。可以模拟人类在浏览器上的一些行为，自动处理浏览器上的一些行为，比如点击，填充数据，删除cookie等。chromedriver是一个驱动Chrome浏览器的驱动程序，

Python爬虫之lxml模块一：lxml模块简介二：xpath常用规则2.1：读取文件解析节点2.2 读取HTML文件进行解析2.3 获取所有节点2.4 获取子节点2.5 获取父节点2.6 属性匹配2.7 文本获取2.8 属性获取2.9 属性多值匹配2.10 多属性匹配2.11 XPath中的运算符2.12 按序选择2.13 节点轴选择三：xpath实例一：lxml模块简介lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高XPath，全称XML

Python爬虫beautifulsoup4模块一：beautifulsoup4模块介绍二：模块安装三：节点选择器四：方法选择器五：CSS选择器六：tag修改方法一：beautifulsoup4模块介绍Beautiful Soup是python的一个HTML或XML的解析库，我们可以用它来方便的从网页中提取数据，它拥有强大的API和多样的解析方式。Beautiful Soup的三个特点：...

Python爬虫中的去重处理一：Python爬虫去重应用场景及基本原理二：基于信息摘要算法的去重2.1 信息摘要hash算法去重方案实现2.2 去重过滤器基类实现2.3 基于set的去重过滤器2.4 基于redis无序集合的去重过滤器2.5 基于mysql的去重过滤器三：基于simhash算法的去重四：布隆过滤器原理与实现一：Python爬虫去重应用场景及基本原理爬虫中什么业务需要使用去重？...

利用docker搭建Python开发环境一：环境准备二：开启docker的远程连接三：pycharm中配置docker环境3.1 pycharm调用出docker工具栏3.2 连接远程主机上的docker3.3 配置python解释器3.4 配置代码自动上传与运行3.5 配置Dockerfile3.6 配置docker-compose一：环境准备IP地址操作系统安装软件1...

scrapy分布式爬虫Scrapy-Redis分布式爬虫组件分布式爬虫的优点分布式爬虫必须要解决的问题Scrapy-Redis架构图redis安装Scrapy-Redis分布式爬虫组件Scrapy是一个框架，他本身是不支持分布式的。如果我们想要做分布式的爬虫，就需要借助一个组件叫做Scrapy-Redis，这个组件正是利用了Redis可以分布式的功能，集成到Scrapy框架中，使得爬虫可以进行...

Downloader Middlewares（下载器中间件）下载器中间件是引擎和下载器之间通信的中间件。在这个中间件中我们可以设置代理、更换请求头等来达到反反爬虫的目的。要写下载器中间件，可以在下载器中实现两个方法。一个是process_request(self, spider)，这个方法是在请求发送之前执行，还有一个是process_response(self, request, respon...

爬取数据import scrapyfrom xspider.items import XspiderItemclass ScandalSpider(scrapy.Spider): name = 'scandal' allowed_domains = ['car.autohome.com.cn'] start_urls = ['https://car.autohome...