u013683613的博客

第三百七十二节，Python分布式爬虫打造搜索引擎Scrapy精讲—scrapyd部署scrapy项目scrapyd模块是专门用于部署scrapy项目的，可以部署和管理scrapy项目下载地址：https://github.com/scrapy/scrapyd建议安装pip3 install scrapyd首先安装scrapyd模块，安装后在Python的安装目录下的Scripts文件...

第三百七十一节，Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)用Django实现我的搜索以及热门我的搜素简单实现原理我们可以用js来实现，首先用js获取到输入的搜索词设置一个数组里存放搜素词，判断搜索词在数组里是否存在如果存在删除原来的词，重新将新词放在数组最前面如果不存在直接将新词放在数组最前面即可，然后循环数组显示结果即可热门搜索实现...

第三百七十节，Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)用Django实现搜索结果分页逻辑处理函数计算搜索耗时　　在开始搜索前：start_time = datetime.now()获取当前时间　　在搜索结束后：end_time = datetime.now()获取当前时间　　last_time = (end_time-start_time...

第三百六十九节，Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)用Django实现搜索功能Django实现搜索功能1、在Django配置搜索结果页的路由映射"""pachong URL ConfigurationThe `urlpatterns` list routes URLs to views. For more information pl...

第三百六十八节，Python分布式爬虫打造搜索引擎Scrapy精讲—用Django实现搜索的自动补全功能elasticsearch(搜索引擎)提供了自动补全接口官方说明：https://www.elastic.co/guide/en/elasticsearch/reference/current/search-suggesters-completion.html1、创建搜索自动补全字段su...

第三百六十七节，Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)scrapy写入数据到elasticsearch中前面我们讲到的elasticsearch(搜索引擎)操作，如：增、删、改、查等操作都是用的elasticsearch的语言命令，就像sql命令一样，当然elasticsearch官方也提供了一个python操作elasticsearch(搜索...

第三百六十六节，Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)的bool组合查询bool查询说明filter:[],字段的过滤，不参与打分must:[],如果有多个查询，都必须满足【并且】should:[],如果有多个查询，满足一个或者多个都匹配【或者】must_not:[],相反查询词一个都不满足的就匹配【取反，非】# bool查询# 老...

第三百六十五节，Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)的基本查询1、elasticsearch(搜索引擎)的查询elasticsearch是功能非常强大的搜索引擎，使用它的目的就是为了快速的查询到需要的数据查询分类：　　基本查询：使用elasticsearch内置的查询条件进行查询　　组合查询：把多个查询条件组合在一起进行复合查询　　...

第三百六十四节，Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)的mapping映射管理1、映射(mapping)介绍映射：创建索引的时候，可以预先定义字段的类型以及相关属性elasticsearch会根据json源数据的基础类型猜测你想要的字段映射，将输入的数据转换成可搜索的索引项，mapping就是我们自己定义的字段数据类型，同时告诉elasti...

第三百六十三节，Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)的mget和bulk批量操作注意：前面讲到的各种操作都是一次http请求操作一条数据，如果想要操作多条数据就会产生多次请求，所以就有了mget和bulk批量操作，mget和bulk批量操作是一次请求可以操作多条数据1、mget批量操作（查询）批量操作(同一个索引同一个表里的批量查询)说...

第三百六十二节，Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)基本的索引和文档CRUD操作、增、删、改、查elasticsearch(搜索引擎)基本的索引和文档CRUD操作也就是基本的索引和文档、增、删、改、查、操作注意：以下操作都是在kibana里操作的elasticsearch(搜索引擎)都是基于http方法来操作的GET 请求指定的页面信...

第三百六十一节，Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)倒排索引倒排索引倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件，简称倒排文...

第三百六十节，Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)的基本概念elasticsearch的基本概念1、集群：一个或者多个节点组织在一起2、节点：一个节点是集群中的一个服务器，由一个名字来标识，默认是一个随机的漫微角色的名字3、分片：将索引(相当于数据库)划分为多份的能力，允许水平分割和扩展，对个分片响应请求，提供性能和吞吐量3、副本：创...

第三百五十九节，Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)介绍以及安装elasticsearch(搜索引擎)介绍ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二最...

第三百五十八节，Python分布式爬虫打造搜索引擎Scrapy精讲—将bloomfilter(布隆过滤器)集成到scrapy-redis中，判断URL是否重复布隆过滤器(Bloom Filter)详解基本概念如果想判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表，树等等数据结构都是这种思路. 但是随着集合中元素的增加，我们需要的存储空间越来越大，检索速...

第三百五十七节，Python分布式爬虫打造搜索引擎Scrapy精讲—利用开源的scrapy-redis编写分布式爬虫代码scrapy-redis是一个可以scrapy结合redis搭建分布式爬虫的开源模块scrapy-redis的依赖Python 2.7, 3.4 or 3.5，Python支持版本Redis >= 2.8，Redis版本Scrapy >= 1.1，Scrap...

第三百五十六节，Python分布式爬虫打造搜索引擎Scrapy精讲—scrapy分布式爬虫要点1、分布式爬虫原理2、分布式爬虫优点3、分布式爬虫需要解决的问题...

第三百五十五节，Python分布式爬虫打造搜索引擎Scrapy精讲—scrapy信号详解信号一般使用信号分发器dispatcher.connect()，来设置信号，和信号触发函数，当捕获到信号时执行一个函数dispatcher.connect()信号分发器，第一个参数信号触发函数，第二个参数是触发信号，以下是各种信号signals.engine_started当Scrapy引擎启动爬取时发...

第三百五十四节，Python分布式爬虫打造搜索引擎Scrapy精讲—数据收集(Stats Collection)Scrapy提供了方便的收集数据的机制。数据以key/value方式存储，值大多是计数值。 该机制叫做数据收集器(Stats Collector)，可以通过 Crawler API 的属性 stats 来使用无论数据收集(stats collection)开启或者关闭，数据收集器永远...

第三百五十三节，Python分布式爬虫打造搜索引擎Scrapy精讲—scrapy的暂停与重启scrapy的每一个爬虫，暂停时可以记录暂停状态以及爬取了哪些url，重启时可以从暂停状态开始爬取过的URL不在爬取实现暂停与重启记录状态1、首先cd进入到scrapy项目里2、在scrapy项目里创建保存记录信息的文件夹3、执行命令：scrapy crawl 爬虫名称 -s JOBDIR=保...

第三百五十二节，Python分布式爬虫打造搜索引擎Scrapy精讲—chrome谷歌浏览器无界面运行、scrapy-splash、 splinter1、chrome谷歌浏览器无界面运行chrome谷歌浏览器无界面运行，主要运行在Linux系统，windows系统下不支持chrome谷歌浏览器无界面运行需要一个模块，pyvirtualdisplay模块需要先安装pyvirtualdispla...

第三百五十一节，Python分布式爬虫打造搜索引擎Scrapy精讲—将selenium操作谷歌浏览器集成到scrapy中1、爬虫文件dispatcher.connect()信号分发器，第一个参数信号触发函数，第二个参数是触发信号，signals.spider_closed是爬虫结束信号# -*- coding: utf-8 -*-import scrapyfrom scrapy.ht...

第三百五十节，Python分布式爬虫打造搜索引擎Scrapy精讲—selenium模块是一个python操作浏览器软件的一个模块，可以实现js动态网页请求selenium模块selenium模块为第三方模块需要安装，selenium模块是一个操作各种浏览器对应软件的api接口模块selenium模块是一个操作各种浏览器对应软件的api接口模块，所以还得需要下载对应浏览器的操作软件操作原理是...

第三百四十九节，Python分布式爬虫打造搜索引擎Scrapy精讲—cookie禁用、自动限速、自定义spider的settings，对抗反爬机制cookie禁用就是在Scrapy的配置文件settings.py里禁用掉cookie禁用，可以防止被通过cookie禁用识别到是爬虫，注意，只适用于不需要登录的网页，cookie禁用后是无法登录的settings.py里禁用掉cookie禁用C...

第三百四十八节，Python分布式爬虫打造搜索引擎Scrapy精讲—通过自定义中间件全局随机更换代理IP设置代理ip只需要，自定义一个中间件，重写process_request方法，request.meta[‘proxy’] = “http://185.82.203.146:1080” 设置代理IP中间件，注意将中间件注册到配置文件里去复制代码from adc.daili_ip.sh...

第三百四十七节，Python分布式爬虫打造搜索引擎Scrapy精讲—通过downloadmiddleware随机更换user-agent浏览器用户代理downloadmiddleware介绍中间件是一个框架，可以连接到请求/响应处理中。这是一种很轻的、低层次的系统，可以改变Scrapy的请求和回应。也就是在Requests请求和Response响应之间的中间件，可以全局的修改Requests请...

第三百四十六节，Python分布式爬虫打造搜索引擎Scrapy精讲—Requests请求和Response响应介绍Requests请求Requests请求就是我们在爬虫文件写的Requests()方法，也就是提交一个请求地址，Requests请求是我们自定义的Requests()方法提交一个请求参数：url= 字符串类型url地址callback= 回调函数名称method= 字符...

第三百四十五节，Python分布式爬虫打造搜索引擎Scrapy精讲—爬虫和反爬的对抗过程以及策略—scrapy架构源码分析图1、基本概念2、反爬虫的目的3、爬虫和反爬的对抗过程以及策略scrapy架构源码分析图...

第三百四十四节，Python分布式爬虫打造搜索引擎Scrapy精讲—craw母版l创建自动爬虫文件—以及 scrapy item loader机制用命令创建自动爬虫文件创建爬虫文件是根据scrapy的母版来创建爬虫文件的scrapy genspider -l 查看scrapy创建爬虫文件可用的母版Available templates:母版说明　　basic　　 　　创建基础爬虫...

第三百四十三节，Python分布式爬虫打造搜索引擎Scrapy精讲—scrapy模拟登陆和知乎倒立文字验证码识别第一步。首先下载，大神者也的倒立文字验证码识别程序下载地址：https://github.com/muchrooms/zheye注意：此程序依赖以下模块包Keras2.0.1　　Pillow3.4.2　　jupyter1.0.0　　matplotlib1.5.3　　num...

第三百四十二节，Python分布式爬虫打造搜索引擎Scrapy精讲—爬虫数据保存注意：数据保存的操作都是在pipelines.py文件里操作的将数据保存为json文件spider是一个信号检测# -*- coding: utf-8 -*-# Define your item pipelines here## Don't forget to add your pipeline to...

第三百四十一节，Python分布式爬虫打造搜索引擎Scrapy精讲—编写spiders爬虫文件循环抓取内容—meta属性返回指定值给回调函数—Scrapy内置图片下载器编写spiders爬虫文件循环抓取内容Request()方法，将指定的url地址添加到下载器下载页面，两个必须参数，　　参数：　　url=‘url’　　callback=页面处理函数　　使用时需要yield Reques...

第三百三十八节，Python分布式爬虫打造搜索引擎Scrapy精讲—深度优先与广度优先原理网站树形结构深度优先是从左到右深度进行爬取的，以深度为准则从左到右的执行（递归方式实现）Scrapy默认是深度优先的广度优先是以层级来执行的，（列队方式实现）...

第三百三十七节，web爬虫讲解2—PhantomJS虚拟浏览器+selenium模块操作PhantomJSPhantomJS虚拟浏览器phantomjs 是一个基于js的webkit内核无头浏览器 也就是没有显示界面的浏览器，利用这个软件，可以获取到网址js加载的任何信息，也就是可以获取浏览器异步加载的信息下载网址：http://phantomjs.org/download.html 下载...

第三百三十六节，web爬虫讲解2—urllib库中使用xpath表达式—BeautifulSoup基础在urllib中，我们一样可以使用xpath表达式进行信息提取，此时，你需要首先安装lxml模块，然后将网页数据通过lxml下的etree转化为treedata的形式urllib库中使用xpath表达式etree.HTML()将获取到的html字符串，转换成树形结构，也就是xpath表达式可...

第三百三十五节，web爬虫讲解2—Scrapy框架爬虫—豆瓣登录与利用打码接口实现自动识别验证码打码接口文件# -*- coding: cp936 -*-import sysimport osfrom ctypes import *# 下载接口放目录 http://www.yundama.com/apidoc/YDM_SDK.html# 错误代码请查询 http://www.y...

第三百三十四节，web爬虫讲解2—Scrapy框架爬虫—Scrapy爬取百度新闻，爬取Ajax动态生成的信息crapy爬取百度新闻，爬取Ajax动态生成的信息，抓取百度新闻首页的新闻rul地址有多网站，当你浏览器访问时看到的信息，在html源文件里却找不到，由得信息还是滚动条滚动到对应的位置后才显示信息，那么这种一般都是 js 的 Ajax 动态请求生成的信息我们以百度新闻为列：1、分析网...

第三百三十三节，web爬虫讲解2—Scrapy框架爬虫—Scrapy模拟浏览器登录模拟浏览器登录start_requests()方法，可以返回一个请求给爬虫的起始网站，这个返回的请求相当于start_urls，start_requests()返回的请求会替代start_urls里的请求Request()get请求，可以设置，url、cookie、回调函数FormRequest.from_r...

第三百三十二节，web爬虫讲解2—Scrapy框架爬虫—Scrapy使用xpath表达式　　//x 表示向下查找n层指定标签，如：//div 表示查找所有div标签　　/x 表示向下查找一层指定的标签　　/@x 表示查找指定属性的值,可以连缀如：@id @src　　[@属性名称=“属性值”]表示查找指定属性等于指定值的标签,可以连缀 ，如查找class名称等于指定名称的标签　　/tex...

第三百三十一节，web爬虫讲解2—Scrapy框架爬虫—Scrapy安装—Scrapy指令Scrapy框架安装1、首先，终端执行命令升级pip: python -m pip install --upgrade pip2、安装，wheel(建议网络安装) pip install wheel3、安装，lxml(建议下载安装)4、安装，Twisted(建议下载安装)5、安装，Scrapy(建...