qq_19663899的博客

Elasticsearch源码阅读–节点的启动和关闭集群启动流程在讲解节点的启动和关闭之前先来了解一下es集群是如何启动的.从加载第一行代码开始到整个集群启动结束,集群的状态是从Red变成Green.这期间主要经历选举主节点,主分片,数据恢复等重要阶段.集群整体的启动流程如下图所示.当一个索引的主分片分配成功后,到此分片的写操作就是允许的.当一个索引所有的分片都分配成功后,该索引变为Yellow.当全部索引的主分片都分配成功后,整个集群变为Yellow.当一个索引全部分片分配成功后,该索引变为G

使用docker搭建es出现logstash无法写入FORBIDDEN/12/index read-only / allow delete (api)问题描述起因是logstash无法将数据写入到es中,通过查看日志发现logstash有如下输入FORBIDDEN/12/index read-only / allow delete (api)原因是es的磁盘空间超过了80%(默认值)解...

写在前面之前使用es都是通过JavaApi进行操作,之所以使用java的原因是因为在工程里使用的开发语言就是java,随着对脚本语言的逐渐了解现在开始尝试使用python提供的api对es进行操控elasticsearch库介绍使用python操作es有很多种方法,es本身对外也提供RESTApi让我们去调用,当然本质上python的库(elasticsearch)实际上也是对esRESTA...

写在前面大家在开发elasticsearch的时候都会遇到很多去怪的需求,如果我们已知的RestAPI无法帮助我们完成搜索,是就需要我们自己动手写脚本来辅助搜索,完成需求.浅谈elasticsearch-script脚本使用机制通过阅读官方文档我们可以了解到es所使用的脚本语言是painless这是一门安全-高效的脚本语言,基于jvm的,总而言之对于java语言的小伙伴来说是非常友好的....

Writing in the frontIn the reproduction environment,we neet delet the data according to the ids.So we need branch query statement._delete_by_query‘_delete_by_query’ used by post and this statement ...

写在前面我们在进行全文建搜的时候往往会添加很多前置条件,比如地区,时间,以及知识点树,我们需要在搜索之前先进行过滤在进行搜索.Array索引es的数据类型中实际上是不包含数组类型的,在默认的情况下任何字段都可以包含0或者是更多的值,并且全部的值在这个数组中必须保持一致In Elasticsearch, there is no dedicated array type. Any field...

写在前面公司产品提出需求,需要对文档进行评分,如果评分不相同则按照评分大小排序,如果评分相同则在相同的结果下按照试题年份排序.问题原因es在执行sort之后方评分失效解决办法通过阅读文档得知,es在执行评分会大量耗时,并且在排序的时候由于没有指定元字段’_score’会导致不会进行评分.所以我们在使用的时候如果想根据评分相同的情况下在进行排序那我们就需要对评分进行选定.选定评分的办法...

写在前面由于使用分布式部署线上服务的原因,我们在查看日志的时候往往优化恩达的困难,尤其是在定位错误的时候无法找到对应错误所在的服务器,这时我们需要将所有的错误日志统一的收集起来进行集中查询.技术栈elasticsearch:用来存储日志,进行日志查询logstash:用来处理日志,将日志格式调整存入esfilebeat:将对应服务器上的日志收集起来发送到logstashkibana:...

写在前面在使用ElasticSearch(下文简称es)经常会遇到将本地库的数据传入的es中进行索引.我们在完成批量同步的时候可以使用官方提供的logstash来进行同步,也可以自己编写java api 利用es的blak进行批量同步. 在实际生产中利用es做搜索引擎,将数据库中的数据索引到es中,在这种情况下需要的是实时性和更高的操作性,有如下几种方法可以完成:使用数据库二进制监控(...

ELK 系统ELK Elastic stack is a popular open-source solution for analyzing weblogs,ELK stack will reside on a server separate from your application.Server log and Nginx log will send by filebeat from h...

数据上报格式event实体简单来说，就是描述了一个用户在某个时间，某个地方，以某种方式完成了具体事情。这是一个完整的envent主要包含who 参与这个事件的是谁，目前使用（userNam作为唯一id，该字段必须存在）when 事件发生的事件，使用timestamp字段（精确到毫秒值）where 时间发生地点，（目前使用area字段表示地区，存储之前一定要确定地...

放在前面因为公司的需要吧,再加上本人对处理数据比较热爱,公司吧这个项目交了下来(其实只有一个pdf -_-||) ,也是没办法啦这种公司内部消化的系统本就是靠产品的迭代前进的.技术选型项目初期的目的比较简单,而且还算明确,就是将公司现有的数据进行收集,之后展示出来.只要能完成老大并不关心你是用什么技术(这就开心了),技术方面,所使用的技术数据存储占时使用elast...

4月19号到了现在说下开发进度吧~~系统设计简单说一说由于与需要接受的数据原比较多,再加上服务是部署在阿里云上的,所有的数据均是通过http接收 目前数据接收后直接存储到elasticsearch或者是存储到MySql中 目前没有对实时的数据进行处理. 由于数据在下游都是经过清理的所以传输过来之后直接就可以使用elasticsearch进行聚合,直接展示....

为什么要使用林侵入应用性能监控传统监控模式 新型监控模式 新型监控系统的优势非侵入式监控的优点 实施成本低技术架构无关性 apm 监控 鹰眼 监控需要技术javaagent 代理拦截javassist字节码修改工具具体实现 ...

spring data 对很多nosql以及sql提供了统一的操作 spring data elastic添加依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticse...

下载es官网是中文版的直接上官方下载即可es官网——-下载Elasticsearch6.1.3(下文简称es)window与linux下载的文件是相同的,window使用.bat直接运行,linux执行脚本./bin/ealsticsearchLinux安装由于5.x版本之后不可以使用root用户直接访问,所以需要新建一个用户[root@localhost usr]#