zkf541076398的博客

1. 前提esrally的运行不会影响当前系统elasticsearch的一切正常业务。2. 性能测试原理大致步骤概括如下：第一步：安装esrally，耗时会半小时到1个小时之间。主要完成esrally必要组件安装，更多的是elasticsearch的安装。elasticsearch安装的两种方式：方式一：最常用的安装方法，源码安装。只需要运行esrally，等价于运行：esrally race ...

1、ES性能测试要求： 1）完成ES并发100次性能测试； 2）统计得出访问时间结果值。2、脚本实现#!/bin/shKEYWORDS_TXT="./keywords.txt"cat /dev/null > ./rst.txtecho "beginTime=`date`"cat $KEYWORDS_TXT | while read linedoecho "line=$lin...

本文主要讲解Elasticsearch下实现索引迁移的几种方式。0、引言将ES中的索引拷贝到其他ES中，或者将ES整体迁移，研究发现有两个开源的工具：elaticserch-dump和 Elasticsearch-Exporter。 除此之外，logstash在索引同步、迁移方面的作用也很大。 两工具及logstash实现迁移的介绍、安装、使用、验证效果等展示如下：1、elasticsearch-...

0、题记之前Elasticsearch的应用比较多，但大多集中在关系型、非关系型数据库与Elasticsearch之间的同步。以上内容完成了Elasticsearch所需要的基础数据量的供给。但想要在海量的数据中找到和自己相关的业务数据，实现对已有的数据实现全文检索、分类统计等功能并应用到业务系统中，必须借助Java API来实现。1、Elasticsearch Java API 概览Elasti...

以Jest为例，假设我们之前没有用过Jest，对Jest的认知，需要经历的过程： 步骤1：Jest是什么？能解决什么问题？ 步骤2：Jest的优势是什么？为什么会出现？ 步骤3：Jest如何安装与使用？ 步骤4：Jest的样例Demo&实战。本文，就带你从认知的角度，一步步学会使用Jest。1、Jest介绍Jest是Elasticsearch 的Java Http Rest 客户端。Ela...

1、聚合为什么慢？大多数时候对单个字段的聚合查询还是非常快的， 但是当需要同时聚合多个字段时，就可能会产生大量的分组，最终结果就是占用 es 大量内存，从而导致 OOM 的情况发生。 实践应用发现，以下情况都会比较慢： 1）待聚合文档数比较多（千万、亿、十亿甚至更多）； 2）聚合条件比较复杂（多重条件聚合）； 3）全量聚合（翻页的场景用）。2、聚合优化方案探讨优化方案一：默认深度优先聚合改为广度优...

1、Elasticsearch支持聚合后分页吗，为什么？不支持，看看Elasticsearch员工如何解读。   这个问题，2014年在github上有很长的讨论。究其为什么ES不支持聚合后分页？可概括如下： 1）性能角度——聚合分页会在大量的记录中产生性能问题。 2）正确性角度——聚合的文档计数不准确。 所以奇怪的事情可能会发生，如第二页的第一项具有比第一页的最后一个元素更高的计数。具体为什么会...

聚合认知前提桶（Buckets）——满足特定条件的文档的集合 指标（Metrics）——对桶内的文档进行统计计算SELECT COUNT(color) FROM table GROUP BY colorCOUNT(color) 相当于指标。 GROUP BY color 相当于桶。一、聚合起步1、创建索引1.1 创建索引DSL实现put carsPOST /cars/transactions/_...

1、问题抛出某个词组在Elasitcsearch中的某个document中存在，就一定通过某种匹配方式把它搜出来。 举例：title=公路局正在治理解放大道路面积水问题。输入关键词:道路，能否搜索到这个document呢？ 实际应用中可能需要： 1）检索关键词”理解”、”解放”、”道路”、“理解放大”，都能搜出这篇文档。 2）单个的字拆分“治”、“水”太多干扰，不要被检索出来。 3）待检索的词不在...

题记本文详细论述了Elasticsearch全文检索、指定字段检索实战技巧，并提供了详尽的源码举例。是不可多得学习&实战资料。0、前言为了讲解不同类型ES检索，我们将要对包含以下类型的文档集合进行检索： 1. title 标题； 2. authors 作者； 3. summary 摘要； 4. release data 发布日期； 5. number of reviews...

题记ES除了做TB级日志分析外，越来越多的被企业用来用作数据存储。但是，传统企业里面，数据存在关系型数据库Mysql，oracle中，或者存储在非关系型数据库Mongo中。如何处理业务数据的时候，将Mysql/oracle/mongo中的数据同步到ES中，然后对已有的数据进行全文检索？这些，就是本篇要思考和解决的问题。1、关系型&非关系型数据库与ES如何同步？少废话，直接上实践过的结果。 ...

题记Elaticsearch的原理明白了以后，手头有很多不同类型的数据，如: 1）单条数据，如程序中自己构造的JSON格式数据； 2）符合Elasticsearch索引规范的批量数据； 3）日志文件，格式*.log; 4）结构化数据，存储在mysql、oracle等关系型数据库中； 5）非结构化数据，存储在mongo中； 如何将这些数据导入到Elasticsearch中呢？接下来，本文将逐个介绍。...

引言：之前博文介绍过了mysql/oracle与ES之间的同步机制。而logstash最初始的日志同步功能还没有介绍。本文就logstash同步日志到ES做下详细解读。1、目的：将本地磁盘存储的日志文件同步（全量同步、实时增量同步）到ES中。 2、源文件：[root@5b9dbaaa148a test_log]# ll-rwxrwxrwx 1 root root 170 Jul 5 08:02 ...

0、前提安装elasticsearch的最新版本，目前是2.3.4版本。 elsticsearch新增扮演的角色是：rally分析结果会存储到elasticsearch。1、运行esrally 高级配置模式高级配置模式和普通模式的区别：普通模式只需要配置jdk的环境变量路径。 而高级模式，需要配置：当前本机已安装elasticsearch的监听端口以及ES配置的主机名称。高级配置模式详情：[ela...

题记elasticsearch性能测试研究了很久，自己想过通过批量导入数据，然后记录时间，统计CPU、内存等变化，计算得出某个性能指标。但显然，数据量起伏不定，非常不准确。 研究发现，github上提供了rally作为elasticsearch的性能测试工具，较好的解决了es性能测试问题。1、esrally功能：es的性能测试工具。esrally不支持windows版本，目前只支持Linux和Ma...

1、问题引出ES5.X节点类型多了ingest节点类型。 针对3个节点、5个节点或更多节点的集群，如何配置节点角色才能使得系统性能最优呢？ 2、ES2.X及之前版本节点角色概述3、ES5.X节点角色清单 由于其他几种类型节点和用途都很好理解，无非主节点、数据节点、路由节点。Ingest的用途： 1）Ingest节点和集群中的其他节点一样，但是它能够创建多个处理器管道，用以修改传入文档。类似 最常用...

少废话，直接开始。1、大文件是多大？ES建立索引完成全文检索的前提是将待检索的信息导入Elaticsearch。项目中，有时候需要将一些扫描件、PDF文档、Word、Excel、PPT等文档内容导入Elasticsearch。比如：将《深入理解Elasticsearch》这边书导入ES，而这边书的全文内容被识别后的大小可能为3MB——5MB以上的字节。存入ES后是一个content字段，对这个co...

题记学习ES的童鞋，都有一个开发一个类似百度的搜索引擎的想法。当然功能不一定是百度、360、谷歌传统的搜索引擎那么强大。但是，能实现基本的全文检索、指定类型的检索、评分高低优先级排序等等。那么问题来了，该如何实现？需要什么技术呢？1、Elasticsearch全文检索系统效果图注：这张图是从网上down的，我已经实现了上述功能。  （不能截图，原因：你懂的！）2、Elasticsearch全文检索...

题记由于之前已经梳理过Elasticsearch基础概念且在项目中实战过Elasticsearch的增删改查、聚类、排序等相关操作，对ES算是有了一定的认知。但是，仍然对于一些底层的原理认知模糊，特买来《深入理解Elasticsearch》过了一遍，将书中一些细节知识点结合官网文档梳理如下。1——4章偏应用，跟着敲一遍代码基本就能理解原理。 5——9章偏理论一些。 第5章 分布式索引架构1、如何选...

1、题记近几年，Elasticsearch（以下简称ES）作为开源的搜索引擎已经在国内得到越来越多的应用推广，在日志分析领域应用场景尤为广泛。传统的数据库Mysql、Oracle或者非关系型数据库Mongo作为基础存储的企业要想实现业务数据的全文检索，该如何实现呢？本文给出架构设计和实现原理。2、理清楚使用ES的初衷2.1 大数据背景下数据量的积累与数据应用疲软矛盾一直存在。大数据的风已经刮了几年...

一、项目概述这是一个被我称之为“没有枪、没有炮，硬着头皮自己造”的项目。项目是和其它公司合作的三个核心模块开发。 使用ES的目的是： 1）、采集数据、网站数据清洗后存入ES； 2）、对外提供精确检索、通配符检索、模糊检索、分词检索、全文检索接口等二次封装接口。二、项目架构 如上图所示，ES作为中间层，一方面存储数据清洗后存储的数据，另一方面对外提供插入、更新、删除、检索接口的。三、ES使用小结3....

了解了ES的使用场景，ES的研究、使用、推广才更有价值和意义。1、场景—：使用Elasticsearch作为主要的后端传统项目中，搜索引擎是部署在成熟的数据存储的顶部，以提供快速且相关的搜索能力。这是因为早期的搜索引擎不能提供耐用的​​存储或其他经常需要的功能，如统计。  Elasticsearch是提供持久存储、统计等多项功能的现代搜索引擎。 如果你开始一个新项目，我们建议您考虑使用Elasti...

X-Pack已经开源，预计Elasticsearch6.3版本会全面集成，不再收费。 赶紧体验一下强大的X-pack吧！1、 X-Pack 概览X-Pack 简介 1）利用 X-Pack 拓展可能性。 X-Pack 是集成了多种便捷功能的单个插件 — security、alerting、monitoring、reporting、graph 探索和 machine learning — 您可以在 E...

题记产品开发需要，我们需要将互联网采集的数据存储到ES中，以实现数据的全文检索。互联网采集的数据，往往格式杂乱，需要先进行数据清洗操作。而ES支持的入库格式，json格式数据会相对方便些。本文主要介绍，如何将格式化的Json文件批量插入到ES中。1、需提前做的工作1）设计好索引以及Mapping；Mapping的目的主要是——设定字段名称、字段类型，哪些字段需要进行全文检索等。12）Java程序中...

1、kafka同步到Elasticsearch方式？目前已知常用的方式有四种： 1）logstash_input_kafka插件； 缺点：不稳定（ES中文社区讨论） 2）spark stream同步； 缺点：太庞大 3）kafka connector同步； 4）自写程序读取、解析、写入  本文主要基于kafka connector实现kafka到Elasticsearch全量、增量同步。2、从co...

题记Elasticsearch中当我们设置Mapping（分词器、字段类型）完毕后，就可以按照设定的方式导入数据。有了数据后，我们就需要对数据进行检索操作。根据实际开发需要，往往我们需要支持包含但不限于以下类型的检索： 1）精确匹配，类似mysql中的 “=”操作； 2）模糊匹配，类似mysql中的”like %关键词% “查询操作； 3）前缀匹配； 4）通配符匹配； 5）正则表达式匹配； 6）跨...

题记Elasticsearch5.X相关核心知识点必知必会（如下）。0. ES相关推荐首先，不要再使用curl，请安装sense（kibana5.x中默认包含sense） 1）ES官方向导 https://www.elastic.co/guide/en/elasticsearch/guide/master/index.html2）ES官方文档（API相关） https://www.elastic....

铭毅天下，原文地址：blog.youkuaiyun.com/laoyang360 https://blog.youkuaiyun.com/wojiushiwo987/article/details/514728211、ES5.4.0 IK分词安装步骤步骤1：下载最新版的ik插件地址：https://github.com/medcl/elasticsearch-analysis-ik步骤2：解压elasticsearch-...

铭毅天下，原文地址：blog.youkuaiyun.com/laoyang360 https://blog.youkuaiyun.com/wojiushiwo987/article/details/51472821一、 IK Analyzer 介绍IK Analyzer是一个开源的，基于Java语言开发的轻量级的中文分词工具包，最初的时候，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件，...

铭毅天下，原文地址：blog.youkuaiyun.com/laoyang360 https://blog.youkuaiyun.com/wojiushiwo987/article/details/51472821一、graph插件介绍graph插件一个新的用于 Elasticsearch 和 Kibana 的插件，通过它们您可以很方便的发现、理解和探索现有数据之间的关系。和 Elastic 的所有产品一样，它的 UI ...

铭毅天下，原文地址：blog.youkuaiyun.com/laoyang360 https://blog.youkuaiyun.com/wojiushiwo987/article/details/51472821一、logstash插件介绍logstash是一个用来管理事件和日志的工具，它的作用是收集日志，解析日志，存储日志为以后使用。二、logstash插件安装步骤1：下载和安装公共签名key。rpm –import...

铭毅天下，原文地址：blog.youkuaiyun.com/laoyang360 https://blog.youkuaiyun.com/wojiushiwo987/article/details/51472821一、Marvel插件介绍Marvel插件：在簇中从每个节点汇集数据。这个插件必须每个节点都得安装。 Marvel是Elasticsearch的管理和监控工具，在开发环境下免费使用。它包含了一个叫做Sense的交...

铭毅天下，原文地址：blog.youkuaiyun.com/laoyang360 https://blog.youkuaiyun.com/wojiushiwo987/article/details/51472821一、kibana 插件介绍kibana 插件提供了Marvel监控的UI界面。 kibana是一个与elasticsearch一起工作的开源的分析和可视化的平台。使用kibana可以查询、查看并与存储在elas...

铭毅天下，原文地址：blog.youkuaiyun.com/laoyang360 https://blog.youkuaiyun.com/wojiushiwo987/article/details/51472821一、elasticsearch-head插件介绍elasticsearch-head是一个用来浏览、与Elastic Search簇进行交互的web前端展示插件。 elasticsearch-head是一个用来...

铭毅天下，原文地址：blog.youkuaiyun.com/laoyang360 https://blog.youkuaiyun.com/wojiushiwo987/article/details/733687401、ES5.4.0安装包下载地址https://www.elastic.co/downloads/past-releases/elasticsearch-5-4-02、Centos6.7 Elasticsear...

原文地址：blog.youkuaiyun.com/laoyang360 https://blog.youkuaiyun.com/wojiushiwo987/article/details/728508341、题记之前应用都是Elasticsearch单节点，随着业务的拓展、数据量的增多，部署分布式Elasticsearch刻不容缓。本文以Elaticsearch2.3.4版本为基础，讲解Elasticsearch三个节点...

1、关于ES index存储在内存的问题？（1）早期ES1.X版本对ES索引存储介绍：原文地址： https://www.elastic.co/guide/en/elasticsearch/reference/1.4/index-modules-store.html ES1.X存储模块可以控制索引数据的存储方式,索引可以存储在内存和磁盘上。使用内存方式可以得到更好的性能，但受限于实际的可用的物理内...

铭毅天下，原文地址：blog.youkuaiyun.com/laoyang360 https://blog.youkuaiyun.com/wojiushiwo987/article/details/51931981引言：对于刚接触ES的童鞋，经常搞不明白ES的各个概念的含义。尤其对“索引”二字更是与关系型数据库混淆的不行。本文通过对比关系型数据库，将ES中常见的增、删、改、查操作进行图文呈现。能加深你对ES的理解。同时，...

题记网上当前（截止20170914）流传的各种配置文件普通存在以下问题： 1）版本低，不能和当前版本5.X匹配。 2）5.X的配置本身较1.X，2.X就有很大不同，原有配置已不适用。 3）ES英文、中文文档也没有及时更新。现在，确保ES5.X的高性能到底需要哪些配置越发令人神往。以下清单内容参考了ES官网文档，且都是在ES5.4.0的环境中验证过的，请放心使用。1、配置之前了解ES的集群拓扑结构您...

0、引言本文翻译自Elasticsearch20170918热乎的官方博客，原作者：Christian Dahlqvist。 在构建Elasticsearch集群的初期如果集群分片设置不合理，可能在项目的中后期就会出现性能问题。Elasticsearch是一个非常通用的平台，支持各种各样的用例，并且为数据组织和复制策略提供了巨大灵活性。这种灵活性使得作为ELK新手的你将数据组织成索引和分片变得困难...