
ElasticSearch
周天祥
一起学习,一起分享
展开
-
ElasticSearch Split 切分主分片数
ElasticSearch Split 增加主分片数ElasticSearch 7.2.0Split 的使用方式和Shrink很像见:https://blog.youkuaiyun.com/u014646662/article/details/103575489如果不完全符合,可以重新索引:https://blog.youkuaiyun.com/u014646662/article/details/9763...原创 2019-12-17 14:46:06 · 6682 阅读 · 0 评论 -
ElasticSearch Shrink 减少主分片数
ElasticSearch Shrink 减少主分片数版本:ElasticSearch 7.2.0如果该方式不适合,可选用重排索引reindex :https://blog.youkuaiyun.com/u014646662/article/details/97638792目录1、使用场景2、降低主分片数3、使用条件4、Shrink 测试1、使用场景ES 5.x 后推出的一...原创 2019-12-17 11:34:09 · 7015 阅读 · 0 评论 -
ElasticSearch Open/Close Index
ElasticSearch Open/Close Index1、close index2、open index3、总结针对部分索引,我们暂时不需要对其进行读写,可以临时关闭索引,以减少es服务器的开销1、close index#为索引添加一条数据put test/_doc/1{ "key":"value"}#关闭索引POST test/_close...原创 2019-12-17 10:21:31 · 15690 阅读 · 1 评论 -
Elasticsearch Java REST高级客户端 删除索引
Elasticsearch Java REST高级客户端 删除索引版本:Elasticsearch 7.2.01、索引是否存在2、删除索引3、创建客户端4、maven配置---pom1、索引是否存在 /** * 索引是否存在 * @param indexName * @return */ public static boolean exists(St...原创 2019-11-22 11:09:29 · 8016 阅读 · 0 评论 -
Logstash 将ES数据导入数据库
Logstash 将ES数据导入数据库Logstash 7.2.01、logstash-output-jdbc安装2、问题梳理3、conf文件1、logstash-output-jdbc安装/opt/logstash/bin/logstash-plugin install logstash-output-jdbc2、问题梳理a、日期字段格式转换问题b、es日期与...原创 2019-11-08 13:47:08 · 8475 阅读 · 0 评论 -
ElasticSearch painless debug
ElasticSearch painless debug对painless脚本调试数据准备 测试代码1、数据准备PUT /hockey/_doc/1?refresh{"first":"johnny","last":"gaudreau","goals":[9,27,1],"assists":[17,46,0],"gp":[26,82,1]}2、测试测试一POST ...原创 2019-08-06 18:59:33 · 8518 阅读 · 0 评论 -
Elasticsearch Java REST高级客户端SearchScrollApi
Elasticsearch Java REST高级客户端SearchScrollApi版本:Elasticsearch 7.2.0maven配置见:Elasticsearch Java REST高级客户端-DocumentApiSearchScroll和search的使用时是很相似的,只是在search上多了个滚动对人工智能感兴趣的同学,可以点击以下链接:现在人工智能非常火爆,...原创 2019-07-23 14:29:33 · 10840 阅读 · 3 评论 -
Elasticsearch Java REST高级客户端 maven配置
Elasticsearch Java REST高级客户端 maven配置版本:Elasticsearch 7.2.0如果不是7.2.0,请换成对应版本,包括小版本号<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" x...原创 2019-07-31 10:44:14 · 12418 阅读 · 0 评论 -
Elasticsearch Java REST高级客户端SearchApi
Elasticsearch Java REST高级客户端SearchApi版本:Elasticsearch 7.2.0本节讲述一下Elasticsearch的条件搜索、排序、分组和聚合,以几个例子简单实现以下操作1.matchAllQuery查询2.matchQuery查询3.termQuery查询4.聚合操作aggregation5.创建和关闭客户端6.maven...原创 2019-07-22 14:05:33 · 12139 阅读 · 0 评论 -
Elasticsearch 定义多个分词器模板
Elasticsearch 定义多个分词器模板版本:Elasticsearch 7.2.01.定义索引时,使用多个分词器2.在模板中定义中使用多个分词器3.ik+pinyin对人工智能感兴趣的同学,可以点击以下链接:现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以...原创 2019-07-25 16:46:49 · 9430 阅读 · 0 评论 -
ElasticSearch reindex 使用
ElasticSearch reindex 使用处理:ElasticSearch reindex 超时 "error": "Gateway Time-out", "message": "Client request timeout"有以下几个方案:增加并行数(根据集群的cpu决定) 增加refresh间隔 副本数为0 增大批次处理量(最大是10000)对人工智能感兴趣的同学,可...原创 2019-07-29 14:00:03 · 14848 阅读 · 0 评论 -
Elasticsearch Java REST高级客户端 bool查询
Elasticsearch Java REST高级客户端 bool查询版本:Elasticsearch 7.2.0maven配置见:Elasticsearch Java REST高级客户端-DocumentApi1.search bool 查询2.SearchScroll bool 查询3.创建客户端对人工智能感兴趣的同学,可以点击以下链接:现在人工智能非常火爆,很多朋...原创 2019-07-24 14:27:04 · 9248 阅读 · 0 评论 -
Elasticsearch Java REST高级客户端-DocumentApi
Elasticsearch Java REST高级客户端-DocumentApi版本:Elasticsearch 7.2.0当你把Elasticsearch升级到7后会发现TransportClient这个客户端已过时,而且PreBuiltTransportClient这个已被删除,那么现在有如何使用java 客户端?Elasticsearch官方建议使用REST高级客户端RestHigh...原创 2019-07-19 08:54:46 · 12458 阅读 · 5 评论 -
Logstash设置ElasticSearch默认分词器
Logstash设置ElasticSearch默认分词器ElasticSearch:7.2.0Logstash:7.2.01.定义Logstash模板2.Logstash配置文件3.查看执行结果4.测试对人工智能感兴趣的同学,可以点击以下链接:现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不...原创 2019-07-05 15:36:39 · 14474 阅读 · 0 评论 -
Elasticsearch Java REST高级客户端 MultiSearch Api
Elasticsearch Java REST高级客户端 MultiSearch Api版本:Elasticsearch 7.2.0maven配置见:Elasticsearch Java REST高级客户端-DocumentApi对人工智能感兴趣的同学,可以点击以下链接:现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入...原创 2019-07-23 15:41:25 · 10144 阅读 · 0 评论 -
ElasticSearch使用脚步做数学运算 加减乘除
ElasticSearch使用脚步做数学运算 加减乘除ElasticSearch版本:7.XElasticSearch的脚本提供了加、减、乘、除、取模、乘方、开方、对数等运算1、加、减、乘、除、取模、乘方、开方、对数等运算2、脚本简单语法3、对索引中的字段运算1、加、减、乘、除、取模、乘方、开方、对数等运算1.1 expression脚本GET metric/_s...原创 2019-08-02 09:34:52 · 22463 阅读 · 2 评论 -
ElasticSearch使用模板中定义的分词器
ElasticSearch使用模板中定义的分词器ElasticSearch7.2.01、定义ik+english分词器2、定义ik+english+同义词分词器3、定义english+pinyin分词器4、使用分词器5、测试分词效果对人工智能感兴趣点下面链接现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白...原创 2019-08-02 10:49:43 · 8480 阅读 · 0 评论 -
Elasticsearch Java REST高级客户端 parent/child join
Elasticsearch Java REST高级客户端 parent/child joinElasticsearch 7.2.01.数据准备2.parentId根据父文档id查询相关子文档3.通过ID和routing ,访问子文档(不加routing查不到)4.hasChild 返回父文档5.hasParent 返回相关的子文档6.Java REST高级客户端连接及...原创 2019-08-27 14:45:40 · 7521 阅读 · 4 评论 -
ElasticSearch nested parent/child join
ElasticSearch nested parent/child joinElasticSearch 7.2.01、创建索引含有nested类型的索引2、添加数据(nested)3、查询(nested)4、创建含有关联关系的索引5、添加数据(parent/child join) 5.1 添加父文档 5.2 添加子文档6、查询(parent/child...原创 2019-08-26 17:23:52 · 7560 阅读 · 0 评论 -
ElasticSearch集群安装配置
ElasticSearch集群安装配置ElasticSearch 7.2.0操作系统 软件及版本 安装包准备 JDK安装 ElasticSearch安装 ElasticSearch-head安装 Kibana安装 集群配置 安全验证对人工智能感兴趣点下面链接现在人工智能非常火爆,很多朋友都想学,但是一般的...原创 2019-08-16 09:41:41 · 7169 阅读 · 0 评论 -
ElasticSearch 性能优化
ElasticSearch 性能优化一、索引层面1 增加 Refresh 时间间隔2 减少副本数量3、开启异步刷写4、开启慢查询日志二、服务器层面5、内存设置6、集群分片设置7、Mapping建模8、索引优化设置9、查询优化对人工智能感兴趣点下面链接现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入...原创 2019-08-12 11:53:32 · 21411 阅读 · 4 评论 -
Nginx + ElasticSearch + Kibana结合
Nginx + ElasticSearch + Kibana结合操作系统 软件下载 安装编译工具及库文件 安装 PCRE 安装 Nginx ElasticSearch配置 Kibana配置 Nginx配置 启动Nginx对人工智能感兴趣点下面链接现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,...原创 2019-08-19 14:04:33 · 7158 阅读 · 0 评论 -
Elasticsearch Java REST高级客户端 条件更新 updateQuery
Elasticsearch Java REST高级客户端 条件更新 updateQueryElasticsearch 7.2.01.条件更新2.客户端创建3.maven配置-pom对人工智能感兴趣点下面链接现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下...原创 2019-08-09 13:27:44 · 18039 阅读 · 5 评论 -
ElasticSearch Java REST 高级客户端 查询模板 SearchTemplate
ElasticSearch Java REST 高级客户端 内联模板 SearchTemplateElasticSearch 7.2.01.内联模板2.创建注册模板3.执行注册模板4.多模板5.创建客户端6.maven配置---pom文件对人工智能感兴趣点下面链接现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非...原创 2019-08-09 13:27:27 · 14295 阅读 · 1 评论 -
ElasticSearch Painless 脚本 简单使用
ElasticSearch Painless 脚本 简单使用数据准备 使用for循环---改变搜索评分 使用for循环---对数组求和 对拼接字段排序 使用脚本更新文档 使用脚本添加新字段 使用脚本对日期操作 正则表达式使用1、数据准备PUT hockey/_bulk?refresh{"index":{"_id":1}}{"first":"johnny","la...原创 2019-08-06 18:59:26 · 10446 阅读 · 0 评论 -
ElasticSearch 7.x 默认不在支持指定索引类型
ElasticSearch 7.x 默认不在支持指定索引类型在elasticsearch7.x上执行:put es_test{ "settings":{ "number_of_shards" : 3, "number_of_replicas" : 0 }, "mappings":{ "boo...原创 2019-07-05 10:20:39 · 42161 阅读 · 6 评论 -
ElasticSearch SQL 日期函数
ElasticSearch SQL 日期函数1、日期计算2、日期函数3、日期字符串转换(获取毫秒值、日期转字符串、字符串转日期)对人工智能感兴趣的同学,可以点击以下链接:现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里可以跳转到教程。https...原创 2019-04-30 20:28:59 · 31461 阅读 · 0 评论 -
ElasticSearch映射 Mapping
ElasticSearch映射 Mapping为了能够把日期字段处理成日期, 把数字字段处理成数字, 把字符串字段处理成全文本( Full-text) 或精确的字符串值, Elasticsearch需要知道每个字段里面都包含了什么类型。 这些类型和字段的信息存储( 包含) 在映射( mapping) 中。正如《数据吞吐》 一节所说, 索引中每个文档都有一个类型(type)。 每个类型拥有自己...原创 2019-04-03 15:04:49 · 25681 阅读 · 1 评论 -
ElasticSearch在Java中实现增删改查
ElasticSearch在Java中实现增删改查ElasticSearch6.x从es中获取数据 添加一条文档 删除一条文档 使用update更新,局部更新,前提必须有数据 使用upsert更新,局部更新,之前沒有則創建,有則更新如果是ElasticSearch7或以上版本情转到如下链接REST高级客户端-DocumentApi:https://blog.youkuaiyun.com...原创 2019-04-16 13:55:22 · 22330 阅读 · 0 评论 -
ElasticSearch复合查询
ElasticSearch复合查询1 使用bool查询2 constant_score查询将多个基本查询组合成单一查询的查询1 使用bool查询{ "bool": { "must": [], "should": [], "must_not": [], "filter": {} }}must...原创 2019-04-04 14:43:04 · 30397 阅读 · 2 评论 -
ElasticSearch基本查询(Filter查询)
ElasticSearch基本查询(Filter查询)1、数据准备2、简单的过滤查询3、bool过滤查询4、范围过滤5、过滤非空、判断存在6、过滤器缓存7、聚合查询对人工智能感兴趣的同学,可以点击以下链接:现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍...原创 2019-04-04 13:46:09 · 28018 阅读 · 1 评论 -
ElasticSearch基本查询(Query查询)
ElasticSearch基本查询(Query查询) 1、数据准备2、term查询和terms查询3、控制查询返回的数量4、返回版本号5、match查询6、指定返回的字段、显示字段7、显示要的字段、去除不需要的字段8、排序9、范围查询10、wildcard查询11、fuzzy实现模糊查询12、高亮搜索结果对人工智能感兴趣的同学,可以点击以下链接:现在人工智能...原创 2019-04-04 09:29:58 · 79436 阅读 · 2 评论 -
ElasticSearch版本控制
ElasticSearch版本控制对人工智能感兴趣的同学,可以点击以下链接:现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里可以跳转到教程。https://www.cbedai.net/u014646662当使用 index API更新文档的时候,...原创 2019-03-18 19:30:25 · 29580 阅读 · 0 评论 -
ElasticSearch使用Kibana实现批量操作(二)
ElasticSearch使用Kibana实现批量操作-Bulk API和 mget 允许我们一次性检索多个文档一样, bulk API允许我们使用单一请求来实现多个文档的 create 、 index 、 update 或 delete 。 这对索引类似于日志活动这样的数据流非常有用, 它们可以以成百上千的数据为一个批次按序进行索引。1、bulk请求体2、bulk分类3、crea...原创 2019-03-18 17:47:00 · 34079 阅读 · 0 评论 -
ElasticSearch使用Kibana实现批量操作(一)
ElasticSearch使用Kibana实现批量操作-Multi Get API1.批量获取多份文档2、指定显示的字段上篇介绍了介绍ElasticSearch使用Kibana实现基本的增删改查操作,本篇主要介绍批量操作合并多个请求可以避免每个请求单独的网络开销。 如果你需要从Elasticsearch中检索多个文档, 相对于一个一个的检索, 更快的方式是在一个请求中使用mul...原创 2019-03-18 15:44:36 · 33402 阅读 · 0 评论 -
ElasticSearch分析和分析器
ElasticSearch分析和分析器定义多个分词器模板:https://blog.youkuaiyun.com/u014646662/article/details/97272096使用模板中定义的分词器:https://blog.youkuaiyun.com/u014646662/article/details/98174611分析(analysis)是这样一个过程:首先,标记化一个文本块为适用于倒排...原创 2019-03-12 09:45:17 · 33377 阅读 · 0 评论 -
ElasticSearch倒排索引
ElasticSearch倒排索引Elasticsearch使用一种叫做倒排索引(inverted index)的结构来做快速的全文搜索。倒排索引由在文档中出现的唯一的单词列表,以及对于每个单词在文档中的位置组成。例如,我们有两个文档,每个文档 content 字段包含:The quick brown fox jumped over the lazy dog Quick brown f...原创 2019-03-12 09:22:53 · 33111 阅读 · 0 评论 -
ElasticSearch安装中文分词器 ik
ElasticSearch安装中文分词器 ik(1)下载中文分词器elasticsearch-analysis-ik-master.zip(一定要下载和你的es版本一致的)官方下载:https://github.com/medcl/elasticsearch-analysis-ikcsdn下载:https://download.youkuaiyun.com/download/u014646662/...原创 2019-03-12 09:22:46 · 32659 阅读 · 0 评论 -
ElasticSearch在Java中实现批量操作
ElasticSearch在Java中实现批量操作适用范围ElasticSearch6.x如果是ElasticSearch7或以上版本情转到如下链接REST高级客户端-DocumentApi:https://blog.youkuaiyun.com/u014646662/article/details/96473156REST高级客户端SearchApi:https://blog.csdn.ne...原创 2019-04-16 16:16:53 · 26152 阅读 · 4 评论 -
ElasticSearch快速学习---30分钟入门ElasticSearch
ElasticSearch快速学习ElasticSearch原理,30分钟入门ElasticSearch目录1 解析es的分布式架构2 分片和副本机制3 单节点环境下创建索引分析4 两个节点环境下创建索引分析5 水平扩容的过程6 ElasticSearch的容错机制7文档的核心元数据8 文档id生成方式9 _source元数据分析10 改变文档内容原理解析11 基...原创 2019-04-10 09:41:41 · 23259 阅读 · 0 评论