elasticsearch
关注
分享
扫一扫
司马缸砸缸了
主要擅长领域：中间件，JAVA，分布式，APM。善于专研，乐于分享。人生格言：只管努力，其他的交给命运。
展开
-
【弄nèng - Elasticsearch】运维篇 —— ES分片unassigned解决方案（ALLOCATION_FAILED，REPLICA_ADDED等）
文章目录1. 情况2. 继续深究3. 解决此问题用到的知识项目推荐1. 情况ES分片有一些未分配成功，集群状态处于黄色我们可以通过以下api查看分片情况GET _cat/shards?h=index,shard,prirep,state,unassigned.reason通过返回值可以看到分片未分配的原因，一般有以下几个：INDEX_CREATED：由于创建索引的API导致未分配。...原创 2020-01-06 15:47:17 · 4732 阅读 · 1 评论 -
【弄nèng - SearchGuard】问题篇 —— ES安装Searchguard插件后打印访问IP
文章目录一. 问题描述二. 解决办法项目推荐ES打印访问IP一. 问题描述ES安装searchguard插件后，客户端连接ES，密码输入错误，ES日志中提示password does not match，但是没有来源IP，导致我们不知道是谁连接的，后台一直刷新错误日志。[2020-02-24T09:29:59,711][ERROR][c.f.s.a.BackendRegistry ]...原创 2020-02-26 09:08:51 · 495 阅读 · 0 评论 -
【弄nèng - SearchGuard】应用篇 —— Windows下elasticsearch5.2.2 安装SearchGuard5.2.2
文章目录1. Search Guard 简介2. ES安装Search Guard插件3. 配置TLS/SSL4. 配置elasticsearch.yml5. 测试6. 配置searchguard权限6.1 用户和密码修改6.2 search-guard配置文件说明7. es head插件使用Search Guard8. Kibana使用Search Guard9. Zipnkin使用Search...原创 2019-12-13 10:48:33 · 1566 阅读 · 0 评论 -
【弄nèng - SearchGuard】应用篇 —— 手动调整searchguard索引副本数
文章目录一. 问题描述二. 重新设置searchguard索引副本数项目推荐一. 问题描述searchguard索引默认1主，副本数是data节点实例数-1副本数应该设置成data节点机器数 - 1，不然在一台机器上部署多个data实例时就会有一部分searchguard索引副本分配不成功。解决办法初始化时加-us 参数，后面跟着searchguard索引副本数。二. 重新设置sear...原创 2020-01-10 12:27:55 · 367 阅读 · 0 评论 -
【弄nèng - Logstash】Logstash配置es search-guard插件
文章目录1. logstash安装1.1 下载1.2 添加配置1.3 在ES中创建映射模板1.4 启动logstash2. 异常2.1 could not find java; set JAVA_HOME or ensure java is in PATH项目推荐Logstash配置es search-guard插件logstash文档https://elkguide.elasticsear...原创 2019-12-26 10:20:10 · 423 阅读 · 0 评论 -
【弄nèng - Elasticsearch】Java API入门篇（三）—— 使用TransportClient，常用聚合
文章目录1. 准备2. 事例项目推荐该篇博客为elasticsearch 查聚合相关Java Api 事例，包括term aggregation，sum aggregation等操作。官网传送门1. 准备参考 上一篇博客传送门2. 事例import org.elasticsearch.action.search.SearchResponse;import org.elastics...原创 2019-12-02 18:39:58 · 541 阅读 · 1 评论 -
【弄nèng - Elasticsearch】Java API入门篇（二）—— 使用TransportClient，常用查询
文章目录1. 准备2. 事例项目推荐该篇博客为elasticsearch 查询语句相关Java Api 事例，包括match，term，prefix等操作。官网传送门1. 准备参考 上一篇博客传送门2. 事例import org.apache.lucene.search.join.ScoreMode;import org.assertj.core.util.Lists;imp...原创 2019-12-02 18:37:38 · 649 阅读 · 0 评论 -
【弄nèng - Elasticsearch】Java API入门篇（一）—— 使用TransportClient，索引操作
文章目录1. 准备索引2. 事例项目推荐该篇博客为elasticsearch 索引相关Java Api 事例，包括索引，更新，删除，批量请求-bulkApi，批量处理器-BulkProcessor等操作。官网传送门1. 准备索引博客中事例主要用到两个索引, mapping如下1.twitter"properties": { "age": { ...原创 2019-12-02 18:24:20 · 1031 阅读 · 0 评论 -
【弄nèng - Elasticsearch】DSL入门篇（十三）—— Index Template
文章目录1. 简介2. 创建模板3.查询模板4.删除模板项目推荐Percentiles Aggregation 百分比聚合，事例来自官网官网传送门参考：https://www.cnblogs.com/shoufeng/p/10641560.htmlhttps://elasticsearch.cn/article/3351. 简介索引可使用预定义的模板进行创建，这个模板叫做Inde...原创 2020-03-17 17:48:21 · 460 阅读 · 0 评论 -
【弄nèng - Elasticsearch】DSL入门篇（十二）—— Exists Query 和 Sort排序
文章目录1. `Exists Query` 判断字段是否存在2. `Sort ` 排序项目推荐脚本查询，语法跟版本有关，我是用的es是5.2.21. Exists Query 判断字段是否存在POST schools/classes/_search{ "query": { "exists" : { "field" : "price" } }}查询...原创 2020-03-12 17:46:26 · 1437 阅读 · 0 评论 -
【弄nèng - Elasticsearch】DSL入门篇（十一）—— Script 脚本查询
文章目录1. `Script Query` 比较大小过滤2. Script Query 数据处理项目推荐脚本查询，语法跟版本有关，我是用的es是5.2.21. Script Query 比较大小过滤POST schools/classes/_search{ "query": { "bool" : { "must" : { ...原创 2019-12-05 14:27:50 · 2051 阅读 · 0 评论 -
【弄nèng - Elasticsearch】DSL入门篇（十）—— 常用聚合
文章目录1. Missing Aggregation2. Range Aggregation3. Histogram Aggregation3.1 排序4. Terms Aggregation5. Avg,Min,Max,Stats,Sum Aggregation6. Terms Aggregation7. Terms Aggregation项目推荐常用聚合1. Missing Aggre...原创 2019-11-29 17:39:14 · 418 阅读 · 0 评论 -
【弄nèng - Elasticsearch】DSL入门篇（九）—— Global aggregation和Filter aggregation
文章目录1. Global aggregation项目推荐Global aggregation定义搜索执行上下文中所有文档的单个bucket。此上下文由正在搜索的索引和文档类型定义，但不受搜索查询本身的影响官网传送门1. Global aggregationPOST twitter/tweet/_search{ "query" : { "match" : { ...原创 2019-11-28 17:15:18 · 326 阅读 · 0 评论 -
【弄nèng - Elasticsearch】DSL入门篇（八）—— Percentiles Aggregation
文章目录1. Percentiles Aggregation项目推荐Percentiles Aggregation 百分比聚合，事例来自官网官网传送门1. Percentiles AggregationPOST schools/room/_search{ "aggs" : { "load_time_outlier" : { "perce...原创 2019-11-28 16:50:48 · 355 阅读 · 0 评论 -
【弄nèng - Elasticsearch】DSL入门篇（七）—— Nested类型查询，聚合
文章目录1. nested query2. nested 对象聚合项目推荐nested类型就是为了解决object类型在对象数组上丢失关联性的问题的，如果将字段设置为nested类型，那个每一个嵌套对象都会被索引为一个 “隐藏的独立文档”。他会为每一个内部对象属性单独索引。如果你需要保留 object 数组中每个对象的内部关系, 则需要使用 nested 类型, 而不是 [object,ob...原创 2019-11-26 16:01:20 · 1242 阅读 · 0 评论 -
【弄nèng - Elasticsearch】DSL入门篇（六）—— Top Hits Aggregation
文章目录1. Top Hits Aggregation项目推荐官方解释：一个top_hits指标聚合不断被聚合跟踪最相关的文档。该聚合器旨在用作子聚合器，以便可以按存储分区汇总最匹配的文档。该top_hits聚合器可以有效地用于通过存储桶聚合器按某些字段对结果集进行分组。一个或多个存储桶聚合器确定将结果集切成哪些属性个人解释：将聚合结果进行在再过滤，每个组内数据排序取前N个。1...原创 2019-11-26 14:58:11 · 986 阅读 · 1 评论 -
【弄nèng - Elasticsearch】DSL入门篇（五）—— 常用查询
文章目录1. term、terms查询2. match查询3. match_all查询4. multi_match查询5. match_phrase短语匹配5.1 查询keyword5.2 查询text5.3 slot6. prefix前缀查询7. fuzzy模糊查询8. 通配符查询9. 正则表达式查询10. query_string查询( 支持lucene的查询语法 )项目推荐Dsl基础查...原创 2019-11-21 11:18:37 · 436 阅读 · 0 评论 -
【弄nèng - Elasticsearch】DSL入门篇（四）—— 布尔查询Bool Query
文章目录1. 介绍2. 测试项目推荐1. 介绍Bool Query包括四种子句，must, should, must_not, filter。格式：{ "bool":{ "must":[], "should":[], "must_not":[], "filter":[] }}must：必须满足的条件 （a...原创 2019-11-18 18:40:48 · 711 阅读 · 0 评论 -
【弄nèng - Elasticsearch】DSL入门篇（三）—— 查询必须存在某个字段
文章目录1. 查询数据存在某个字段2. 查询数据不存在某个字段项目推荐查询数据存在某个字段或者不存在某个字段1. 查询数据存在某个字段POST schools/room/_search{ "query": { "bool": { "must": [ { "exists": { "field":"time...原创 2019-11-11 14:16:55 · 1428 阅读 · 0 评论 -
【弄nèng - Elasticsearch】DSL入门篇（二）—— 文档操作，增删改
文章目录1. 添加数据2. 局部更新数据2.1 更新普通类型数据2.1 更新对象类型数据3. 条件更新4. 删除文档4.1 删除单个文档4.2 条件删除文档项目推荐声明：1. 添加数据POST http://localhost:9200/schools/classes/1 { "classes_id": 1, "name": "班级1", "address": "深圳市福...原创 2019-10-31 14:03:56 · 532 阅读 · 0 评论 -
【弄nèng - Elasticsearch】DSL入门篇（一）—— 创建索引
文章目录1. 简介2 创建索引2.1 基础创建2.1 设置参数创建源码地址项目推荐声明：先占个位置，为了1024勋章声明：先占个位置，为了1024勋章声明：先占个位置，为了1024勋章*后台服务基于Springboot2 + Activiti6，整合文章请参考：https://blog.youkuaiyun.com/yy756127197/article/details/101211510 不...原创 2019-10-24 20:08:11 · 1571 阅读 · 0 评论 -
【弄nèng - Springboot】Springboot+logback集成ELK处理日志实例
一. 背景ELK官网最近把我们的项目从cloud foundry迁移到了K8S，但是公司的容器系统才出现没多久，还不是很成熟，所以我们就用了公司的K8S集群，其他的自己去搞下，日志就是一个很大的问题，容器内部的日志真不是给人看的。调研了下，主流还是elk。正好项目中的全文检索使用的elasticsearch,另外在集成logstash+kibana就可以了。elk的安装教程，自行百度，注意版本依赖问原创 2017-12-22 14:56:10 · 18278 阅读 · 6 评论 -
Springboot+logback+redis集成ELK处理日志实例
一. 简介在上一篇博客改造 地址： Springboot+logback集成ELK处理日志实例架构图： 改变：在上一个架构中多加了层logstash和redis作为缓冲区，缓解日志很多时给业务带来的影响。二. 配置修改原来的logstash的配置文件 std_std_es.confinput { tcp { ##host:port就是上面appender中的 destin原创 2017-12-28 18:08:30 · 3450 阅读 · 2 评论