elk
关注
分享
扫一扫
abcd1101
用过什么决定下限，基础原理决定上限。要相信积累的力量。
展开
-
elasticsearch面试必考（亲身经历的问题）
作者：手留余香 | 转自：Java架构沉思录 | 原文面试题es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？底层的 lucene 介绍一下呗？倒排索引了解吗？面试官心理分析问这个，其实面试官就是要看看你了解不了解 es 的一些基本原理，因为用 es 无非就是写入数据，搜索数据。你要是不明白你发起一个写入和搜索请求的时候，es 在干什么，...转载 2019-04-04 08:13:30 · 130449 阅读 · 25 评论 -
elasticsearch使用别名alias和_update_by_query来和其他index一起做kibana图
背景：有两个index，一个叫abc_edf，一个叫qwe_ert，他们都是交易信息的，一个可能记转账，一个可能记二维码交易，以前没打算会结合一起做图标，做pie图的，所以前序用的是项目名。问题：现在要把他们结合一起做pie图，结合其他交易来看客户更喜欢什么交易解决方法：我们知道kibana建index pattern可以使用前序来把两个index合起来用，但是如果index前...原创 2019-04-11 23:29:22 · 1487 阅读 · 0 评论 -
分布式系统在存储层的两种不同架构方式
第一种：基于本地文件系统的分布式系统第二种：基于分布式文件系统HDFS的分布式系统（共享存储）详细：第一种：基于本地文件系统的分布式系统上图中是一个基于本地磁盘存储数据的分布式系统。Index一共有3个Shard，每个Shard除了Primary Shard外，还有一个Replica Shard。当Node 3机器宕机或磁盘损坏的时候，首先确认P3已经不可用，重新选举R3位Pr...转载 2019-04-07 17:46:35 · 1472 阅读 · 0 评论 -
Kibana visualize对字段值操作
JSON InputA text field where you can add specific JSON-formatted properties to merge with the aggregation definition, as in the following example:乘法：{ "script" : "doc['grade'].value * 1.2" }截取...原创 2019-04-01 21:05:57 · 3367 阅读 · 0 评论 -
elasticsearch必知
1、快速掌握Elasticsearch节点知识，增删查改后台过程。节点，分片和副本的关系如果你的索引也如常见的那样是偏向查询使用的，那你可以通过增加副本的数目来提升查询性能，但也要为此 _增加额外的硬件资源_。一个拥有两个主分片一份副本的索引可以在四个节点中横向扩展如果提高搜索效率，优化后：https://www.elastic.co/guide/cn/elastics...原创 2019-04-07 18:16:43 · 362 阅读 · 1 评论 -
Logstash离线安装插件
需求：解析定长的字符，然后塞进es 结果：搜索看错了，原本的filter grok就可以解决问题，看错了要使用filter range，所以才有了这篇离线安装filter range插件的文章 ps：已有插件grok解析定长grok{ match =>{"message" => "^(?<field1>.{length})(?<field2>.{le...原创 2018-10-08 17:39:56 · 3517 阅读 · 0 评论 -
yyyy-MM-dd'T'HH:mm:ss'Z'的时区在kibana的展示
这是标准的XML Schema的"日期型数据格式”T是代表后面跟着“时间”。Z代表0时区，或者叫UTC统一时间。kibana的时区默认是按照browser，可以在management->advanced settings->datefromat:tz设置成etc/gmt来方便在kibana对数原来的数据源。福利推荐：加班，祛痘，去油，祛湿必备。我现在也在喝，卖家是...原创 2018-10-08 17:45:42 · 1517 阅读 · 0 评论 -
elasticsearch join连接查询 支持任意版本 多种sql
6.X之后自带的sql工具暂时感觉支持的不多，所以用了一个开源的轮子。https://github.com/NLPchina/elasticsearch-sql/安装很方便，跟着他的教程就可以了。至于他的用户界面，我就是用kibana自带的node跑起的。ln -s /kibana/node/bin/node /usr/bin/ln -s /kibana/node/bin/n...原创 2018-10-08 18:31:51 · 9272 阅读 · 0 评论 -
Elasticsearch docker 集群（建议6.3版本之后，自带xpack，非常赞）
原文：https://www.elastic.co/guide/en/elasticsearch/reference/current/docker.html如果机器可以直接连外网那就太好了，问题是如果不能连外网，就要用dockerfile build完save tar再load进来，至于这个dockerfile后续加上，里面会有kibana和elasticsearch-sql。建议使用6.3之...原创 2018-10-08 18:57:52 · 2138 阅读 · 0 评论 -
elasticsearch的index type经验
1.有很多人觉得index是数据库，type是不同表。但是其实使用起来并不是如此，我认为index就是一个表，type只是自带一个field而已。官网文档也是这样说。https://www.elastic.co/guide/en/elasticsearch/reference/current/removal-of-types.html#_why_are_mapping_types_being_...原创 2018-10-09 15:49:09 · 3962 阅读 · 0 评论 -
Logstash解析linux ^M问题-windows的\r\n linux的\n mac的\r
需求：最近用logstash解析文件，发觉该文件在vi里是同一行，用^M分隔，但是在编辑器里看就是换行的。导致logstash解析不了该文件，logstash默认是\n。原因：unix/linux文件模式识别的换行结尾是：换行 = LF = \n = $ = ASCII代码10 = 十六进制 0x0Amac文件模式识别的换行结尾是：回车 = CR = \r = ^M = ASCII代码...原创 2018-10-10 15:45:34 · 959 阅读 · 0 评论 -
Logstash input sftp插件 下载远端文件
需求：我们需要别的team的log文件来分析，别的team不让安装filebeat或者logstash，所以只好自己写个插件来定期download来解析项目路径（欢迎意见 or star or pull request）：https://github.com/yuxuanh/logstash-input-sftp插件路径（如果不想下git项目，然后打包，可以在下面下载）：https...原创 2018-10-12 10:00:53 · 971 阅读 · 0 评论 -
filebeat vs logstash
filebeat比logstash轻量，轻量在占用资源少，少十倍左右大家可以用ps aux | grep logstash | awk '{print $2}'然后cat /proc/12628/status | grep -i vm来看差别为什么会有这么大的差别？因为filebeat是用go编写，logstash使用ruby写的。Logstash会占用不少的jvm。当然，也...原创 2018-10-15 15:36:06 · 4635 阅读 · 0 评论 -
Elasticsearch持久化流程，集群原理，倒排索引细说
这篇文章都是基于巨人的肩上的，看了感觉比较容易理解，有补充可以提出。持久化流程：es是基于lucene上的1.lucene持久化原理：一个文档分词并持久化成倒排索引，倒排索引不可变，不可变所以不锁，长期在缓存也不用变，可压缩https://www.elastic.co/guide/cn/elasticsearch/guide/current/making-text-searchable...转载 2018-10-15 18:08:00 · 2703 阅读 · 0 评论