
ELK
工程狮一枚
当你的才华还撑不起你的野心的时候,你就应该静下心来学习;当你的能力还驾驭不了你的目标时,就应该沉下心来,历练;梦想,不是浮躁,而是沉淀和积累,只有拼出来的美丽,没有等出来的辉煌,机会永远是留给最渴望的那个人,学会与内心深处的你对话,问问自己,想要怎样的人生,静心学习,耐心沉淀,送给自己,共勉
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
ELK 系列一、Centos 7 安装ELK6.2.3
ELK 不是一款软件,而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件,通常配合使用,而且又先后归于 Elastic.co 公司名下,所以被简称为 ELK Stack。根据 Google Trend 的信息显示,ELK Stack 已经成为目前最流行的集中式日志解决方案。Elasticsearch:分布式搜索和分析引擎,具有高...原创 2018-09-21 19:25:20 · 1456 阅读 · 0 评论 -
ELK 系列十一、elk权限说明和设置
权限设置可以通过命令,也可以通过kibana控制台,这边主要是讲控制台,注意,需要先开通x-pack权限设置的方式也很容易理解,先建好角色,给角色赋权限,然后把角色分配给具体的用户,这样用户就具备权限了目录1.角色权限设置2.角色权限参数说明2.1内置角色2.2 Cluster privileges2.3. 索引权限1.角色权限设置比如我要建一个只限于test索...原创 2019-05-31 11:52:27 · 4898 阅读 · 0 评论 -
ELK 系列十、elasticsearch索引模版设置,规划分片和副本
目录1、索引模版设置1.0 了解下分片和副本1.1 新建或修改模版1.2 删除索引模版1.3 查询模版2、预设置索引,设置分片和副本1、索引模版设置1.0 了解下分片和副本分片和副本:es中的分片share相当于关系型数据库的表分区,一般一个分片处理30g的存储数据,如果规划中有300g可分10个分片根据建议,至少需要 10 个分片。结果: 建...原创 2019-05-16 17:14:24 · 8180 阅读 · 0 评论 -
ELK 系列九、elasticsearch扩容(从单机至单机伪集群)
目录一、简介二、升级操作2.1 es配置2.2 logstash设置2.3守护进程配置2.4查看结果一、简介单机伪集群是什么概念呢,就是同一台服务器有多个es节点先介绍一下,原先的环境为在一台服务器192.168.0.15上安装了es、kibana、logstash,通过守护进程来启动服务,单机单节点。现在升级为单机多节点。二、升级操作查看...原创 2019-05-15 18:56:47 · 2640 阅读 · 0 评论 -
ELK 系列八、全链路监控
一、简介写这篇文章的出发点是总结这一段时间工作之全链路监控实施过程的重点配置,整体架构和具体细节都由本人完成,以下的配置的是研究时候搭建的,本篇侧重数据采集和入库和查询展现。全链路有很多方式,我这边是以网关为切路点进行监控,具体的设计流程如下:其中lbid为负载均衡节点序号,rid为requestid,其中有很多技术细节这边就不记录了,因为没那么多时间,本文章主要记录数据源:nginx...原创 2019-05-06 10:53:04 · 3836 阅读 · 0 评论 -
ELK 系列七、kibana汉化
汉化很简单,请参考https://github.com/wu2700222/Kibana_Hanization有遇到问题的可以留言效果如下图:原创 2019-05-06 10:19:00 · 2209 阅读 · 0 评论 -
ELK 系列六、logstash 的mutate过滤器功能介绍
因为我在做相关elk项目的时候用的还是6.5版本,所以该文档就以6.5进行介绍,首先先了解下mutate是做什么的,该插件是集成至logstash过滤数据用的,在把数据写入到es之前进行简单的数据清洗和数据格式化。mutate具有以下几个函数(sql用惯了)吧函数介绍 序号 函数名 输入类型 备注 1 convert hash 和关系型数据库的co...原创 2019-05-06 10:14:56 · 3523 阅读 · 0 评论 -
ELK 系列五、elasticsearch 开启生产模式,设置network.host
这里要说的有一点,es默认是开发者模式,如果要开启生产模式就是修改elasticsearch中的配置,至于开发者模式和生产模式的区别请查看官网。。这里就不说明了,至于我为啥要开启是因为我要写程序去调用es统计数据,但默认是127.0.0.1:9200 只能本机。。 修改配置,注意:后面要带一个空格vim /data/elasticsearch-6.5.3/config/elastics...原创 2019-02-22 16:29:41 · 9509 阅读 · 0 评论 -
ELK 系列四、elasticsearch 数据迁移
本次迁移是换了个数据目录elasticsearch版本:elasticsearch-6.5.3迁移需要做以下几步:1、停止运行es我这边是用 supervisorctl管理supervisorctl stop elasticsearch2、新建迁移目录并赋权限新目录为:/data/esdate/data 原目录是项目中的data目录并赋权chown -R e...原创 2018-12-29 15:15:41 · 972 阅读 · 0 评论 -
ELK 系列四、Elasticsearch 性能优化
前言最近一年使用 Elasticsearch 完成亿级别日志搜索平台「ELK」,亿级别的分布式跟踪系统。在设计这些系统的过程中,底层都是采用 Elasticsearch 来做数据的存储,并且数据量都超过亿级别,甚至达到百亿级别。所以趁着有空,就花点时间整理一下具体怎么做 Elasticsearch 性能优化,希望能对 Elasticsearch 感兴趣的同学有所帮助。背景El...转载 2018-12-29 11:20:24 · 1016 阅读 · 0 评论 -
ELK 系列二、Centos 7 安装ELK6.5.3 +filebeat+守护进程supervisor 进行日志解析和定制
大家好,本篇文章是使用ELK去解日志,本篇从ELK的安装部署至ELK的日志规则设置解析和展现做一个全面的分析,当然写这篇文章的目的是给自己做个日志。内容如下:目录一、解析目标和环境介绍1、解析入库的目标是以下几种:2.解析日志的环境如下:二、部署ELK,并启动测试启动ElasticSerach配置和启动Logstash三、部署filebeat进行采集日志上传至log...原创 2018-12-17 10:40:49 · 3767 阅读 · 0 评论 -
ELK 系列三、ELK6.5.3 +xpack编译
目录一、编译生成jar包和license更新1.1开启试用版1.2 进入/usr/local目录(根据自己喜好选择,创建的文件后期会删除)1.3 分别编译两个文件1.4 覆盖之前的jar文件1.5 修改elasticsearch.yml配置文件1.6 生成用户名和密码1.7将生成的elastic密码配置到kibana中1.8 启动kibana(先重启elas...原创 2020-12-24 19:35:18 · 40214 阅读 · 10 评论 -
ELK系列六、Kettle8.3 的安装部署
使用了1年多的数据处理工具,感觉挺好用的,写出来分享一下优点如下:免费开源基于java的免费开源的软件,对商业用户也没有限制易配置可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定不同数据库ETL工具集,它允许你管理来自不同数据库的数据两种脚本文件transformation和job,transformation完成针对数据的基础转换,...原创 2019-07-31 11:14:30 · 4601 阅读 · 3 评论