
日志分析平台
文章平均质量分 84
「已注销」
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
替代ELK:ClickHouse+Kafka+FlieBeat
整个部署的过程踩了不少坑,尤其是 filebeat yml 的参数设置和 clickhouse 的配置说明。转载 2024-07-11 17:55:51 · 479 阅读 · 0 评论 -
Elasticscarch集群环境搭建
Elasticscarch集群环境搭建准备环境操作系统:CentOS 7ElasticScarch版本:5.6JDK:1.8集群的构建方式和节点的介绍我准备使用的VirtualBox虚拟机构建3个ElasticScarch的节点。IP和主机名如下:IP hostname 192.168.94.101 es-node1 192.168.94.102 ...转载 2021-01-12 16:00:43 · 300 阅读 · 0 评论 -
ES集群性能优化及维护
注:集群 elasticsearch 版本为 v7.2.1。1.ES索引刷新间隔设置: index.refresh_interval 刷新时间,默认1 PUT index(_all)/_settings?preserve_existing=false { "index.refresh_interval": "15s" }2.ES索引备份数设置: index.number_of_replicas 备份数,默认1 PUT转载 2021-01-12 18:35:21 · 1475 阅读 · 0 评论 -
es基本配置文件详解
基本概念近实时(Near Realtime[NRT])Elasticsearch是一个接近实时的搜索平台。这意味着从索引文档的时间到可搜索的时间之间存在轻微的延迟(通常为一秒)。集群(Cluster)集群是一个或多个节点(服务器)的集合,它们一起保存整个数据,并提供跨所有节点的联合索引和搜索功能。集群由默认名称为“elasticsearch”的唯一名称标识。此名称很重要,因为如果节点设置...原创 2019-12-31 13:50:29 · 2370 阅读 · 0 评论 -
建立EFK系统日志分析平台
一、拓扑图二、下载elasticsearch-7.2.0-linux-x86_64.tar.gz filebeat-7.2.0-linux-x86_64.tar.gz kibana-7.2.0-linux-x86_64.tar.gz此处的本机IP是192.168.100.11三个包配置安装elasticsearchroot@node...原创 2019-11-25 12:00:05 · 361 阅读 · 0 评论 -
部署ELK分布式日志分析平台(最下方附属logstatsh+filebeat)
一、ELK应用背景:需求背景:生产环境中业务发展越来越庞大,服务器越来越多,各种访问日志、应用日志、错误日志量越来越多,导致运维人员无法很好的去管理日志,开发人员排查问题,需要到服务器上查日志,不方便,运营人员需要一些数据,需要我们运维到服务器上分析日志;解决的问题:一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大也就...原创 2019-03-08 13:30:50 · 1138 阅读 · 0 评论 -
FileBeat+Redis+ELK构建企业级日志分析平台
需求背景:业务发展越来越庞大,服务器越来越多 各种访问日志、应用日志、错误日志量越来越多,导致运维人员无法很好的去管理日志 开发人员排查问题,需要运维到服务器上查日志,不方便 运营人员需要一些数据,需要我们运维到服务器上分析日志ELK环境部署之前做的ELK的环境,只用了logstash作为收集日志的agent,而logstash消耗系统资源很大,在生产环境下将logstash作为a...原创 2019-11-25 14:10:44 · 439 阅读 · 1 评论 -
(k8s)kubernetes上的ELK和应用日志上报实战
本次实战的基础结构如下图所示: 一共有两个Pod:ELK和web应用; ELK的Pod会暴露两个服务,一个暴露logstash的5044端口,给filebeat用,另一个暴露kibana的5601端口,给搜索日志的用户访问的时候用; web应用暴露一个服务,给用户通过浏览器访问; 实战步骤简介 部署ELK的pod和服务; 部署web应...原创 2019-11-25 14:10:06 · 441 阅读 · 0 评论 -
万字长文利用ELK+kafka分析Nginx日志生产实战(高清多图)
一、服务介绍1.1、ELKELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具。Elasticsearch是个开源分布式搜索引擎,提供搜集、...原创 2019-11-25 14:09:46 · 586 阅读 · 0 评论 -
EFK+kafka日志系统安装文档
EFK日志系统安装文档因word整理的格式粘贴到csdn上变化很大,感觉影响阅读的博友们可以从下面链接下载word格式文档。文档地址:https://download.youkuaiyun.com/download/anxianfeng55555/105762441. 概述 11.1. 配置规划 1...原创 2019-11-25 14:09:11 · 202 阅读 · 0 评论