ELK日志文件分析系统——K(Kibana)

(二)ElasticSearch 辅助工具 Kibana 介绍与安装 Kibana 是一个针对Elasticsearch的开源分析及可视化平台,用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana,可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。它操作简单,基于浏览器的用户界面可以快速创建仪表板(dashboard)实时显示Elasticsearch查询动态。 阅读详情

目录

基本概念

一、核心原理‌

‌二、关键特性‌

‌三、应用意义‌

部署步骤

‌一、环境准备‌

‌二、下载与安装‌

‌三、配置文件解析‌

‌四、服务管理与启动‌

‌五、部署验证‌

‌六、生产调优建议‌

 基本命令

‌一、服务管理命令‌

‌二、启动参数解析‌

‌三、插件管理命令‌

‌四、调试与维护命令‌

‌五、系统集成命令‌

‌六、生产环境完整示例‌

‌附:与Elasticsearch联调命令‌


基本概念

一、核心原理‌

  1. ‌数据交互架构‌

    • 采用REST API与Elasticsearch通信,实时查询索引数据并动态渲染可视化结果
    • 基于Lucene查询语法实现数据检索(如status:200 AND method:GET)
  2. ‌可视化引擎‌

    • 使用D3.js和Vega库生成交互式图表(柱状图/热力图等),支持动态数据绑定
  3. ‌元数据管理‌

    • 通过.kibana索引存储仪表盘配置、查询模板等元信息

‌二、关键特性‌

特性说明
‌多维度分析‌支持时间序列、地理空间、文本等多类型数据交叉分析
‌实时仪表盘‌可组合多个可视化组件,自动刷新数据(默认15秒间隔)
‌Dev Tools‌内置Elasticsearch查询调试界面,支持DSL语法验证
‌机器学习集成‌与Elastic ML模块联动,实现异常检测(如流量突增预警)

‌三、应用意义‌

  1. ‌降低数据分析门槛‌

    • 通过拖拽界面替代SQL/DSL编写,使非技术人员快速生成报表
  2. ‌统一监控平台‌

    • 整合日志(Nginx)、指标(Prometheus)等多源数据,实现全栈可观测性
  3. ‌合规审计支持‌

    • 记录用户操作日志(如查询历史),满足GDPR等法规要求

Kibana作为ELK栈的"可视化层",通过其低代码交互设计,显著提升了数据价值的挖掘效率

部署步骤

‌一、环境准备‌
  1. ‌安装Java依赖‌
    Kibana运行需要Java环境(JRE 11+):

    sudo apt update && sudo apt install openjdk-11-jre -y # 更新包列表并安装OpenJDK JRE:ml-citation{ref="11" data="citationList"} 
    java -version # 验证Java版本,输出需包含"11.x.x":ml-citation{ref="11" data="citationList"} 
    • sudo apt update: 刷新软件源列表,确保安装最新包。
    • sudo apt install openjdk-11-jre -y: 自动安装OpenJDK 11 JRE(-y跳过确认提示)。
    • java -version: 检查Java是否成功安装。
  2. ‌创建专用用户(可选但推荐)‌

    sudo useradd kibana_user # 新建用户避免root权限风险:ml-citation{ref="12" data="citationList"} 
    sudo passwd kibana_user # 设置用户密码:ml-citation{ref="12" data="citationList"} 
    • useradd: 创建系统用户,提升安全性。
    • passwd: 为用户设置密码,后续操作需切换至此用户。

‌二、下载与安装‌
  1. ‌手动下载(通用方式)‌

    wget https://artifacts.elastic.co/downloads/kibana/kibana-8.13.4-linux-x86_64.tar.gz # 下载二进制包:ml-citation{ref="3,8" data="citationList"} 
    tar -zxvf kibana-8.13.4-linux-x86_64.tar.gz -C /opt/ # 解压到/opt目录:ml-citation{ref="8,12" data="citationList"} 
    sudo chown -R kibana_user:kibana_user /opt/kibana-8.13.4 # 赋权给专用用户:ml-citation{ref="12" data="citationList"} 
    • wget: 从Elastic官网下载指定版本Kibana。
    • tar -zxvf: 解压压缩包(-z解压gzip,-x解包,-v显示过程,-f指定文件)。
    • chown -R: 递归修改目录所有权,确保Kibana进程权限合规。
  2. ‌APT安装(Debian/Ubuntu推荐)‌

    wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - # 添加Elastic GPG密钥:ml-citation{ref="11" data="citationList"} 
    echo "deb https://artifacts.elastic.co/packages/8.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic.list # 配置APT仓库:ml-citation{ref="11" data="citationList"} 
    sudo apt update && sudo apt install kibana # 安装Kibana并自动注册服务:ml-citation{ref="11" data="citationList"} 
    • apt-key add: 导入密钥以验证软件包真实性。
    • tee /etc/apt/sources.list.d/elastic.list: 写入仓库配置到独立文件。
    • apt install kibana: 自动安装并配置systemd服务。

‌三、配置文件解析‌

编辑 /etc/kibana/kibana.yml(APT安装)或 /opt/kibana-8.13.4/config/kibana.yml(手动安装):

server.port: 5601 # 监听端口,默认5601:ml-citation{ref="3,9" data="citationList"} 
server.host: "0.0.0.0" # 允许所有IP访问(生产环境可指定内网IP):ml-citation{ref="10,12" data="citationList"} 
elasticsearch.hosts: ["http://es-host:9200"] # Elasticsearch集群地址:ml-citation{ref="3,12" data="citationList"} 
i18n.locale: "zh-CN" # 设置为中文界面:ml-citation{ref="8,9" data="citationList"} 
logging.dest: /var/log/kibana.log # 自定义日志路径:ml-citation{ref="3" data="citationList"} 
  • ‌关键参数作用‌:
    • server.host: "0.0.0.0": 开放网络访问(默认localhost仅本地访问)。
    • elasticsearch.hosts: 必须指向已部署的Elasticsearch节点URL。
    • i18n.locale: "zh-CN": 本地化支持,提升中文用户体验。

‌四、服务管理与启动‌
  1. ‌启动服务‌

    sudo systemctl start kibana # 启动Kibana服务:ml-citation{ref="11" data="citationList"} 
    sudo systemctl enable kibana # 设置开机自启:ml-citation{ref="11" data="citationList"} 
    • systemctl start: 立即启动服务。
    • systemctl enable: 注册为系统服务,保障重启后自动运行。
  2. ‌监控状态与日志‌

    sudo systemctl status kibana # 检查运行状态(输出"Active: active"表示成功):ml-citation{ref="11" data="citationList"} 
    journalctl -u kibana -f # 实时查看日志(过滤"Server running"确认启动):ml-citation{ref="3,12" data="citationList"} 
    • journalctl -u kibana -f: 动态跟踪systemd日志(-f持续输出)。

‌五、部署验证‌
  1. ‌访问Kibana Web界面‌
    浏览器打开 http://<服务器IP>:5601,显示欢迎页即部署成功。
  2. ‌检查Elasticsearch连接‌
    在Kibana的 ‌Dev Tools‌ 中输入 GET /,返回ES集群信息表示通信正常。

‌六、生产调优建议‌
  • ‌资源隔离‌: 使用专用用户运行Kibana,避免权限冲突。
  • ‌配置热重载‌: 添加 --config.reload.automatic 启动参数,支持动态加载配置变更。
  • ‌安全加固‌: 启用SSL加密(参考 server.ssl 配置)及防火墙规则限制访问IP。

此流程覆盖Linux环境主流部署方式,命令设计兼顾通用性与安全性,适用于企业级场景。

 基本命令

‌一、服务管理命令‌

bin/kibana --help # 查看所有支持参数:ml-citation{ref="3,8" data="citationList"} 
  • ‌作用‌:显示Kibana支持的全部命令行参数及简要说明
  • ‌关键输出‌:包括-e(环境变量)、-c(配置文件路径)等参数说明

‌二、启动参数解析‌

bin/kibana \
 --host=0.0.0.0 \ # 监听所有网络接口:ml-citation{ref="3,10" data="citationList"}
 --port=5601 \ # 指定服务端口(默认5601):ml-citation{ref="8" data="citationList"}
 --elasticsearch.hosts=http://es-node:9200 \ # 强制指定ES集群地址:ml-citation{ref="3,12" data="citationList"}
 --logging.json=true # 日志输出为JSON格式(便于ELK采集):ml-citation{ref="9" data="citationList"} 
  • ‌逐行解释‌:
    1. --host=0.0.0.0:允许远程访问(默认localhost仅本地访问)
    2. --port:覆盖kibana.yml中的端口配置
    3. --elasticsearch.hosts:运行时动态指定ES连接地址
    4. --logging.json:结构化日志输出,适合日志分析系统处理

‌三、插件管理命令‌

bin/kibana-plugin list # 查看已安装插件:ml-citation{ref="4,8" data="citationList"} 
bin/kibana-plugin install x-pack # 安装X-Pack安全插件:ml-citation{ref="4" data="citationList"} 
bin/kibana-plugin remove timeline # 删除指定插件:ml-citation{ref="4" data="citationList"} 
  • ‌关键参数‌:
    • install:支持本地ZIP包或官方插件名称
    • remove:卸载后需重启Kibana生效

‌四、调试与维护命令‌

bin/kibana --optimize # 前端资源预编译(生产环境必执行):ml-citation{ref="3,9" data="citationList"}
bin/kibana --no-watch # 禁用配置文件热重载(调试用):ml-citation{ref="8" data="citationList"} 
  • ‌特殊场景‌:
    • --optimize:提升页面加载速度,部署后首次运行需执行
    • --no-watch:排查配置问题时关闭自动重载

‌五、系统集成命令‌

curl -XGET 'localhost:5601/api/status' # 检查服务健康状态:ml-citation{ref="6" data="citationList"} 
  • ‌返回字段‌:
    • status.overall.state:green表示服务正常
    • metrics.elasticsearch.client.total_active_sockets:ES连接数

‌六、生产环境完整示例‌

bin/kibana \
 --config=/etc/kibana/prod.yml \ # 指定配置文件:ml-citation{ref="12" data="citationList"}
 --pid.file=/var/run/kibana.pid \ # 记录进程ID:ml-citation{ref="9" data="citationList"}
 --logging.dest=/var/log/kibana-prod.log \ # 日志重定向:ml-citation{ref="3" data="citationList"}
 --plugin-path=plugins/alerting # 加载自定义插件目录:ml-citation{ref="4" data="citationList"} 
  • ‌参数组合意义‌:
    1. 使用独立配置文件避免冲突
    2. 通过PID文件便于服务管理
    3. 集中日志输出到指定文件
    4. 扩展自定义告警插件功能

‌附:与Elasticsearch联调命令‌

# 在Kibana Dev Tools中执行 
GET _cat/indices?v # 验证ES索引可访问性:ml-citation{ref="4,7" data="citationList"} 
POST _sql?format=json {"query":"SELECT * FROM logs LIMIT 10"} # 测试SQL查询翻译:ml-citation{ref="7" data="citationList"} 

通过合理组合这些命令,可实现从开发调试到生产部署的全生命周期管理。建议配合nohup或systemd实现后台运行。

安装Kibana,kibana的使用教程 Kibana是一个针对ElasticSearch的开源分析及可视化平台,用来搜索、查看交互存储在ElasticSearch索引中的数据。使用Kibana,可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。它操作简单,基于浏览器的用户界面可以快速创建仪表板(dashboard)实时显示ElasticSearch查询动态。设置设置Kibana非常简单。无需编码或者额外的基础架构,几分钟内就可以完成Kibana安装并启动ElasticSearch索引监测。 阅读详情

相关推荐

1.ELK之Elasticsearch&Kibana一篇入门(安装/分片/操作流程/常用语句/分词)

elasticsearch安装

mijichui2153的博客 9172

Kibana快速介绍

作者:罗海鹏,叩丁狼高级讲师。本文为原创文章,转载请注明出处。      Kibana介绍 Kibana是一个开源的分析与可视化平台,设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看存放在Elasticsearch中的数据。Kibana与Elasticsearch的交互方式是各种不同的图表、表格、地图等,直观的展示数据,从而达到高级的数据分析与可视化的目的。 ...

wolfcode_cn的博客 8282

Elasticsearch + Kibana:从零实现日志分析系统实战案例

通过Elasticsearch与Kibana搭建全流程日志分析系统,深入解析数据采集、存储与可视化关键步骤。结合实际案例,展现elasticsearch在日志检索与性能优化中的强大能力,助力运维与开发提升问题定位效率。

weixin_33597080的博客 1023

每日一更 EFK日志分析系统

解决的方法是,先不映射/usr/share/elasticsearch/config,启动后docker cp 容器id:/usr/share/elasticsearch/config (宿主机目录)/home/docker-EFK/config/。把容器的这个目录拷贝到宿主机,然后再在yaml中加入- /home/docker-EFK/config/:/usr/share/elasticsearch/config。搜索隐藏的见解,编制图表仪表板,仪表、地图和其他可视化显示您发现的内容,并与他人分享。

ly4983的专栏 829

专治疑难系列 - 解决打印机凭证冲突问题

一、问题描述 二、解决方法 三、问题已解决

Passerby_Wang的博客 2万+

Xilinx SDK工程编译、链接、调试注意事项

1、添加工程 启动SDK时选取workspace,如下图所示: 对应的workpace文件夹中会生成如下几个文件: 如果当前workspace是首次加载工程,SDK会进入启动界面 点击Import Project,导入已有工程 点击Browse,添加工程路径,一个完整的工程包含一个bsp文件夹,一个HW文件夹,和一个src文件夹(添加C功能函数) 点击Fini...

Autumn_He的博客 1万+

ELK 日志分析系统

目录 一、ELK日志分析系统 1、日志服务器 2、日志处理步骤 二、Elasticsearch概述 1、Elasticsearch特性 三、LogStash概述 1、LogStash主要组件 四、Kibana概述 1、Kibana主要功能 五、部署ELK日志分析系统 1、实验需求 2、环境配置 3、配置elasticsearch环境(node1、node2) 1、此时客户机访问,查看节点信息 2、检测集群健康、查看集群状态 3、 安装elasticsearch-head插件.

Liangheng32的博客 2788

RocketMQ5.3.0-control-多 Master 多 Salve-异步复制-集群搭建

RocketMQ5.3.0-control-多 Master 多 Salve-异步复制-集群搭建(详细文档)

m0_52369979的博客 729

【ElasticSearch】springboot整合搭建ELK日志分析系统

ELK 是三个开源软件的缩写,分别表示:(1)E:Elasticsearch - 一个分布式搜索和分析引擎,提供存储和搜索功能。(2)L:Logstash - 一个服务器端数据处理管道,用于从多个来源采集数据,转换数据,然后将数据发送到存储库(如Elasticsearch)。(3)K:Kibana - 一个数据可视化和管理工具,用于操作Elasticsearch中的数据,提供图表、表格、地图等可视化方式。作用:(1)日志管理:集中式日志收集、分析和展示。

weixin_44823875的博客 771

手把手教你用STM32标准库写一个能OTA升级的Bootloader(附完整代码)

本文详细介绍了如何使用STM32标准库开发支持OTA无线升级的Bootloader系统,包括Flash分区规划、Bootloader核心实现、无线升级流程及安全校验机制。通过实战代码示例,帮助开发者快速掌握STM32固件升级技术,提升物联网设备的远程维护能力。

weixin_30181209的博客 262

74HC138译码器的原理和使用

A0,A1,A2为3位二进制加权地址输入端口,A2A1A0顺序组成的3位2进制数对应的十进制数x控制使能端口Yx';例如当A2A1A0 = 101 时,其他门输出端全为高电平,只有Y5'为低电平。 Y0-Y7为8个输出端口,其输出电平由A0,A2,A3,E1,E2,E3决定。

diksan的博客 6万+

ELK(Elasticsearch,Logstash,Kibana)的安装配置及ELK集群的搭建 什么是ELK

ELK(Elasticsearch,Logstash,Kibana)的安装配置及ELK集群的搭建 什么是ELK E:Elasticsearch 是一个开源的分布式搜索引擎,它的特点是:分布式,零配置,自动发现,索引自动分布,索引副本机制,多数据源,自动搜索负载等。 L:Logstash 是一个开源工具,可以对你的日志进行收集,过滤,并将其存储供以后使用。 K:Kibana 是一个开源和免费的工具,为Logstash和Elasticsearch提供的日志 在web中可视化展现出来,可以帮助汇总,分析和搜索重要

共享,共进步 1637

如何在 SAP BTP 上使用 Integration Suite 消费 S/4HANA Cloud API

SAP Integration Suite是一个集成平台即服务(iPaaS),允许开发人员顺利地将内部部署和基于云的应用程序和流程与SAP管理的工具和预构建内容进行集成。登录 SAP Business Technology Platform Cockpit,进入 integration suite:再点击 API management 进入 API Portal:或者直接从收藏夹里打开链接:https://304a49cetrial.integrationsuitetrial-apiportal.cfapp

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1696

第 20 篇 : 日志文件到ELK

ELK

qiezi__的博客 1847

使用MATLAB/Simulink搭建一个简化的无人机螺旋桨气动特性模型,并通过仿真验证其基本功能

螺旋桨概述特点:螺旋桨通过旋转产生推力,推动无人机前进或上升。关键参数直径(D):影响推力和功率消耗。螺距(P):定义了螺旋桨每转一圈理论上前进的距离。效率(η):衡量螺旋桨将机械能转化为推力的有效性。应用场景:航拍摄影、农业监测、物流配送等。仿真目标搭建一个简化的无人机螺旋桨气动特性模型,涵盖从电机输入到螺旋桨输出推力的过程。分析不同条件下的系统响应特性(如推力、功率消耗),并探讨优化螺旋桨设计的方法。定义螺旋桨的一些基本物理参数,如直径、螺距、推力系数、功率系数等。使用Constant。

xiaoheshang_123的博客 428

【SigmaStudio】自定义算法组件之XML编写规范(一)

SigmaStudio生成自定义算法组件时,需要XML和DLB文件,本文主要记录XML文件的编码规范

liang_song的博客 1139

ELK的Kibana

ELK的Kibana

蓝影铁哥的博客 998

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

ELK日志分析系统

ELK日志分析系统ELK日志分析系统概述ELK日志分析系统简介日志处理步骤Elasticsearch介绍Elasticsearch的概述Elasticsearch核心概念Logstash介绍Logstash的概述Logstash主要组件Kibana介绍Kibana的概述Kibana主要功能部署ELK日志分析系统 ELK日志分析系统概述 ELK日志分析系统简介 E:Elasticsearch——索引数据库 L:Logstash——收集、输出(日志) K:Kibana——展示工具 日志处理步骤 1、将日志进行集

Nipengliang的博客 370

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

ELK的日志解决方案

进入容器的ik/config文件<? <?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd" > < properties > < comment > IK Analyzer 扩展配置 </ comment > <!--用户可以在这里配置自己的扩展字典 --> < entry key = " ext_dict " > </ entry > <!

m0_72075879的博客 2101

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

ELK环境搭建(elasticsearch,logstash,kibana)

一   ELK是什么?           在项目初期的时候,大家都是赶着上线,一般来说对日志没有过多的考虑,当然日志量也不大,所以用log4j就够了,随着应用的越来越多,日志散落在各个服务器的logs文件夹下,确实有点不大方便。 当我们需要日志分析的时候你大概会这么做:直接在日志文件中 grep、awk 就可以获得自己想要的信息。 那你们想过这种方式的问题吗? 1.日志量太大如何归档、文...

冬阳 383

为你讲解ELK的组成与部署

为你讲解ELK的组成与部署一、ELK日志分析系统1、ELK的三大组成2、ELK日志处理步骤二、Elasticsearch的核心1、接近实时(NRT)2、集群(cluster)3、节点(node)4、索引(index)5、类型(type)6、文档(document)7、分片和副本(shards & replicas)8、相关概念在关系型数据库和ElasticSearch中的对应关系三、Logstash1、Logstash简介2、Logstash主机分类四、Kibana 一、ELK日志分析系统 1、EL

想成功,靠自己 1517

ELk日志平台搭建

服务器数量较少时,使用 rsyslog 或者 脚本(scp) 进行收集、分割日志,再统一汇总到专门存放日志的日志服务器保存管理。查看日志可以把需要的日志文件传到windows主机上,使用专业的文本工具打开分析日志。服务器数量较多时,使用 ELK 收集日志、存储日志、展示日志。对于在K8S平台运行的容器日志,可以使用 Loki+Granfana 收集日志、存储日志、展示日志。

2301_76838634的博客 6222

ELK的组成与部署

目录 一、ELK日志分析系统 1、ELK的三大组成 2、ELK日志处理步骤 二、Elasticsearch的核心 1、接近实时(NRT) 2、集群(cluster) 3、节点(node) 4、索引(index) 5、类型(type) 6、文档(document) 7、分片和副本(shards & replicas) 8、相关概念在关系型数据库和ElasticSearch中的对应关系 三、Logstash 1、Logstash简介 2、Logstash主机分类 四、Ki

m0_59659635的博客 759

ELK企业级日志分析系统

文章目录一、概述二、组件详解2.1、ElasticSearch介绍2.2、Logstash介绍2.3、Kiabana介绍三、ELK工作流程四、ELK部署 一、概述 ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成,是个开源实时日志分析平台。 二、组件详解 2.1、ElasticSearch介绍 Elasticsearch是一个基于Lucene的搜索服务器。...

时光慢旅的博客 703
上一篇: ELK日志文件分析系统——L(Logstash)
下一篇: ELK日志文件分析系统——补充(B——Beats)
霖檬ing
博客等级 码龄2年 701粉丝 75原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值