ELK日志文件分析系统——K(Kibana)

于 2025-06-15 11:07:11 发布
阅读量1.1k 收藏 25
点赞数 36
CC 4.0 BY-SA版权
分类专栏： ELK 文章标签： elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Lemon__ing/article/details/148667480

目录

基本概念

一、核心原理‌

‌二、关键特性‌

‌三、应用意义‌

部署步骤

‌一、环境准备‌

‌二、下载与安装‌

‌三、配置文件解析‌

‌四、服务管理与启动‌

‌五、部署验证‌

‌六、生产调优建议‌

 基本命令

‌一、服务管理命令‌

‌二、启动参数解析‌

‌三、插件管理命令‌

‌四、调试与维护命令‌

‌五、系统集成命令‌

‌六、生产环境完整示例‌

‌附：与Elasticsearch联调命令‌

基本概念

一、核心原理‌

  1. ‌数据交互架构‌

    • 采用REST API与Elasticsearch通信，实时查询索引数据并动态渲染可视化结果
    • 基于Lucene查询语法实现数据检索（如status:200 AND method:GET）

  2. ‌可视化引擎‌

    • 使用D3.js和Vega库生成交互式图表（柱状图/热力图等），支持动态数据绑定

  3. ‌元数据管理‌

    • 通过.kibana索引存储仪表盘配置、查询模板等元信息

‌二、关键特性‌

特性说明
‌多维度分析‌支持时间序列、地理空间、文本等多类型数据交叉分析
‌实时仪表盘‌可组合多个可视化组件，自动刷新数据（默认15秒间隔）
‌Dev Tools‌内置Elasticsearch查询调试界面，支持DSL语法验证
‌机器学习集成‌与Elastic ML模块联动，实现异常检测（如流量突增预警）

‌三、应用意义‌

  1. ‌降低数据分析门槛‌

    • 通过拖拽界面替代SQL/DSL编写，使非技术人员快速生成报表

  2. ‌统一监控平台‌

    • 整合日志（Nginx）、指标（Prometheus）等多源数据，实现全栈可观测性

  3. ‌合规审计支持‌

    • 记录用户操作日志（如查询历史），满足GDPR等法规要求

Kibana作为ELK栈的"可视化层"，通过其低代码交互设计，显著提升了数据价值的挖掘效率

部署步骤

‌一、环境准备‌

  1. ‌安装Java依赖‌
    Kibana运行需要Java环境（JRE 11+）：

    sudo apt update && sudo apt install openjdk-11-jre -y # 更新包列表并安装OpenJDK JRE:ml-citation{ref="11" data="citationList"} 
java -version # 验证Java版本，输出需包含"11.x.x":ml-citation{ref="11" data="citationList"}
    • sudo apt update: 刷新软件源列表，确保安装最新包。
    • sudo apt install openjdk-11-jre -y: 自动安装OpenJDK 11 JRE（-y跳过确认提示）。
    • java -version: 检查Java是否成功安装。

  2. ‌创建专用用户（可选但推荐）‌

    sudo useradd kibana_user # 新建用户避免root权限风险:ml-citation{ref="12" data="citationList"} 
sudo passwd kibana_user # 设置用户密码:ml-citation{ref="12" data="citationList"}
    • useradd: 创建系统用户，提升安全性。
    • passwd: 为用户设置密码，后续操作需切换至此用户。
‌二、下载与安装‌

  1. ‌手动下载（通用方式）‌

    wget https://artifacts.elastic.co/downloads/kibana/kibana-8.13.4-linux-x86_64.tar.gz # 下载二进制包:ml-citation{ref="3,8" data="citationList"} 
tar -zxvf kibana-8.13.4-linux-x86_64.tar.gz -C /opt/ # 解压到/opt目录:ml-citation{ref="8,12" data="citationList"} 
sudo chown -R kibana_user:kibana_user /opt/kibana-8.13.4 # 赋权给专用用户:ml-citation{ref="12" data="citationList"}
    • wget: 从Elastic官网下载指定版本Kibana。
    • tar -zxvf: 解压压缩包（-z解压gzip，-x解包，-v显示过程，-f指定文件）。
    • chown -R: 递归修改目录所有权，确保Kibana进程权限合规。

  2. ‌APT安装（Debian/Ubuntu推荐）‌

    wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - # 添加Elastic GPG密钥:ml-citation{ref="11" data="citationList"} 
echo "deb https://artifacts.elastic.co/packages/8.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic.list # 配置APT仓库:ml-citation{ref="11" data="citationList"} 
sudo apt update && sudo apt install kibana # 安装Kibana并自动注册服务:ml-citation{ref="11" data="citationList"}
    • apt-key add: 导入密钥以验证软件包真实性。
    • tee /etc/apt/sources.list.d/elastic.list: 写入仓库配置到独立文件。
    • apt install kibana: 自动安装并配置systemd服务。
‌三、配置文件解析‌

编辑 /etc/kibana/kibana.yml（APT安装）或 /opt/kibana-8.13.4/config/kibana.yml（手动安装）：

server.port: 5601 # 监听端口，默认5601:ml-citation{ref="3,9" data="citationList"} 
server.host: "0.0.0.0" # 允许所有IP访问（生产环境可指定内网IP）:ml-citation{ref="10,12" data="citationList"} 
elasticsearch.hosts: ["http://es-host:9200"] # Elasticsearch集群地址:ml-citation{ref="3,12" data="citationList"} 
i18n.locale: "zh-CN" # 设置为中文界面:ml-citation{ref="8,9" data="citationList"} 
logging.dest: /var/log/kibana.log # 自定义日志路径:ml-citation{ref="3" data="citationList"}
  • ‌关键参数作用‌:
    • server.host: "0.0.0.0": 开放网络访问（默认localhost仅本地访问）。
    • elasticsearch.hosts: 必须指向已部署的Elasticsearch节点URL。
    • i18n.locale: "zh-CN": 本地化支持，提升中文用户体验。
‌四、服务管理与启动‌

  1. ‌启动服务‌

    sudo systemctl start kibana # 启动Kibana服务:ml-citation{ref="11" data="citationList"} 
sudo systemctl enable kibana # 设置开机自启:ml-citation{ref="11" data="citationList"}
    • systemctl start: 立即启动服务。
    • systemctl enable: 注册为系统服务，保障重启后自动运行。

  2. ‌监控状态与日志‌

    sudo systemctl status kibana # 检查运行状态（输出"Active: active"表示成功）:ml-citation{ref="11" data="citationList"} 
journalctl -u kibana -f # 实时查看日志（过滤"Server running"确认启动）:ml-citation{ref="3,12" data="citationList"}
    • journalctl -u kibana -f: 动态跟踪systemd日志（-f持续输出）。
‌五、部署验证‌
  1. ‌访问Kibana Web界面‌
    浏览器打开 http://<服务器IP>:5601，显示欢迎页即部署成功。
  2. ‌检查Elasticsearch连接‌
    在Kibana的 ‌Dev Tools‌ 中输入 GET /，返回ES集群信息表示通信正常。
‌六、生产调优建议‌
  • ‌资源隔离‌: 使用专用用户运行Kibana，避免权限冲突。
  • ‌配置热重载‌: 添加 --config.reload.automatic 启动参数，支持动态加载配置变更。
  • ‌安全加固‌: 启用SSL加密（参考 server.ssl 配置）及防火墙规则限制访问IP。

此流程覆盖Linux环境主流部署方式，命令设计兼顾通用性与安全性，适用于企业级场景。

 基本命令

‌一、服务管理命令‌

bin/kibana --help # 查看所有支持参数:ml-citation{ref="3,8" data="citationList"}
  • ‌作用‌：显示Kibana支持的全部命令行参数及简要说明
  • ‌关键输出‌：包括-e（环境变量）、-c（配置文件路径）等参数说明

‌二、启动参数解析‌

bin/kibana \
 --host=0.0.0.0 \ # 监听所有网络接口:ml-citation{ref="3,10" data="citationList"}
 --port=5601 \ # 指定服务端口（默认5601）:ml-citation{ref="8" data="citationList"}
 --elasticsearch.hosts=http://es-node:9200 \ # 强制指定ES集群地址:ml-citation{ref="3,12" data="citationList"}
 --logging.json=true # 日志输出为JSON格式（便于ELK采集）:ml-citation{ref="9" data="citationList"}
  • ‌逐行解释‌：
    1. --host=0.0.0.0：允许远程访问（默认localhost仅本地访问）
    2. --port：覆盖kibana.yml中的端口配置
    3. --elasticsearch.hosts：运行时动态指定ES连接地址
    4. --logging.json：结构化日志输出，适合日志分析系统处理

‌三、插件管理命令‌

bin/kibana-plugin list # 查看已安装插件:ml-citation{ref="4,8" data="citationList"} 
bin/kibana-plugin install x-pack # 安装X-Pack安全插件:ml-citation{ref="4" data="citationList"} 
bin/kibana-plugin remove timeline # 删除指定插件:ml-citation{ref="4" data="citationList"}
  • ‌关键参数‌：
    • install：支持本地ZIP包或官方插件名称
    • remove：卸载后需重启Kibana生效

‌四、调试与维护命令‌

bin/kibana --optimize # 前端资源预编译（生产环境必执行）:ml-citation{ref="3,9" data="citationList"}
bin/kibana --no-watch # 禁用配置文件热重载（调试用）:ml-citation{ref="8" data="citationList"}
  • ‌特殊场景‌：
    • --optimize：提升页面加载速度，部署后首次运行需执行
    • --no-watch：排查配置问题时关闭自动重载

‌五、系统集成命令‌

curl -XGET 'localhost:5601/api/status' # 检查服务健康状态:ml-citation{ref="6" data="citationList"}
  • ‌返回字段‌：
    • status.overall.state：green表示服务正常
    • metrics.elasticsearch.client.total_active_sockets：ES连接数

‌六、生产环境完整示例‌

bin/kibana \
 --config=/etc/kibana/prod.yml \ # 指定配置文件:ml-citation{ref="12" data="citationList"}
 --pid.file=/var/run/kibana.pid \ # 记录进程ID:ml-citation{ref="9" data="citationList"}
 --logging.dest=/var/log/kibana-prod.log \ # 日志重定向:ml-citation{ref="3" data="citationList"}
 --plugin-path=plugins/alerting # 加载自定义插件目录:ml-citation{ref="4" data="citationList"}
  • ‌参数组合意义‌：
    1. 使用独立配置文件避免冲突
    2. 通过PID文件便于服务管理
    3. 集中日志输出到指定文件
    4. 扩展自定义告警插件功能

‌附：与Elasticsearch联调命令‌

# 在Kibana Dev Tools中执行 
GET _cat/indices?v # 验证ES索引可访问性:ml-citation{ref="4,7" data="citationList"} 
POST _sql?format=json {"query":"SELECT * FROM logs LIMIT 10"} # 测试SQL查询翻译:ml-citation{ref="7" data="citationList"}

通过合理组合这些命令，可实现从开发调试到生产部署的全生命周期管理。建议配合nohup或systemd实现后台运行。

利用ELK 搭建日志分析系统（六）—— 通过nginx设置kibana代理
gmHappy
02-18 1787
一、需求 希望通过nginx指定前缀进行kibana反向代理。 二、kibana设置 编辑kibana.yml文件，新增以下内容： server.basePath: "/kibana" 三、nginx配置 在nginx的配置文件中新增以下内容： location /kibana/ { proxy_set_header Host $http_host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header REMOTE-HOST $rem
ELK日志分析系统（ELasticsearch+Logstash+Kibana）——理论+实例
m0_47452405的博客
10-29 880
文章目录一、ELK日志分析系统简介二、 Elasticsearch介绍三、Logstash介绍四、Kibana介绍五、部署ELK日志分析系统5.1配置elasticsearch环境5.2安装logstash5.3在node2 节点安装kibana5.4对接Apache 一、ELK日志分析系统简介 日志分析是运维工程师解决系统故障，发现问题的主要手段。日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因,经常分析日志可以了解服务
Kibana 使用简介及查询条件示例
lonelymanontheway的博客
03-02 1万+
kibana语法
企业运维之 ELK日志分析平台（Kibana）
weixin_54720351的博客
04-10 5048
ELK日志分析平台--kibana数据可视化介绍与配置
kibana查看日志
热门推荐
BJ1599449的博客
03-05 1万+
kibana查看日志的基本使用和常用方法
还在用命令行看日志？快用Kibana吧，可视化日志分析YYDS！
weixin_42907150的博客
02-02 1520
今天给大家分享了下mall项目中的日志收集解决方案以及如何通过Kibana来进行日志分析，对比直接去服务器上用命令行看日志，确实方便多了。而且Kibana还可以对不同服务产生的日志进行聚合，同时支持全文搜索，确实功能很强大。
还在用命令行看日志？快用Kibana吧，可视化日志分析YYDS ~
macrozheng的专栏
07-13 1461
最近我把mall项目升级支持了SpringBoot 2.7.0，同时升级了整套ELK日志收集系统。我发现每次升级Kibana界面都会有一定的改变，变得更现代化了吧！今天来聊聊mall项目的日志收集机制，使用了SpringBoot支持的最新版ELK，希望对大家有所帮助！...
ELK日志分析平台3——kibana数据可视化
qwejiaji的博客
08-29 430
[root@server4 /mnt] cd /etc/kibana/ [root@server4 /etc/kibana] ls apm.js kibana.yml [root@server4 /etc/kibana] vim kibana.yml [root@server4 /etc/kibana] systemctl start kibana.service [root@server4 /etc/kibana] netstat -antlp | grep :5601 tcp 0 .
企业级日志分析系统ELK（Elasticsearch , Logstash, Kibana）
Z__Cheng的博客
07-04 1715
企业级日志分析系统ELK（Elasticsearch , Logstash, Kibana）
KibanaJava分析及可视化日志文件
08-07
Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。
Kibana插件用于查看搜索和实时跟踪日志事件
08-08
Kibana插件用于查看，搜索和实时跟踪日志事件
ELK日志分析平台——kibana数据可视化（安装与配置、ELK的结合应用、xpack安全验证）
weixin_45792518的博客
06-12 490
1.什么是kibana？ Kibana 是一套基于Elasticsearch的web分析与可视化平台，能对Elasticsearch中的数据进行搜索、查看和分析等交互操作，也能以图表、表格和地图等形式对数据进行可视化，帮助用户更好地理解数据，尤其是大数据。 Kibana 核心产品搭载了一批经典功能：柱状图、线状图、饼图、旭日图，等等。 将地理数据融入任何地图 精选的时序性 UI，对Elasticsearch 中的数据执行高级时间序列分析。 利用 Graph 功能分析数据间的关系 Kibana 开发工具为开发
kibana分析日志
qq_39234216的博客
07-31 337
这是一个nginx日志样例，正常情况下我们需要分析来访ip、访问路径、状态码。我们在kibana的Grok页面进行测试。
Kibana查看应用日志
兰星_thk&try的博客
08-19 1万+
文章目录1 问题2 如何搜索应用3 如何查看指定时间的应用日志4 如何定位错误日志5 如何展开显示日志6 如何格式化日志 1 问题 有很多应用, 每个应用又配置了开发与生产环境,每个环境还区分了应用/Nginx/server三种日志 (CHANGE INDEX PATTERN中的选项) 日志不知道如何展开,看不全 2 如何搜索应用 open->输入关键字搜索->选择应用 3 如何查看指定时间的应用日志 选择dev-log(应该也是自定义配置)->右上角选择时
ELK（Elasticsearch+Logstash+Kibana）日志分析系统
十七拾的博客
04-11 9569
本文主要介绍了ELK日志文件系统的概念和部署过程，详细阐释了Elasticsearch、Logstash、Kibana三个开源的日志收集、存储、检索和可视化的工具
ELK之Kibana
wfs
07-02 1030
多个Elasticsearch节点间的负载均衡 如果 Elasticsearch 集群有多个节点，分发 Kibana 节点之间请求的最简单的方法就是在 Kibana 机器上运行一个 Elasticsearch 协调（Coordinating only node） 的节点。Elasticsearch 协调节点本质上是智能负载均衡器，也是集群的一部分，如果有需要，这些节点会处理传入 HTTP 请求，...
kibana 精准查询日志
架构师的成长之路的博客
07-25 4852
kibana 精准查询日志 类似 like 语法
elk 分析日志文件
最新发布
03-16
### 使用 ELK Stack 分析和处理日志文件 #### 安装与配置 ELK Stack ELK Stack 是由 Elasticsearch、Logstash 和 Kibana 组成的日志管理与分析工具集合。为了有效使用 ELK Stack 进行日志分析，需完成以下核心步骤： 1. **安装 Elasticsearch**: Elasticsearch 是一个分布式的搜索引擎，能够高效存储和查询大量结构化或非结构化的数据。它是整个 ELK Stack 的基础组件，负责索引和搜索日志数据[^1]。 2. **安装 Logstash**: Logstash 负责接收来自各种来源的数据流，并对其进行转换和过滤后再发送至 Elasticsearch 存储。可以通过编写自定义的 Logstash 配置文件来指定输入源、过滤器以及输出目标[^3]。 3. **安装 Kibana**: Kibana 提供了一个直观的 Web 界面，允许用户轻松浏览、搜索和可视化存储在 Elasticsearch 中的数据。它还支持创建复杂的图表和仪表板以便更深入地理解日志模式。 #### 日志文件的采集与传输 对于 Nginx 或其他应用程序产生的日志文件，通常会借助 Filebeat 工具将其传递给 Logstash 处理。Filebeat 属于 Beats 数据传送系列的一部分，专门设计用来高效读取本地文件内容并将它们转发出去[^5]。 - 在服务器上部署 Filebeat 并指向待监控的日志路径； - 修改 `filebeat.yml` 文件设置合适的 input 类型（例如 nginx access logs），然后启动 service； - 将这些事件通过网络推送到运行有相应 listener 插件版本号匹配好的远程端点上的 Logstash 实例那里去进一步加工清洗之后再存入 ES 当中形成可被 KB 查询使用的文档形式记录下来[^4]。 #### 配置 Logstash Pipeline 编辑位于 `/etc/logstash/conf.d/` 下的相关 .conf 文件以适应特定业务逻辑的需求。比如针对 NGINX HTTP 请求响应情况做统计汇总的话，则可能需要添加如下所示片段到 pipeline definition block inside one of those configuration scripts: ```plaintext filter { grok { match => { "message" => "%{NGINXACCESS}" } } } output { elasticsearch { hosts => ["http://localhost:9200"] index => "nginx-%{+YYYY.MM.dd}" } } ``` 此脚本实现了对标准格式化后的 web server activity records 解码拆分字段动作的同时也将最终成果定向保存到了名为 'nginx-' 加日期戳标记的新建 indices collection group 里边去了[^2]。 #### 利用 Kibana 构建 Dashboard 一旦所有的前期准备工作都已完成——即所有必要的软件均已正确安装完毕并且相互之间建立了良好的通信连接关系；那么现在就可以打开浏览器访问 Kibana UI 页面开始探索那些已经被妥善整理过的海量信息资源啦！ - 登录后新建 Index Pattern 对应之前设定好命名规则的 Indices Collection Group Name; - 探索 Discover Tab 查看原始条目详情; - Switch over to Visualize Section Create Custom Charts Graphs Tables Etc.; - Finally Combine Multiple Panels Together Into A Single Comprehensive Monitoring Center Layout Which Can Be Shared With Teammates Or Exported As PDF Reports For Documentation Purposes. ### 示例代码 以下是简单的 Python 客户端向 Elasticsearch 发送 POST 请求的例子： ```python import requests from datetime import datetime data = {"timestamp": str(datetime.now()), "@message": "hello world", "@source": "test"} res = requests.post('http://localhost:9200/test-index/', json=data) print(res.text) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值