K8s-K8s部署Zookeeper+Kafka+ELFK+持久化数据

已于 2023-02-21 13:59:19 修改
阅读量1.6k 收藏 1
点赞数
分类专栏： # 运维企业实战笔录 # K8s 运维 文章标签： kafka zookeeper 分布式
于 2022-02-21 15:00:35 首次发布
本文为博主【秋风お亦冷】原创文章，转载请注明出处，否则保留追究法律责任的权利！
本文链接：https://blog.youkuaiyun.com/qq_23995091/article/details/123047391
版权
该博客详细介绍了如何在Kubernetes(K8s)环境中部署Zookeeper和Kafka集群，以及配置ELFK(包括Elasticsearch、Logstash、Kibana)进行日志收集和分析。整个过程涵盖了镜像制作、配置清单、服务部署、状态检测以及数据持久化。同时，文章还展示了如何通过Kibana创建索引和管理用户，以及Logstash的数据采集和Fluentd的日志聚合功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

引

K8s环境下容器化部署Zookeeper+Kafka+ELFK日志收集系统

整篇文章工作流程：

​ 1、搭建Zookeeper+Kafka、ELFK

​ 2、制作日志数据

​ 3、展示日志数据

NFS-Client动态存储可参考：K8s-nfs-client动态存储部署

各服务介绍可参考：企业级ELFK日志架构介绍

方案采取可参考：应用场景与方案

创建清单目录

[root@k8s-master01 ~
了解本专栏 订阅专栏 解锁全文 超级会员免费看
博客
Win10/Win11日历提醒与手机日历同步互联+自带邮件收发配置
11-01 1万+
在一端编辑提醒事件后，其他所绑定的平台都会自动同步
博客
运维企业实战Shell脚本合集+万能工具箱
10-28 3383
企业实战中必备的`Shell`脚本合集，针对：系统维护、线上业务、数据库、DevOps等多个场景的
博客
优化开启Nginx的最大并发性能【支持2万到3万并发量！】
06-28 4208
优化开启Nginx的最大并发性能【支持2万到3万并发量！】
博客
Promethus-day5-配置文件详解+AlertManager微信邮件告警配置
05-05 7531
AlertManager告警简单部署altermanager是普罗米修斯的报警组件，主要是用针对异常数据进行报警。首先创建一个报警的规则，其次创建路由（给谁发报警信息）。AlertManager告警简介1.简介告警能力在Prometheus的架构中被划分成两个独立的部分。如下所示，通过在Prometheus中定义AlertRule（告警规则）。Prometheus会周期性的对告警规则进行计算，如果满足告警触发条件就会向Alertmanager发送告警信息。2.告警规则组成1）告警名
博客
MySQL-day15-增删改查实例实操
03-20 8027
MySQL常用的增删改查操作
博客
MySQL-day6-条件语句与增删改查练习题
03-01 1171
文章目录SQL语句一、SQL语句语义种类二、DDL语句---数据定义语言包含的操作语句：1.CREATE针对库的操作1）查看语法2）创建库3）创建数据库已存在会报错，使用IF NOT EXISTS4）查看建库语句5）创建数据库指定字符集和校验规则6）删库7）修改库2.CREATE 针对表的操作1）查看建表语法2）建表3）数据类型4）数据类型测试5）建表试题6）建表数据属性7）加上属性建表8）删除表9) 修改表三、DCL语句---数据控制语言（GRANT，revoke）包含的操作语句：1.授权 grant2.
博客
六、IP地址子网划分与VLAN
10-20 1万+
ip地址分为五大类:特殊ip地址1. 网络地址：用于表示网络本身，具有正常的网络号部分，而主机号部分全部为0的ip地址称之为网络地址.2. 广播地址：用于向网络中的所有的设备进行广播。具有正常的网络号部分，而主机号部分全为1(即255)的ip地址称之为广播地址.3. 有限广播地址：指的是32位全位1(即255.255.255.255)的ip地址，用于本网广播.4. 回送地址：网络地址不能以十进制的127作为开头，在地址中数字127保留给系统作为诊断用，称为回送地址，如127.0.0.1用于回路
博客
基于CICD的Nginx灰度发布与节点自动上下线管理
09-11 317
此案例需配合 jenkins pipeline 使用，pipeline 代码示例在结尾。共有 3 个配置文件，主要配置如下。任务定义（字符参数或选项参数）
博客
Nginx节点健康检查与自动上下线管理脚本，推送告警到企业微信
09-11 649
适用于 Nginx TCP健康检查的 Shell 脚本示例演示
博客
麒麟v10-x86安装Docker与Oracle11g
08-26 592
Oracle11g 部署与配置调试、备份等实操。
博客
Win11开启安卓子系统与VMware共存
08-26 664
安卓子系统、VMware同时运行，互不影响。
博客
PostgreSQL常用SQL语句
02-28 676
本文将示例以下类别的语句案例：免密交互、增删改查、备份恢复、数据迁移、用户管理、权限管理、进程管理、查询优化。
博客
PostgreSQL部署与配置
02-28 377
一键部署PostgreSQL，并举例配置认证、登录等。
博客
GitLab升级多个版本-企业实战
01-22 640
Gitlab多版本升级的实战流程笔录。
博客
Nexus升级多个版本-企业实战
01-19 484
Nexus多版本升级的实战流程笔录。
博客
Maven+Pom配置Nexus认证
01-19 633
解决：Nexus版本从3.21.1-01 > 3.63.0升级后，加入了认证的问题，解决了非登录用户可以访问browse的bug，当关闭Allow anonymous users to access the server（允许匿名用户访问服务器）后，匿名用户访问browse的问题解决了，但Jenkins构建、开发会引起一系列报错如拉不到Nexus仓库依赖、报错401的问题。
博客
Linux mail自动推送邮件脚本+一键发送邮件脚本
01-02 1170
PS：脚本还有可优化的空间，比如可添加携带附件功能（如：-a test.txt）在服务器配置邮件，以实现邮件的发送。发文本内容为示例内容，仅供参考~无定时任务，手动执行交互输入发送。每日随机抽取一行放入邮件内容。
博客
酒店常见十大突发事件应急处置方案
09-07 902
酒店常见十大突发事件应急处置方案
博客
使用Linux上传资源到百度网盘
09-04 734
实现：不需要额外部署服务、安装命令，一个脚本即可自动上传服务器文件到百度网盘，且可添加定时任务。针对要备份的文件编写脚本：BakEcsFileToBaidunetdisk.sh。备份完成，上传时间隔一段时间保证文件存在。上传带宽：取决于服务器的公网带宽。
博客
阿里云安全组与Nginx组合实现IP+域名精确控制+禁用IP端口访问
08-28 498
通过安全组控制IP的放行规则、Nginx控制域名的放行规则，组合实现高效控制黑白名单，保护服务器安全，规避白名单之外的IP攻击。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值