huanqingdong的专栏

1. 操作前台 确保已完成logstash7.9.1 容器安装&解析kafka日志到控制台章节相关内容,本章基于上一章节内容. 2. 日志解析到ES 2.1 修改logstash配置 修改文件/root/docker-compose/logstash/pipeline/log-kafka-dev.conf内容, vim /root/docker-compose/logstash/pipeline/log-kafka-dev.conf 将原先输出到控制台配置改为输出到elasticsearch

1. 准备 1.1 镜像准备 下载kibana镜像 docker pull kibana:7.9.1 此镜像比较大,如果下载速度过慢,可以配置阿里云docker镜像加速 查看下载的kibana镜像 docker images |grep kibana 1.2 虚拟机设置 将虚拟机的内存调整到4G以上,不然安装过程可能会很长很卡… 2. kibana安装 2.1 创建目录/root/docker-compose/kibana,用于存放kibana的docker-compose.yml文件[

简介 本文介绍如何用Docker运行kibana,连接上一节搭建的Elasticsearch环境http://192.168.1.14:9200 1. 准备 1.1 镜像准备 下载kibana镜像 docker pull kibana:7.9.1 此镜像比较大,如果下载速度过慢,可以配置阿里云docker镜像加速 查看下载的kibana镜像 docker images |grep kibana 1.2 虚拟机设置 将虚拟机的内存调整到4G以上,不然安装过程可能会很长很卡… 2. kiban

文章目录1. 准备1.1 镜像准备1.2 系统配置2. elasticsearch安装3. 验证安装 1. 准备 1.1 镜像准备 下载elasticsearch镜像 docker pull elasticsearch:7.9.1 此镜像比较大,如果下载速度过慢,可以配置阿里云docker镜像加速 查看下载的elasticsearch镜像 docker images |grep elastic 1.2 系统配置 设置max_map_count ES使用mmapfs来保存索引,系统默认的m

1. 项目目标 使用前面章节构建的Java通用日志组件完成maven项目日志写入kafka. 项目完整代码github飞机 2. 写入前提 kafka已启动 如果没有kafka,可参照 kafka单机容器版本安装教程 kafka-manager已启动 如果没有kafka-manager,可参照 kafka-manager容器版本安装教程 Java通用日志组件已安装到本地仓库(或上传至maven私服) 若果未安装,可参照 Java通用日志组件 3. 项目构建 3.1 创建maven项目 主要maven依

1. 项目目标 使用前面章节构建的Java通用日志组件完成springboot项目日志写入kafka 2. 写入前提 kafka已启动 如果没有kafka,可参照 kafka单机容器版本安装教程 kafka-manager已启动 如果没有kafka-manager,可参照 kafka-manager容器版本安装教程 Java通用日志组件已安装到本地仓库(或上传至maven私服) 若果未安装,可参照 Java通用日志组件 3. 项目构建 3.1 创建springboot项目 主要maven依赖如下 &

项目目标 构建一个通用的Java日志组件,完成sl4j日志写入kafka,项目github地址 项目介绍 核心maven依赖 logstash-logback-encoder<dependency> <groupId>net.logstash.logback</groupId> <artifactId>logstash-logback-encoder</artifactId> <version>4.11&

文章目录1. 准备1.1 镜像准备2. kafka-manager安装3. kafka-manager使用 1. 准备 1.1 镜像准备 zookeeper镜像docker pull zookeeper:3.6.1 kafka-manager镜像 此处使用我构建的kafka-manager镜像,构建步骤可参考kafka-manager-dockerdocker pull huanqingdong/kafka-manager:1.3.3.23 查看已下载镜像docker images 2.

文章目录1. 准备1.1 关闭防火墙1.2 镜像准备2. zookeeper安装3. Kafka安装 1. 准备 1.1 关闭防火墙 禁止防火墙开机启动systemctl disable firewalld 停止防火墙服务systemctl stop firewalld 查看防火墙状态systemctl status firewalld 1.2 镜像准备 zookeeper镜像 docker pull zookeeper:3.6.1 kafka镜像 docker pull wu

功能简介 从零构建一个企业级ELK日志分析平台,整体数据流程图如下: 章节 kafka安装(1) 介绍在linux平台上安装kafka,用于缓冲日志流量. kafka-manager安装(2) 安装kafka-manager,用于获取kafka主题下消息数量,验证日志是否成功发送到kafka。 java通用日志组件项目构建(3) 构建一个通用的java日志项目,负责将logback日志写入kafka. spring-boot项目日志写入测试(4) springboot项目集成通用日志组件,进行日志写入测试