基于docker搭建单机版ELK日志采集系统

原创

已于 2022-03-26 00:13:57 修改 · 3.4k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#java

于 2022-03-25 14:42:51 首次发布

1. 说明

ELK主要由ElasticSearch、Logstash和Kibana三个开源工具组成

Elasticsearch ：分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch 是用Java 基于 Lucene 开发，现在使用最广的开源搜索引擎之一，Wikipedia 、StackOverflow、Github 等都基于它来构建自己的搜索引擎。在elasticsearch中，所有节点的数据是均等的。

Logstash ：数据收集处理引擎。支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储以供后续使用。

Kibana ：可视化化平台。它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据 Elasticsearch、Logstash、Kibana 安装的版本必须保持一致，防止出现莫名情况

基于dokcer搭建单机版的ELK日志采集系统（基于6.4.1版本），主要是熟悉ELK架构和日志采集展示效果，并用简单的springboot项目展示配置过程

2. 安装docker和docker-compose。链接：docker安装

3. 修改linux文件句柄数：因为es集群默认的进程句柄数需要至少为262144个，系统默认的是65535，这里将默认的进程句柄数调大到262144个

[root@VM-4-9-centos home]# echo vm.max_map_count=262144  >>  /etc/sysctl.conf
[root@VM-4-9-centos home]# sysctl -p

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

慌乱的小绵羊

关注关注

1
点赞
踩
5

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

基于Docker的ELK环境搭建

奔跑的蜗牛

06-10

617

说明：使用ELK中的版本信息是6.5.4版本一、搭建Elasticsearch 1.1 下载ElasticsearchDocker镜像 docker pull docker.elastic.co/elasticsearch/elasticsearch:6.5.4 1.2 运行Elasticsearch镜像 1.2.1 单节点运行 docker run -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elast

基于Docker部署的EFK日志收集系统

qq_24739007的博客

09-09

726

从此告别SSH服务器查看日志的方式

3 条评论您还未登录，请先登录后发表或查看评论

3 条评论

m0_46436948 2023.04.01
[root@localhost elk]# vi /home/images/elk_single/elk/docker-compose.yml

m0_46436948 2023.04.01
第五步 vi /home/images/elk_single/elk/docker-compose.yml 这个执行后，执行下一步没效果了，是需要等待嘛？

e小白 2023.02.02
每一步都很顺利，[face]emoji:062.png[/face]

Docker构建ELK Docker集群日志收集系统

09-30

为了在Docker集群中更好的管理查看日志我们使用Docker 来搭建集群的ELK日志收集系统，这篇文章介绍了Docker构建ELK Docker集群日志收集系统的相关资料,需要的朋友可以参考下

docker安装elk单机版

系统运维

04-10

986

docker run方式安装elk （1）安装elasticsearch 1）在elasticsearch的docker版本文档中，官方提到了vm.max_map_count的值在生产环境最少要设置成262144 #vi /etc/sysctl.conf vm.max_map_count=262144 #添加或者修改 #sysctl -w vm.max_map_count=262144 #...

docker-compose 搭建 单机版ELK

qq_33090897的博客

05-23

2112

本次部署将使用ElasticSearch官方的镜像和Docker-Compose来创建单节点的ELK，用于学习ELK操作。在k8s集群内，如果每天的日志量超过20G以上，建议部署在k8s集群外部，以支持分布式集群的架构。在这种情况下，我们将采用有状态部署的方式，并且使用动态存储进行持久化。在运行该yaml文件之前，需要提前创建好存储类。本文档将仅使用常用的ElasticSearch + LogStash + Kibana组件。

基于docker搭建单机版ELK+filebeat+kafka

qq_40969452的博客

03-26

3729

上一节写了最简单架构的搭建和日志采集：传送门主要有这几种架构方式 1. Elasticsearch + Logstash + Kibana 每台机器（客户端）上部署Logstash，logstash收集了数据直接往es里面写，es分析日志，kibana查询es的数据做展示。这是一种最简单的架构。这种架构虽然是官网介绍里的方式，但是往往在生产中很少使用。因为这样要在每台机器上都部署logstash，资源消耗比较大。 2. Elasticsearch + Logstash + filebeat +

Docker搭建ELK日志系统

起岸星辰

04-10

621

基于Docker搭建ELK日志系统，并在Spring Boot中集成Logstash实现微服务的日志收集。 ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件实现日志采集、分析、展示，但并非全部。Elasticsearch官网地址。 Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。 Logstash是

ELK+Kafka搭建分布式日志收集系统

weixin_39555954的博客

12-05

2194

一、传统日志收集的弊端二、ELK收集系统过程三、搭建系统四、代码

Docker搭建EFK单机版无密码记录

weixin_45477800的博客

09-08

822

LogStash出现的时间相对Beats较早，使用java写的，相关插件使用jruby写的，对于机器消耗的资源会比Beats消耗很多，Beats（Beats包括的子产品有FileBeat，MetricBeat等，FileBeat用于采集日志）是用go语言写的在性能上更胜一筹，而且非常轻量级占用的系统资源更少，但是Beats相对于LogStash的插件更少，对于快速搭建日志系统已经够用了，后续也会给出在日志量增加的情况下怎么升级日志系统。ps：仅个人记录，流程并没有那么详细。创建视图之后，接着查看视图。

搭建单节点ELK日志收集

0.0

09-02

925

单节点ELK搭建，收集nginx日志信息

Docker - docker-compose安装ELK

stark张宇

05-21

2306

概述使用的是docker-compose方法安装elk组件，对这部分的内容进行一个知识上的补充，在这里把之前的Docker文章拿出来做个学习的索引，以方便刚刚接触的同学，那让我们开始吧。 Docker 环境下部署高可用集群实践 Docker构建PHP7自定义Dev环境扩展教程单独搭建部署应用服务(Nginx+Php+Mysql+Redis) Dockerfile、数据存储volume、网络通信 docker-compose 基本使用启动服务 docker-compose up //启动守护进程

(一)ELK单机版日志系统搭建——docker方式

厉害哥哥的博客

03-30

810

前言在软件项目开发中，为了便于查找问题，快速定位问题，解决问题，我们会使用日志的方式记录程序的某些执行过程或者程序执行过程中发生的错误或者异常的信息。在本文中我们以springboot应用项目为例，通过logback的方式分别实现打印控制台日志、文本日志记录和ELK方式的日志。具体的日志配置信息在我的开源项目atp应用测试平台（https://gitee.com/northcangap/atp.git）中有详细的配置，可以供大家参考使用。本文的重点在于通过docker-compose工具搭建一个elk单

EFK采集docker日志

蓬蒿雪人⛄️的博客

12-27

521

从docker容器采集日志到elasticsearch EFK 日志采集架构图 1.先查找到进程ID，然后删除，重启。kibana 重启： fuser -n tcp 5601 netstat -ntlp 1.elasticSearch 存储和索引数据 2.kibana search数据 3.fluentd 负责采集数据并存储到elasticSearch 2.重点在fluentd的配置文件td...

Docker 容器日志收集

zxf_668899的博客

01-22

2282

docker 日志收集

centos用docker-compose安装ELK

大伟的博客

08-06

927

ELK即Elasticsearch、Logstash、Kibana,组合起来可以搭建线上日志系统，在目前这种分布式微服务系统中，通过ELK 会非常方便的查询和统计日志情况. ELK中各个服务的作用 Elasticsearch:用于存储收集到的日志信息； Logstash:用于收集日志，应用整合了Logstash以后会把日志发送给Logstash,Logstash再把日志转发给Elasticsearch； Kibana:通过Web端的可视化界面来查看日志。使用Docker Compose 搭建ELK

【ELK】docker-compose搭建ELK单机环境

HunterSu的专栏

04-18

664

这里写自定义目录标题ELK简介版本编写docker-compose文件编写配置文件filebeat配置文件logstash配置文件yml文件启动容器验证Kibana ELK简介 ELK主要由ElasticSearch、Logstash和Kibana三个开源工具组成，还有其他专门由于收集数据的轻量型数据采集器Beats。 Elasticsearch ：分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch 是用Java 基于 L

docker下ELK单机搭建

渐行渐远的博客

08-23

268

拉取镜像 docker pull elasticsearch:7.13.2 docker pull kibana:7.13.2 docker pull mobz/elasticsearch-head:5 启动： //-m 设置程序可使用运行内存 -d 后台运行 --name 名字 -p 端口映射 docker run -m 10g -d --name es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elastics

Docker compose 安装 ELK

ygqygq2的IT博客

08-31

3536

3 个节点组成高可用集群。Logstash：至少部署 2 个实例，实现高可用性和负载均衡。Redis：根据业务需求选择单机或集群模式。Filebeat：部署在每个日志源服务器上，负责收集日志并发送到 Redis。Kibana：通常部署 1 个实例，除非有高并发访问需求。通过这种部署架构，可以确保日志收集、处理、存储和展示的高可用性和扩展性。

docker日志采集elk efk fluentd采集

sunlihuo的专栏

09-25

589

第一步: Create docker-compose.yml 创建docker-合成.yml对于Docker Compose。Docker Compose是一个用于定义和运行多容器Docker应用程序的工具。通过下面的YAML文件，您可以通过一个命令创建和启动所有服务（在本例中是Apache、Fluentd、Elasticsearch、Kibana）： version: '3' services: fluentd: build: ./fluentd volumes: - ./

dockerr搭建elk日志监控平台搭建

最新发布

09-17

<think> 我们根据引用内容可知，ELK包括Elasticsearch、Logstash和Kibana三个组件，使用Docker部署可以简化环境配置。下面将详细描述使用Docker搭建ELK日志监控平台的步骤。注意，这里假设你已经安装了Docker和Docker Compose。 ### 1. 准备工作 - 安装Docker和Docker Compose（如果尚未安装）。 - 确保系统资源足够（尤其Elasticsearch需要较多内存，建议分配至少4GB内存）。 ### 2. 创建Docker网络为了让ELK各容器在同一个网络内互通，需要创建一个自定义网络： ```bash docker network create elk-net ``` ### 3. 创建`docker-compose.yml`文件使用Docker Compose可以方便地管理多容器。创建一个目录（如`elk-docker`），并在其中创建`docker-compose.yml`文件。以下是一个基本的`docker-compose.yml`配置示例，参考引用[1]和[3]： ```yaml version: '3.7' services: # Elasticsearch elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.14.0 container_name: elasticsearch environment: - discovery.type=single-node - "ES_JAVA_OPTS=-Xms1g -Xmx1g" volumes: - es-data:/usr/share/elasticsearch/data ports: - "9200:9200" - "9300:9300" networks: - elk-net # Logstash logstash: image: docker.elastic.co/logstash/logstash:7.14.0 container_name: logstash volumes: - ./logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml - ./logstash/pipeline:/usr/share/logstash/pipeline ports: - "5000:5000" # 接收日志的端口（如TCP/UDP） environment: - LS_JAVA_OPTS=-Xmx512m -Xms512m networks: - elk-net depends_on: - elasticsearch # Kibana kibana: image: docker.elastic.co/kibana/kibana:7.14.0 container_name: kibana ports: - "5601:5601" environment: - ELASTICSEARCH_HOSTS=http://elasticsearch:9200 networks: - elk-net depends_on: - elasticsearch volumes: es-data: driver: local networks: elk-net: external: true ``` ### 4. 配置文件初始化在`elk-docker`目录下，为Logstash创建配置文件和管道配置。 #### (1) Logstash配置文件创建目录`logstash/config`，并在其中创建`logstash.yml`（通常为空，使用默认配置，或根据需要配置）。 #### (2) Logstash管道配置创建目录`logstash/pipeline`，在其中创建`logstash.conf`，配置输入、过滤和输出。以下是一个简单示例，监听TCP端口5000并输出到Elasticsearch： ```conf input { tcp { port => 5000 codec => json } } output { elasticsearch { hosts => ["elasticsearch:9200"] index => "logstash-%{+YYYY.MM.dd}" } } ``` ### 5. 部署和启动在`docker-compose.yml`所在目录执行： ```bash docker-compose up -d ``` ### 6. 验证 - **Elasticsearch**: 访问`http://localhost:9200`，返回JSON信息则成功。 - **Kibana**: 访问`http://localhost:5601`，进入Kibana界面。首次使用可能需要配置索引模式（如`logstash-*`）。 - **Logstash**: 可通过发送日志到5000端口测试。例如使用`nc`命令： ```bash echo '{"message":"test log"}' | nc localhost 5000 ``` 然后在Kibana中查看日志是否被索引。 ### 注意事项 1. 版本一致性：确保Elasticsearch、Logstash和Kibana版本一致（这里使用7.14.0）。 2. 数据持久化：Elasticsearch的数据目录已挂载到卷`es-data`，确保数据持久化。 3. 资源限制：可根据机器性能调整Java堆大小（如`-Xms1g -Xmx1g`）。 ### 扩展说明 - 如果需要监控Docker容器日志，可配置Filebeat收集日志并发送给Logstash[^2]。 - 安全配置：生产环境需要配置安全选项（如X-Pack安全功能）。以上步骤提供了一个单机版的ELK日志监控平台搭建方法，适用于开发和测试环境。生产环境需要考虑集群部署和高可用性配置。 §§相关问题§§ 1. 如何配置Filebeat将Docker容器日志发送到ELK？ 2. ELK平台如何实现高可用性？ 3. 在ELK中如何设置用户认证和权限控制？ </think> ### 使用Docker搭建ELK日志监控平台的详细步骤以下流程基于引用[1][2][3]整合，部署单机版ELK平台（Elasticsearch + Logstash + Kibana），适用于开发和测试环境： #### **1. 环境准备** - 安装Docker和Docker Compose（要求Docker 19.03+） - 分配至少4GB内存（Elasticsearch需要） #### **2. 创建Docker网络** 启用容器间通信： ```bash docker network create elk-net ``` #### **3. 初始化`docker-compose.yml`** 创建文件并写入以下配置（版本建议7.x保持一致）： ```yaml version: '3.7' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.17.3 container_name: elasticsearch environment: - discovery.type=single-node - ES_JAVA_OPTS=-Xms1g -Xmx1g volumes: - es-data:/usr/share/elasticsearch/data ports: - "9200:9200" networks: - elk-net logstash: image: docker.elastic.co/logstash/logstash:7.17.3 container_name: logstash volumes: - ./logstash.conf:/usr/share/logstash/pipeline/logstash.conf ports: - "5000:5000" # 日志接收端口 depends_on: - elasticsearch networks: - elk-net kibana: image: docker.elastic.co/kibana/kibana:7.17.3 container_name: kibana ports: - "5601:5601" environment: - ELASTICSEARCH_HOSTS=http://elasticsearch:9200 depends_on: - elasticsearch networks: - elk-net volumes: es-data: driver: local networks: elk-net: external: true ``` #### **4. Logstash配置文件** 创建`logstash.conf`： ```conf input { tcp { port => 5000 codec => json } } output { elasticsearch { hosts => ["elasticsearch:9200"] index => "logstash-%{+YYYY.MM.dd}" } } ``` #### **5. 启动容器** ```bash docker-compose up -d ``` #### **6. 验证部署** 1. **Elasticsearch**： ```bash curl http://localhost:9200 ``` 返回JSON信息即成功[^1] 2. **Kibana**：访问 `http://localhost:5601` 进入可视化界面 3. **Logstash测试**： ```bash echo '{"message":"test log"}' | nc localhost 5000 ``` 在Kibana的`Discover`菜单查看日志 --- ### **关键配置说明** 1. **数据持久化**： - Elasticsearch数据存储在`es-data`卷中，避免容器重启丢失[^1] 2. **日志收集**： - 应用可通过TCP/UDP将JSON日志发送到Logstash的5000端口 - 支持Filebeat、Syslog等多种输入源（需修改`logstash.conf`）[^3] 3. **安全加固建议**： ```yaml # 在elasticsearch环境变量中添加 - xpack.security.enabled=true ``` 启用基础认证[^2] --- ### **生产环境优化** - **集群部署**：Elasticsearch配置多节点 - **资源限制**：在`docker-compose.yml`中设置`mem_limit` - **日志轮转**：配置Elasticsearch的索引生命周期管理(ILM) - **容器日志收集**：添加Filebeat容器采集Docker日志[^3]