ELKF日志学习(三)EKF平台搭建 Docker单机

Docker方式搭建ELKF集群--集成kafka和redis抽取日志 上面 必须注意: 如果要生效 /etc/sysctl.conf 请务必确保 net.ipv4.ip_forward=1 ,默认他是0,如果是0。1、启动相关应用 比如:Mysql、Nginx、Redis,具体如果安装启动,我这里就不多说,我主要讲解一下已经启动的应用。内核参数文件 /etc/sysctl.conf 里面增加一行 vm.max_map_count=262144。/kibana/config/kibana.yml 文件。192.168.88.133 上创建目录。 阅读详情

本文和 《ELKF日志学习(二)ELKF平台搭建 Docker单机》 的区别如下:

  1. 去除了 Logstash 模块。
  2. Filebeat 直接写入 Elasticsearch。

熟悉者可以直接进入相应目录安装环境。

前言

本文是基于 hub.docker.com 站点提供的 Docker 容器进行搭建的,且是 单机 ,仅用于学习。

代码仓库

talk-lucky/elkf-study EKF目录

说明

为了能够达到更好的学习效果,这里将 Elasticsearch 设置成了无需密码的状态。

同时,Elasticsearch 也用的是免费版。

后期告警部分,会使用 Elasticsearch 白金收费版,默认只有试用 30 天,如果需要更长时间的试用,需要付费购买。

镜像版本

Docker 镜像版本: 7.6.1。

  • kibana:7.6.1
  • elasticsearch:7.6.1
  • store/elastic/filebeat:7.6.1

Docker 镜像版本: 6.4.2。

  • kibana:6.4.2
  • elasticsearch:6.4.2
  • store/elastic/filebeat:6.4.2

目标

FileBeat 收集JSON日志、Elasticsearch 存储、Kibana 分析、钉钉告警。

文件树

ekf
  ├─elasticsearch
  │ └─elasticsearch.yml
  ├─filebeat
  │ └─filebeat.yml
  └─kibana
     └─kibana.yml

容器编排配置

version: "3"
services:
    filebeat:
        image: store/elastic/filebeat:7.6.1
        # 这里映射日志文件
        volumes:
            - ./nginx/logs:/var/log/nginx
            - ./ekf/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro
        links:
            - elasticsearch
        container_name: filebeat
        user: "root"
    elasticsearch:
        image: elasticsearch:7.6.1
        ports: 
            - "9200:9200"
            - "9300:9300"
        volumes:
            - ./ekf/elasticsearch/data:/usr/share/elasticsearch/data
            - ./ekf/elasticsearch/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml:ro
        environment:
            ELASTICSEARCH_USERNAME: "root"
            ELASTICSEARCH_PASSWORD: "123456"
            ES_JAVA_OPTS: "-Xmx256m -Xms256m"
            discovery.type: single-node
            xpack.security.enabled: 'false'
        container_name: elasticsearch
    kibana:
        image: kibana:7.6.1
        ports: 
            - "5601:5601"
        volumes:
            - ./ekf/kibana/kibana.yml:/usr/share/kibana/config/kibana.yml:ro
        # 高版本的汉化还可以,低版本的还是默认使用英文版吧
        environment:
            I18N_LOCALE: zh-CN
        container_name: kibana
        links:
            - elasticsearch

运行环境

在 ELKF 目录下,执行 docker-compose up -d。

你将会看到如下的内容:

imjcw@marvin ELKF: docker-compose up -d
Creating network "elkf_default" with the default driver
Creating elasticsearch ... done
Creating filebeat      ... done
Creating kibana        ... done

等两分钟后,打开 [http://127.0.0.1:5601](javascript:void(0)😉。

Kibana

尽情探索吧。

最后

项目中已经做了一些基础配置,后续在各个模块会标明这些配置的作用。

(11)EKF - (1.4) 解析日志数据 Ardupilot官网关于《Learning the code》的翻译 —《EKF - (1.4) 解析日志数据》。 阅读详情

相关推荐

docker 日志管理(elkf)docker-compose 一键启动.zip

docker elkf 日志管理系统 docker-compose一键启动 内附教程

ELKF日志学习(二)ELKF平台搭建 Docker单机

前言 本文是基于 hub.docker.com 站点提供的 Docker 容器进行搭建的,且是 单机 ,仅用于学习。 代码仓库 talk-lucky/elkf-study ELKF目录 说明 为了能够达到更好的学习效果,这里将 Elasticsearch 设置成了无需密码的状态。 同时,Elasticsearch 也用的是免费版。 后期告警部分,会使用 Elasticsearch 白金收费版,默认只有试用 30 天,如果需要更长时间的试用,需要付费购买。 镜像版本 Docker 镜像版本: 7.6.1。

IMJCW的博客 619

英飞凌TC3xx实战:PWM中点触发ADC采集+DMA自动搬运完整配置流程(基于ILLD库)

本文详细介绍了在英飞凌TC3xx系列微控制器上使用ILLD库实现PWM中点触发ADC采集并通过DMA自动搬运数据的完整配置流程。该方案适用于电机控制、电源管理等需要高精度定时采集的场景,通过GTM生成PWM信号、ADC采集和DMA传输实现全硬件自动化流程,显著提升系统效率。

weixin_42536058的博客 534

基于Docker环境部署ELKF日志分析系统

基于Docker环境部署ELKF日志分析系统

li81562的博客 647

亿图图示(edrawmax中文版) v10.1.7pjb

edrawmax中文名叫做亿图图示,是一款非常棒的综合图形图表设计软件,既能实现流程图、架构图、工程图、思维导图等数百种专业领域图形图表的绘制,又能提供一个白板进行头脑风暴和任意编排,轻松实现数据和创意的可视化呈现。软件支持Windows、Mac、Linux及网络版,一端创作,多端同步,从而为跨端办公绘图提供新的解决方案,还兼容常用文档类的办公软件格式,包括图片、Office、PDF、Visio、Html、SVG等,尽可能的在文件格式这块满足用户多方面需求。软件支持创建260多种图表类型,拥有超过12500

qq_43293214的博客 1万+

MAPPO实战:从理论到代码的协作智能体训练指南

本文详细介绍了MAPPO算法在多智能体协作训练中的实战应用,从理论基础到代码实现全面解析。通过对比PPO与MAPPO的差异,深入讲解CTDE框架、网络架构设计、参数调优等关键环节,并提供实际项目中的调参经验和常见问题解决方案,帮助开发者快速掌握这一强化学习前沿技术。

weixin_42561040的博客 265

基于Docker搭建ELK日志搜集处理分析系统

通过搭建分布式日志分析系统ELK, 为项目添加日志链, 并且介绍了kibana的基本使用方法. 避免总是登录堡垒机查看日志的问题. 你确定不来康康吗? 带你 蹬dua大佬 哦~~~

时间静止 6374

Matlab App Designer自学笔记(六):坐标轴控件axis函数绘图方法

作用: 绘制函数显示 显示图像(jpg png tiff) 颜色选项: r(红色) g(绿色) b(蓝色) w(白色) k(黑色) 其他 一、坐标区控件及设置 可以对坐标去进行设计: 二、功能实现及编程 功能:点击“绘图按钮”,能显示曲线。 实现:对按钮设置回调函数 若要多个图像显示在一个坐标系中,需要语句:hold(app.UIAxes,"on"); app.UIAxes是这个坐标轴的名字。 function ButtonP...

陶小桃Blog 3万+

不得不学!从零到一搭建ELK日志,在Docker环境下部署 Kibana 可视化工具

大家好,我是小郭,最近在玩 ELK 日志平台,它是 Elastic 公司推出的一整套日志收集、分析和展示的解决方案。只有学习了,操作了才能算真正的学会使用了,虽然看起来简单,但是里面的流程步骤还是很多的,将步骤和遇到的问题记录和总结下,今天主要分享下在Docker环境下部署 Kibana 可视化工具。# 从零到一搭建ELK日志,在Docker环境下部署 Elasticsearch 数据库# 从零到一搭建ELK日志,在Docker环境下部署 logstash 工具。

weixin_42907150的博客 871

AIOps探索 | 如何用大模型构建高效运维知识及智能问答平台(1)

好久没有分享AIOps相关干货了,最近大模型这么火,而且我们有客户已经基于大模型构建了知识及智能问答平台,需要在运维领域结合使用场景进行应用。为此,楼主从头到尾声梳理了一遍大模型在运维领域构建知识及智能问答平台的应用场景、技术实现,总结出来供大家一同探索,希望对大家理解和运用大模型有一定帮助~

智能运维及数据中台探索 2810

《深入浅出多模态》(二):多模态任务及数据集介绍

本文为《深入浅出多模态》系列第二章,《多模态任务介绍与背景》主要介绍多模态模型的概念、技术难点、下游任务(Visual Grounding、VQA、image/Video Captioning等)及各类应用方向数据集展开介绍,本专栏适合从事多模态小白及爱好者学习,欢迎大家关注,如有侵权请联系删除!

专注大数据与人工智能技术分享,欢迎私信加群互相学习! 3834

大数据笔记--ELK(第一篇)

一、ELK介绍 1、什么是ELK 2、为什么要使用ELK 二、ELASTICSEARCH概括 1、ES安装和启动 2、ES的head插件 三、ELASTICSEARCH核心概念 1、ES中的重要概念 四、ELASTICSEARCH索引数据 1、REST命令 2、索引的管理 3、搜索功能 五、ELASTICSEARCH索引的映射和设置 1、MAPPING 2、SETTING设置 ...

我睡觉的时候不困 2648

【全志V821_FoxPi】6-2 IMX219 MIPI摄像头适配

全志V821芯片适配IMX219 MIPI摄像头(2lane)教程,基于FoxPi开发板V1.2 SDK。文章详细介绍了IMX219的技术参数(800万像素、1/4英寸CMOS、支持1080P@30fps输出)及模组接口原理图。重点展示了设备树配置方法,包括PIO引脚定义(TWI0使用PA3/PA4,复位引脚PA2)、TWI0节点设置(100kHz时钟)以及VIND0节点中sensor0的完整配置(I2C地址0x20、MCLK0、RAW格式输出等)。配置过程强调需注意IMX219的器件地址转换(0x10→0

第四维度的博客 2252

Docker ELKF平台搭建 单机

申明 本文是基于 hub.docker.com 站点提供的 Docker 容器进行搭建的,且是 单机 ,仅用于学习。 简介 ELKF 是 Elasticsearch 、 Logstash 、 Kibana 、 Filebeat。 filebeat 是轻量级的开源日志文件数据搜集器,负责对服务的日志进行收集。 logstash 是数据收集引擎,可以对数据进行过滤、分析、丰富、统一格式等操作,存储到用户指定的位置,包含但不限于文件、 elasticsearch 。 elasticsearch 是存储、搜索和分

IMJCW的博客 782

第1章第11节:创建可容纳多行滚动文字的输入框TextEditor [SwiftUI快速入门到实战]

TextField可以让用户输入单行的文字内容,若想输入多行的文字内容,可以使用能够容纳多行滚动文字的 TextEditor。 定义一个字符串属性,用来存储用户输入的文字内容。接着定义一个布尔属性,用来标识是否弹出警告窗口,以显示用户输入的内容。 TextEditor是由UIKit中的UITextView演变而来,因此可以在init方法中,通过UITextView修改TextEditor的外观属性。 添加一个VStack视图,作为子视图的容器。 创建一个TextEditor,Te..

互动教程网[www.hdjc8.com] 832

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

使用docker搭建单机版ELKF所遇到的一些坑

此文针对7.6.2版本的elkf 一、搭建Elasticsearch遇到的问题 max virtual memory areas vm.max*_map_count [65530] likely too low, increase to at least [262144]* max virtual memory areas vm.max*_map_count [65530] likely too low, increase to at least [262144]* 修改 /etc/sysctl.co

Eric_LEE2414的博客 450

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

ELKF日志学习(四)FileBeat基础配置

前言 在 《ELKF日志学习(一)前言》 中介绍过 FileBeat,是一个轻量级的开源日志文件数据搜集器,负责对服务的日志进行收集。 因为 logstash 是 jvm 跑的,资源消耗比较大,所以后来作者又用 golang 写了一个功能较少但是资源消耗也小的轻量级的 logstash-forwarder。 不过作者只是一个人,加入 http://elastic.co 公司以后,因为 es 公司本身还收购了另一个开源项目 packetbeat,而这个项目专门就是用 golang 的,有整个团队,所以 es

IMJCW的博客 347

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

ELK运维之路(Elasticsearch7集群组建-7.17.24)

最近公司研发需要使用ES来处理一些业务,我就本地做了一个单机版的测试es,正好发现之前公司组建ELKF日志监控时没有留底文档,那我就顺着写一下给自己整理一份,所有内容都为个人留档工作内容,请不要随便搬到你的生产环境。

会飞的小蛮猪博客 909

使用docker-compose快速搭建ELK

ubuntu系统。

海哥python的博客 1429

EKF搭建

最近在研究日志处理,经过资料的收集和现实情况的考虑,决定采用EKF,拿什么是EKF呢,首先来解释下E是Elasticsearch,K是Kibana,F是Filebeat。

王亚瑟的博客 527

dockercompose搭建elk

Elastic Stack简介 如果你没有听说过Elastic Stack,那你一定听说过ELK,实际上ELK是三款软件的简称,分别是Elasticsearch、 Logstash、Kibana组成,在发展的过程中,又有新成员Beats的加入,所以就形成了Elastic Stack。所以说,ELK是旧的称呼,Elastic Stack是新的名字。 全系的Elastic Stack技术栈包括: Elasticsearch ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用

qq_38899062的博客 6457

Docker-Compose部署ELK

Docker-Compose部署ELK

weixin_44359151的博客 3028

Docker搭建ELKF日志分析系统

在kibana中,默认通过时间来排序。在Management中找到Indexpatterns,单击进去可以看到类似以下图片中的界面,填写www-bdqn-cn-pro-access-*从上面的输入配置文件中可以看出,这里来采用的第一种图形,在Filebeat读取数据后,向logstash发送数据前添加www-bdqn-cn-pro-access的tag。在filter段内的第一行是判断语句,如果www-bdqn-cn-pro-access自定义字符在tags内,则使用grok段内的语句对日志进行处理。

weixin_73059729的博客 2001

docker安装ELKF

docker安装ELKF 准备一台ubuntu18.04的机器 本次搭建使用的版本都是7.6.2,保持版本统一,避免不可预料的异常 一.安装elasticsearch 本次安装的es为单机版,没做集群化部署 前置工作,首先编辑 /etc/sysctl.conf,添加vm.max_map_count=262144一行,sycstl -p重置 创建docker的统一网络,使kibana能与es通信 docker network create somenetwork docker运行es d

Eric_LEE2414的博客 687

日志可视化之ELKF--filebeat

filebeat、elasticsearch、logstash、kibana此为日志可视化的基础设施。不过根据业务系统的体量不同,这些组件不是全都必须的。这里介绍EKF的部署方式,即elasticksearch、kibana、filebeat。 filebeat 这里不再具体介绍,filebeat可以把应用产生的日志文件发送到logstash或者elasticsearch中去。这里主要介绍一些...

implements的专栏 485

ELKF——从零开始搭建部署ELKF日志系统

elk日志系统,收集springboot日志

qq_33588972的博客 3045
上一篇: ELKF日志学习(二)ELKF平台搭建 Docker单机
下一篇: ELKF日志学习(四)FileBeat基础配置
IMJCW
博客等级 码龄10年 13粉丝 58原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值