基于Linux下开发的ELK自动部署工具以及ELK基本操作

Linux离线部署ELK 在linux环境离线部署ELK 阅读详情

基于Linux下开发的ELK自动部署工具以及ELK基本操作

前言:

本文主要作为此次部署ELK环境的记录,希望我的一些经验可以帮到更多的人
1.介绍自定义开发了一款基于linux和docker(各个节点之间需要可以互相ping通,可以配置linux之间的网关即可互通)快速分布式部署ELK环境的工具(该工具的百度网盘地址:https://pan.baidu.com/s/1gfNEcyJ  密码:pxsv)
该工具内已经内置了
elasticsearch-5.6.0 + logstash-5.6.0.tar + kibana-5.6.0 + zookeeper-3.4.9 + kafka_2.12-0.11.0.0 
2.ELK的基本操作

1 工具说明


ELK环境是logstash+elasticsearch+kibana的一套搜索查询引擎。其中logstash负责数据的传输,elasticsearch负责数据存储以及数据分析,kibana负责数据减少elasticsearch操作和生成报表工具。

ELK自动部署工具是用于某平台log日志存储分析ELK环境搭建的一套自动化部署工具,目的是为了减少部署难度。

下面是某平台的ELK的架构图:

 

2 使用说明

2.1 文件说明

elk部署工具文件结构

 

2.1.1 deploy.sh

deploy.sh用于创建和启动docker容器。可使用-h查看可用命令

 

-b:有此参数说明setting.conf中的task需要创建。

-s:有此参数说明setting.conf中的task需要启动。

-c: 此参数用于指定docker_create.sh的位置,docker_create.sh用于创建DockerFile,默认的dockerfile.sh的位置是同级目录下的dockerfile_create.sh。

-l:此参数用于指定

elk安装部署linux环境(亲测有效) 很早安装了,过来记录下。 一、ELK简介: ELK 是三个开源框架的简写,分别是:Elasticsearch、Logstash、Kibana 。 框架 简介 作用 Elasticsearch 开源分布式搜索引擎,提供存储、分析、搜索功能。特点:分布式、基于reasful风格、支持海量高并发的准实时搜索场景、稳定、可靠、快速、使用方便等。 接收搜集的海量结构化日志数据,并提供给Kibana查询分析。 Logstash 开源日志搜集、分析、过滤框架,支持多种数据输入输出方式。 用于收集日志,对日志进行过滤形成 阅读详情

相关推荐

Linux日志收集分析工具-ELK

1. 为什么用到 ELK 一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获得自己想要的信息。 但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、 如何多维度查询。需要集中化的日志管理,所有服务器上的日志收集汇总。常见解决思路是建立集中 式日志收集系统,将所有节点上的日志统一收集,管理,访问。 一般大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时, 大部分情况需要根据问题暴露的关键信息,定位到具体的服务器和服务模块

weixin_42193489的博客 1223

在Linux中部署ELK架构

ELK(ElasticSearch分布式搜索引擎、Logstash数据收集处理引擎和Kibana可视化化平台)是在大型后端架构中,一个标准的数据采集方案。 在公网IP为x.x.x.x的服务器上部署Elasticsearch+ Logstash+filebeat+redis+Kibana架构。这种架构先通过Logstash收集日志,然后通过Elasticsearch分析日志,最后在Kibana中展示数据。可以在客户端部署filebeat(轻量级数据收集引擎),filebeat消耗比Logstash更少的资源

weixin_43268590的博客 2614

linux部署ELK

ELK部署一、Elasticsearch部署二、Kibana部署1.解压并配置kibana.yml2.启动以及测试三、Logstash部署 ELK包下载地址:ELK官网 上传版本一致的Elasticsearch、Logstash、Kibana到服务器内。 elasticsearch-7.9.3-linux-x86_64.tar.gz kibana-7.9.3-linux-x86_64.tar.gz logstash-7.9.3.tar.gz 检查是否安装并配置好了jdk环境变量没有安装jdk先进行jdk的安

dgmhj的博客 276

Linux离线部署ELK7.17版本

1、下载安装包2、上传本地虚拟机可以用rz命令上传,也可用第三方工具上传3、配置文件目录,解压到指定位置4、配置jdk5、系统配置vim /etc/security/limits.conf 最后添加如下内容# 配置文件句柄数# 配置 进程和线程数# 配置 内存锁定交换sysctl -p 生效该配置6、修改es配置cluster.name: my-application #节点名称。

2302_78105215的博客 1662

Rocky Linux安装部署Elasticsearch(ELK日志服务器)_rockylinux elk

Elasticsearch是一个强大的开源搜索和分析引擎,可用于实时处理和查询大量数据。它具有高性能、可扩展性和分布式特性,支持全文搜索、聚合分析、地理空间搜索等功能,是构建实时应用和大规模数据分析平台的首选工具。(img-gkpdQRQB-1712532951952)]2、点击右下角版本号(这里是Elasticsearch 8.12.2)三、Rocky Linux安装部署Elasticsearch。1、登录github,Elasticsearch开源项目。3、点击Downloads链接。

2401_84166836的博客 1166

ELK6.6安装部署及架构介绍(二进制)-有视频课件

ELK 6.6 安装软件包括 jdk-8u201-linux-x64.tar.gz 182.9M2019-02-27 11:46 elasticsearch-6.6.0.tar.gz 108.8M2019-02-27 11:45 kafka_2.11-2.1.1.tgz 59.2M2019-02-27 11:45 logstash-6.6.0.tar.gz 161.8M2019-02-27 11:45 kibana-6.6.0-linux-x86_64.tar.gz 172.3M2019-02-27 11:45 zookeeper-3.4.13.tar.gz 35.5M2019-02-27 11:45 nginx-1.14.2.tar.gz 992KB2019-02-27 11:45 redis-4.0.9.tar.gz 1.7M2019-02-27 11:45 filebeat-6.6.0-linux-x86_64.tar.gz 11.1M2019-02-27 11:45

ELK部署文档.pdf

最新的elk7.1.1安装文档,es集群安装配置,kibana安装及汉化配置,filebeat和logstash安装,在各色的文档中排坑中走出,此为新手最值得拥有的文档。 系统为linux7.6 安装包为tar包。

腾讯开源CubeSandbox:为Agent打造可随时丢弃的安全沙箱环境

在人工智能与自动化技术快速发展的今天,智能体(Agent)在执行复杂任务时往往需要独立、完整的计算环境,但环境失控带来的安全风险一直是落地瓶颈。为解决这一痛点,可丢弃式沙箱技术应运而生。它通过轻量虚拟化原理实现环境秒级重建,并严格隔离宿主资源,即使Agent执行了恶意或误操作,也不会波及其他系统。这种技术价值在于平衡了灵活性与安全性,使开发者敢于赋予Agent更多自主操作权限。目前,这类技术已广泛应用于AI编程、自动化测试、数字员工、恶意代码分析等真实场景,成为Agent可靠运行的基石。腾讯开源的CubeS

weixin_42539414的博客 253

abaqus2matlab的安装与使用:如何用matlab提取abaqus的odb结果

官网abaqus2matlab官网地址matlab社区地址matlab社区地址在这里可以看到.m文件的源码论文:Abaqus2Matlab: A suitable tool for finite element post-processingabaqus2matlab可以处理.inp、.fil、.odb三种类型的文件。.inp文件:处理功能就在于只是单纯的输出inp文件,由于我自己写了自己的函数,不需要用到这个功能。

qianxin1234的博客 2016

DIY便携式PEMF磁脉冲治疗仪:百元成本自制生物物理疗法设备

脉冲电磁场(PEMF)疗法是一种基于生物物理原理的非侵入性技术,它通过特定频率的电磁脉冲作用于细胞层面,影响细胞膜电位和离子通道活动,从而可能调节细胞代谢与功能。其技术价值在于提供了一种物理干预手段,在健康科技和生物黑客领域被探索用于放松、恢复等场景。实现PEMF的核心是通过信号发生与功率放大驱动电磁线圈产生可控磁场。本文以蓝牙音频模块和智能手机App为切入点,详细解析了如何利用低成本电子元件(如DFRobot XY-WRBT模块和漆包线线圈)构建一个可自定义频率的便携式PEMF设备,涵盖了从电路设计、线圈

weixin_31476015的博客 350

手把手教你如何修改YOLO11的模型结构(以CBAM和可变性卷积为例)

YOLO11修改模型结构

2401_86807530的博客 1万+

科研绘图(二):R 语言实现小鼠脑图谱 3D 渲染,附完整代码与数据获取指南

在生物医学科研中,脑区的 3D 可视化是呈现实验结果、解析脑结构功能的重要手段。R 语言凭借rgl和Rvcg等工具包,可高效实现小鼠全脑及特定脑区(如 CA1 区)的立体渲染,且代码可复用性强。本文将从环境搭建、数据准备、代码实现到结果导出,手把手带你完成小鼠脑图谱 3D 绘图,小白也能快速上手!

good_rrrrr的博客 2023

智能体在车联网中的应用:第9天 核心工具链与仿真世界:SUMO交通仿真入门——从安装到构建你的第一个虚拟十字路口

摘要 SUMO是一款开源微观交通仿真工具,为车联网和自动驾驶算法开发提供高效安全的测试环境。文章详细介绍了SUMO的核心概念、安装方法及实战应用。在Ubuntu或Windows系统安装SUMO后,可通过netedit工具构建十字路口路网,包括创建节点、连接边、设置交通信号灯等步骤。随后通过编写.rou.xml文件定义车辆类型、路线和车流,实现动态交通场景模拟。SUMO支持与外部程序交互,能复现真实场景、进行极端测试和算法验证,是车联网研究的理想数字沙盘。

IT深耕十余载,大道之简 1451

YOLOv8 ultralytics使用笔记----labelme标记数据,训练模型、追踪目标。

Ultralytics是一个Python库,它是为执行高级计算机视觉任务而创建的,如对象检测、实例分割、图像分类等。Ultralytics为YOLO模型发布了一个全新的存储库,它被构建为用于机器视觉统一框架。这里先利用,并激活。

qq_48050838的博客 1万+

瑞芯微RV1126部署YOLOv8全流程:环境搭建、pt-onnx-rknn模型转换、C++推理代码、错误解决、优化、交叉编译第三方库

瑞芯微RV1126部署YOLOv8全流程:环境搭建、pt-onnx-rknn模型转换、C++推理代码、错误解决、优化、交叉编译第三方库

C/C++、嵌入式开发、深度学习算法、模型部署与推理优化 3106

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

上一篇: 使用telnet发送email(内嵌图片,附件)
下一篇: Centos7.2 SSH免密登录设置
hellopeng1
博客等级 码龄10年 66粉丝 20原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值