基于Heka+Flume+Kafka+ELK的日志系统

最新推荐文章于 2025-06-09 10:14:03 发布
原创 最新推荐文章于 2025-06-09 10:14:03 发布 · 7k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

该博客详细介绍了如何在CentOS 6.6上搭建一个日志管理系统，包括ELK（Elasticsearch、Logstash、Kibana）、Zookeeper、Kafka、Flume和Heka的安装与配置，以及Kibana的使用和Nginx的反向代理设置。整个系统旨在实现日志的高效收集、存储和分析。

前期准备

ELK官网：https://www.elastic.co/，  软件包下载和完善的文档资料。

Zookeeper官网：https://zookeeper.apache.org/

Kafka官网：http://kafka.apache.org/documentation.html，软件包下载和完善的文档资料。

Flume官网：https://flume.apache.org/

Heka官网：https://hekad.readthedocs.io/en/v0.10.0/

 

系统是centos6.6，64位机器。

所用软件版本：

Logstash：2.3.3

JDK:1.8.0_25

Elasticsearch:2.3.4

Kibana:4.5.2

Heka:0.10.0

Flume:1.7.0

Zookeeper:3.4.8

Kafka:0.8.2.2

Nginx:1.7.6

Kafka-manager:1.3.1.6

 

整体架构图

 

 

 

 

安装步骤

零．安装JDK

一．安装Zookeeper集群

二．安装Kafka集群

三．安装Elasticsearch集群

四．安装Flume

五．业务机器安装Heka

六．使用Logstash对接Kafka和Elasticsearch集群

七．安装Kibana

八．安装Nginx反向代理

九．安装kafka-manager

 

零．安装JDK

所有相关机器安装JDK，配置PATH, CLASS_PATH, JAVA_HOME

 

一．安装Zookeeper集群

准备

Hostname和IP的对应关系

192.168.0.51  data1

192.168.0.49  data2

192.168.0.72  data3

同时需要配置/etc/hosts文件，添加以上记录

 

安装

最低0.47元/天 解锁文章

新学期VIP享超值加赠
【Kafka】Elasticsearch 与 Kafka 整合剖析
九师兄
09-27 1790
1.概述 转载：https://www.cnblogs.com/smartloli/p/6978645.html 目前，随着大数据的浪潮，Kafka 被越来越多的企业所认可，如今的Kafka已发展到0.10.x，其优秀的特性也带给我们解决实际业务的方案。对于数据分流来说，既可以分流到离线存储平台（HDFS），离线计算平台（Hive仓库），也可以分流实时流水计算（Storm，Spark）等，同样也可以分流到海量数据查询（HBase），或是及时查询（ElasticSearch）。而今天笔者给大家分享的就是Ka.
Elasticsearch与Kafka集成：实现数据流处理
Dxy1239310216的博客
06-15 1311
Elasticsearch是一个基于Lucene的搜索和分析引擎，它提供了一个分布式、多租户能力的全文搜索引擎，具有HTTP Web界面和无模式JSON文档。Elasticsearch以其可扩展性、易用性和对海量数据的处理能力而闻名，是许多大型企业和项目的首选数据存储和搜索解决方案。Apache Kafka是一个分布式流处理平台，由LinkedIn公司开发和维护。它允许发布和订阅记录流，类似于消息队列或企业消息系统。
日志监控平台：flume-kafka-ELK
weixin_45682234的博客
05-06 1226
日志监控平台 flume-kafka-logstash-elasticsearch-kibana 一、部署环境 Centosos7x Jdk1.8 二、安装教程 2.1 flume安装 下载地址： http://archive.apache.org/dist/flume/1.8.0/ 下载完后将tar包上载到linux /usr/local下 上载完后，到/usr/local下解压tar包...
Flume入门指南：大数据日志采集的秘密武器
最新发布
£菜鸟也有梦的博客
06-09 1590
Flume是一个分布式、可靠的海量日志采集系统，在大数据生态中扮演关键角色。文章深入解析了Flume的核心组件：Agent（核心引擎）、Source（数据入口）、Channel（数据缓冲区）、Sink（数据出口）和Event（数据单元），并通过电商平台的实例说明其工作原理。详细介绍了Flume的安装配置步骤，包括环境准备、下载解压、配置文件编写和启动测试。最后展示了两个典型应用案例：实时监控文件传输到HDFS和监听目录处理新文件，并总结了Flume的高可靠性、可扩展性等优势，展望了未来发展。
基于ELK的日志收集系统的心得
Diamond5MrW的博客
06-16 2466
elasticsearch+logstash+kinana搭建的日志收集系统 elasticsearch是基于倒排序查询的查询引擎，什么叫倒排序？比如mysql建立的索引是正排序，对于规范化数据(比如表格，元数据)而言基本使用正排序索引，倒排序一般用于文本之类的查询，典型的例子是关键字搜索文献，在录入文献时，对每一个关键字建立索引，可以看到它属于哪一篇文章，这样就可以很方便的进行查询，缺点是
Flume+kafka+ELK+redis整合
weixin_34310369的博客
03-27 282
2019独角兽企业重金招聘Python工程师标准>>> ...
日志监控平台搭建 关于flume Kafka Elk
朱智文的专栏
12-06 5023
最近需要搭建一套日志监控平台,参考了新浪与美团的一些东西.现在实录一下搭建与优化调整的过程 目前把这几件放在一起的文档还不够多,其中相当一部分因为elk的升级配置也已经不能用了,更多的是单机版的配置,完全没有参考性. 优化的部分将等待项目与新平台正式上线在另一篇文章写出 拓扑图 软硬件配置 本机 ubuntu 14.04线上 centos 6.5
ehkd:带有Symfony应用程序的Elasticsearch + Heka + Kibana + Docker
05-13
埃克 带有Symfony应用程序的Elasticsearch + Heka + Kibana + Docker 克隆此仓库，然后运行： docker-compose up -d
利用Docker部署Symfony集成的Elasticsearch + Heka + Kibana
Heka是一个用于数据处理的流处理系统，擅长实时收集、处理和分析数据流；Kibana则是一个数据可视化平台，可以对Elasticsearch中的数据进行可视化展示；Symfony是一个用PHP编写的全功能框架，广泛应用于Web应用程序的...
matlab导入excel代码-AnalysisFunction:分析功能提供脚本来分析用HEKA系统记录的电生理数据：FALCON膜片钳系统
05-21
分析功能提供脚本来分析用HEKA系统记录的电生理数据：FALCON膜片钳系统，结合了机械刺激和自感应悬臂的应用（膜片钳文件夹）和两电极电压钳系统（TEVC文件夹）。 作者：西尔维亚·费希纳（Sylvia Fechner）博士。 此...
ELK系列-使用flume日志收集
运维打怪晋级之路
06-30 1558
ELK系列-使用flume日志收集 我们的部分日志收集是使用flume在各个应用服务器上收集日志，然后到腾讯云的消息队列ckafka，在使用logstash消费ckafka的日志消息输入到elasticserch中。 flume工具介绍 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase、kafka等)的能力 。 flume的数据流由事件(Ev
大数据架构入门总结（Flume + Kafka + ZooKeeper + Spark Streaming + Drools + ELK）
神经质的盛宴的专栏
04-25 3504
这两天学习了Flume + Kafka + ZooKeeper + Spark Streaming + Drools + ELK进行大数据架构，有很多的体会和总结。这边将我的总结记录下来给感兴趣的同学提供参考参考，帮助大家可以更快的入门。 【架构的数据流转】 1、首先flume从日志中采集数据，这个日志可以是各种来源，比如说日志文件或者Socket通信。 2、然后flume将采集的数据推送到
【es】es避坑小餐
zkq_1986的博客
08-23 1013
作者：小猫助手 链接：https://www.zhihu.com/question/59957272/answer/170694929 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 大家好，我是黄歆，目前担任斗鱼数据平台部基础架构组Leader，主要负责斗鱼数据平台部基础环境建设（Hadoop、ELK、容器集群等）及基础服务开发（发布系统、监控告
heka 输出到mysql_heka - 基于Go开发的日志收集工具，可用Go或lua开发插件
weixin_39614546的博客
02-04 267
刚开始搞heka，觉得潜力很大，但是很多概念和配置不清楚。官方开源地址：https://github.com/mozilla-services/heka下面是配置文件，功能是想配置实现通过TCP和UDP接收日志，然后显示出来。UdpInput可以正常接受并显示日志；但是配置TcpInput，能连接上但是输出的日志都为空：```[syslog_splitter]type = "RegexSplitt...
日志系统
bosswanghai的博客
12-24 698
elk
elk 加 Kafka
weixin_57901667的博客
06-28 484
在搭建kafka集群时，需要提前安装zookeeper集群，当然kafka已经自带zookeeper程序只需要解压并且安装配置就行了 官网： http://kafka.apache.org yum install -y java-1.8.0 wget http://mirror.rise.ph/apache/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz tar -xf kafka_2.11-0.8.2.1.tgz -C /usr/local/ cd /usr/local/ mv.
ELK+kafka
一名小白的博客
06-04 9131
上面架构图分为五层，详细解释如下： 第一层，数据采集层 最左边的是业务服务器集群，上面安装了filebeat做日志采集，同时把采集的日志分别发送给两个logstash服务。 第二层，数据处理层，数据缓存层 logstash服务把接收到的日志通过格式处理，转存到本地的kafka broker+zookeeper集群中。 第三层，数据转发层 这个单独的logstash节点会...
【亲测免费】 Heka: 全面的数据收集、处理和可视化工具
gitblog_00013的博客
03-17 805
Heka: 全面的数据收集、处理和可视化工具 Heka 是一个开源的全栈式日志管理和分析系统，由 Mozilla 开发并贡献给社区。Heka 支持多种数据输入源和插件，可以用于实时采集、过滤、聚合、存储和可视化各类数据流。 Heka 的功能和应用场景 实时数据流收集：Heka 可以实时收集来自各种数据源的日志、指标和其他数据，并进行预处理。 过滤与转换：通过灵活的 Lua 脚本支持，您可以根据需...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值