flume 读文件spooldir 写入kafka

lcl_bigdata lcl_bigdata 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 400+累计阅读 480平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄11年
关注
VIP免费 原创 最新推荐文章于 2026-06-19 16:54:42 发布 480 阅读 AI 写同款· GEO 优化 ›
Flume实时采集日志到Kafka（极简版） 背景： 由于项目采用微服务架构，业务日志文件数量较多，我做了个简单的日志监控服务，先在此分享下日志采集的简单步骤，没有任何花里胡哨 ~（ps：一切数据到了 kafka就非常好解决了！） 一、Flume安装 Flume的安装使用可以说非常简单，直接进官网：http://flume.apache.org/ 最新是1.9.0版本，我们选择1.8.0版本下载。 然后在Linux下解压： 配置用... 阅读详情

 

flume 配置文件

#source: sdir sink: skafka channel: d2k
agent1.sources = sdir
agent1.sinks = skafka
agent1.channels = d2k

 

#d2k skafka
agent1.sinks.skafka.channel = d2k
#sdir d2k
agent1.sources.sdir.channels = d2k

 

#describe the source
agent1.sources.sdir.type = spooldir 
agent1.sources.sdir.spoolDir = /home/huser/testDataFiles ##文件存放的目录位置

 

#use a channel which buffers events in memory
agent1.channels.d2k.type = memory
agent1.channels.d2k.capacity = 1000
agent1.channels.d2k.transactionCapacity = 1000

 

#sinks type  kafka
agent1.sinks.skafka.type =

最低0.47元/天 解锁文章
标签
#flume #kafka
Flume - 初用Flume 1.8.0 Flume - 初用Flume 在Flume中，最重要的三个部件分别为： source channels sink 在本例中我们使用如图的架构来进行Flume数据采集： 当前使用的flume版本号为1.8.0，如果相对其他类别的配置有更详细的了解，可查看：http://flume.apache.org/FlumeUserGuide.html 对于flume中的使用主要是对于配置文... 阅读详情

相关推荐

flume采集日志到HDFS中再导入到hive表中

flume介绍 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on st...

slmpl的博客 4449

一文搞定 GitHub SSH Key：生成、配置、好处全攻略

本文详细介绍了如何配置GitHub SSH Key，实现免密安全认证。主要内容包括：SSH协议的四大优势（免密登录、安全性高、稳定省心、支持自动化）；Git身份配置步骤；检查本地SSH Key；生成RSA密钥对；添加密钥到SSH代理；复制公钥到GitHub；测试连接。配置完成后，开发者可通过SSH地址克隆仓库，实现push/pull全程免密操作。该方案显著提升Git使用效率，同时保障安全性，是开发者必备技能。

qq_62904883的博客 959

Cadence Virtuoso实战：NMOS差分放大器设计与SPICE仿真全解析

本文详细解析了使用Cadence Virtuoso设计NMOS差分放大器并进行SPICE仿真的全流程。从基础设计要点、原理图绘制到工作点分析与性能调优，提供了实用的设计技巧和常见问题解决方案，帮助工程师高效完成模拟集成电路设计。重点介绍了差分放大器的关键参数设置、饱和区优化及版图设计注意事项，适用于ADC、DAC等高性能电路开发。

weixin_28340315的博客 611

Qt C++ bridge模式（桥）

Bridge模式使得抽象和实现能够相对独立。 bridge.h #pragma once #include class CImplementor { public: virtual void operateImp() = 0; }; class CRectImplementor : public CImplementor { public: CR

thinkme2010的专栏 1894

手把手教你用STM32实现SPWM逆变器控制（附完整代码）

本文提供了一份基于STM32实现SPWM逆变器控制的完整实战指南。文章从硬件选型（如STM32F103C8T6、IR2104驱动器）入手，详细解析了利用定时器TIM1生成SPWM波形的核心原理与代码实现，并涵盖了驱动电路、全桥功率电路及LC滤波器的设计要点与调试技巧，旨在帮助读者从零构建一个可靠的单相全桥逆变器系统。

weixin_29208327的博客 592

SAP公司间采购后台配置及前台操作详解

公司间采购后台配置及前台操作详解 SAP 实施中公司间交易几乎每个项目都会有此业务需求，比如内地很多公司都会在香港设置贸易型子公司。通过香港公司接单，然后转内地公司生产，或内地公司通过香港公司采购进口原材料，这些业务必然会涉及到公司间交易，下面我将详细说明下SAP是如何实现这种业务场景的，供大家参考。 配置前必须前台先创建公司间供应商主数据和客户主数据 1. 创建相应的客户主数据 功能说明 公司间...

weixin_40672823的博客 1万+

立体仓库WCS控制系统-AGV通信代码

string str = "任务下发,WCS->NT8000(q-Message),ikey:" + p.ikey.ToString() + "fromStation:" + p.fromStation.ToString() + "toStation:" + p.toStation.ToString();if (nt8000.Connect(_ServerAddr, _ServerPort)) QueueSpeech.AddQueue(string.Format("与NT8000重连成功"));

xdpcxq的专栏 2204

【Claude】Auto Mode 触发安全分类器拦截的三种错误变体及对应处理 bug报错已解决

深度解析Claude Auto Mode安全分类器拦截的三种变体：内容拒绝、操作中断、累积触发，含完整排查流程与绕过策略。

博客 7598

OpenStack 2018 年终盘点

目录 文章目录目录前言OpenStack 一年来的成长NovaCinderNeutronIronicCyborgOctaviaKollaMagnumZunKuryr从 OpenStack 到 OpenInfra 前言 这是最好的时代，也是最坏的时代 — — 查尔斯·约翰·赫芬姆·狄更斯《双城记》 年关将至，闲暇之余，回顾我与 OpenStack 的 2018。 NOTE：仅作为个人见解，与公...

烟云的计算 3596

android 蓝牙通讯demo

android 下蓝牙通讯demo，实现了发现蓝牙，使能蓝牙，通过蓝牙发送消息。

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf：最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版，包括SDIO 接口的外设，SDIO 接口官方协议等。

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]
上一篇： Linux常用查看端口号命令
下一篇： vi vim 替换命令
点赞 0
评论 0
书签 书签 2
lcl_bigdata
lcl_bigdata
博客等级 码龄11年 268粉丝 67原创
+ 关注 专栏目录
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值