Flume源码阅读记录(2)flume启动过程

SW_LCC SW_LCC 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 300+累计阅读 309平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄11年
关注
原创 最新推荐文章于 2026-09-07 16:53:23 发布 309 阅读 AI 写同款· GEO 优化 ›
flume 注册 windows 服务 虽然生产环境下 flume 一般都在linux中运行，但是总会有些特殊情况要在 windows server 中使用 flume。但是楼主在 google、bing、baidu找了一通也没有比较好的方案，于是只能自已造轮子了。 思路： 既然 flume 是 java 项目，那么最终还是通过 java.exe 运行，那么只要找到这条命令，就有办法注册成服务。   分析： 先看 bin\fl... 阅读详情

flume-ng 启动

当flume配置好后，使用 bin/flume-ng agent -n agent -c conf -f conf/flume-demo.conf -Dflume.root.logger=INFO,console ，即可利用flume-ng脚本以及传入的各参数启动flume服务。

flume-ng脚本

在这里插入图片描述
在这里注意，FLUME_AGENT_CLASS=“org.apache.flume.node.Application”
在这里插入图片描述
run_flume()函数，启动FLUME进程。
在这里插入图片描述
add_hadoop_paths
add_hbase_paths
add_hive_paths
引入当前flume所在机器环境上的hadoop,hbase,hive的lib包。

在这里插入图片描述
以上是各类启动参数。
在这里插入图片描述
当启动命令里用了avro-client时，则可看出程序入口类是
org.apache.flume.client.avro.AvroCLIClient
当没有使用avro-client
则flume程序的入口类是
org.apache.flume.node.Application

收录于
flume

当前文章被收录于：

flume
12 篇文章 1 人学习
订阅专栏 查看详情
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
奇安信大数据岗面试复盘：技术栈准备与场景设计题全解析 大数据技术栈的掌握程度，往往决定了面试的深度与广度。从Hadoop生态到实时计算引擎，再从数据仓库分层到集群部署策略，每一环节都考验着工程师对底层原理的理解。在安全场景下，海量日志数据的实时处理与威胁分析，对数据采集、消息队列、计算框架提出了更高要求，数据一致性、数据倾斜、反压机制等难题也成了面试中的高频追问。无论是HDFS读写流程、MapReduce Shuffle细节，还是Spark任务调度与Kafka分区策略，都需要体系化的知识图谱支撑。本文以奇安信大数据岗的完整面试流程为例，拆解技术准备要点、真实面 阅读详情

相关推荐

网易大数据校招笔试题解析：核心考点与备考策略

在大数据技术快速演进的背景下，分布式存储与计算框架已成为数据工程师的必备技能。HDFS的读写机制、MapReduce的Shuffle过程、Spark的DAG调度与宽窄依赖，共同构成了理解数据流水线的核心原理。掌握这些底层机制，不仅有助于应对技术面试，更能指导实际工程中进行性能调优与架构选型。从日志采集到离线数仓分层，再到实时消息管道，大数据组件在电商、互联网等领域应用广泛。针对大厂校招，系统梳理高频考点、易错概念与答题思路，是高效备考的关键路径。本文以网易2018校招大数据开发工程师笔试卷为例，拆解试题背后

weixin_33851604的博客 339

Windows配置并运行Flume的教程

项目介绍 Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 数据收集 Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 。Flu...

★【World Of Moshow 郑锴】★ 1万+

保姆级教程：用GEE（Google Earth Engine）复现CASA模型计算NPP，附完整数据集清单与Python代码

本文提供了一份详细的保姆级教程，指导如何使用GEE（Google Earth Engine）复现CASA模型计算NPP（净初级生产力）。教程涵盖环境准备、关键数据集获取与处理、Python代码实现全流程，以及结果验证与常见问题解决方案，帮助生态学研究者高效完成NPP计算。

weixin_28707365的博客 334

01. apache flume 启动入口【小明同学】

Flume NG 代码地址，我们把代码clone下来以后就会发现，工程里集成了很多的模块，那该如何下手？ 阅读官网的手册 官方手册 这里不再翻译，我们来看重点 start手册步骤中第五步： Configure and Run Flume NG After you’ve configured Flume NG (see below), you can run it with the bin/flume-ng executable. This script has a number of arg

u011046509的博客 490

SAP中错记虚拟利润中心的调整，冲销处理实例

我非CO专业顾问。工作中遇到的问题，也会找资料，分析，测试。有时这个过程会拿到结果，解决问题。遂将过程记录下来备查。读者请谨慎参考！EC-PCA: 利润中心记账流程_9ke0-优快云博客。

专注SAP应用技术文章写作，致力于拉近用户与系统间的距离； 1795

MIPI DSI2接口开发避坑指南：以RK3576的GM8775C桥接芯片调试为例

本文以RK3576平台搭配GM8775C桥接芯片为例，深入剖析MIPI DSI2接口开发中的常见问题与解决方案。文章详细解读了从U-Boot阶段到内核DRM驱动架构的完整显示通路构建，重点分享了电源时序管理、寄存器配置与硬件协同调试等实战经验，为嵌入式显示系统开发者提供了一套系统化的避坑指南和调试方**。

weixin_29290379的博客 328

flume启动报错 Could not find or load main class org.apache.flume.node.Application

修改flume的文件夹名称后，启动flume可能会失败，错误信息如下： Error: Could not find or load main class org.apache.flume.node.Application 这个是因为环境变量的问题。 export看一下是不是有个FLUME_HOME的环境变量指向原来的文件夹， 如果是的话： unset FLUME_HOME 就行了...

十色花的博客 7427

主流算力卡性能对比分析

超大规模AI训练/HPC：优先选择NVIDIA H100或AMD MI300X，需关注显存带宽和多卡互联能力。企业级AI训练：NVIDIA A100性价比更高，生态成熟。国内自主可控需求：华为昇腾910B是首选，支持液冷和低功耗设计。本地AI推理/游戏：NVIDIA RTX 4090或RTX 5090性价比突出，但需注意显存容量限制。边缘计算/低功耗场景：华为昇腾310或清微智能TX536（能效比6.3TOPS/W@INT8）更合适。

m0_69867914的博客 7796

在ubantu中的Flume的安装、启动和测试

sudo tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local # 将apache-flume-1.7.0-bin.tar.gz解压到/usr/local目录下，这里一定要加上-C否则会出现归档找不到的错误 sudo mv ./apache-flume-1.7.0-bin ./flume #将解压的文件修改名字为flume，简化操作 sudo chown -R hadoop:hadoop ./flume #把/usr/local/flume目录

weixin_47401182的博客 1999

别再只抄代码了！深入理解MQ2传感器数据手册，搞定ppm换算公式

本文深入解析MQ2烟雾传感器的工作原理与ppm换算公式，从数据手册解读到数学建模，提供详细的校准与优化方法。通过实际案例和代码示例，帮助开发者准确测量气体浓度，解决常见问题，提升传感器应用的可靠性。

weixin_42713608的博客 504

手把手教你用scRNA-seq和scTCR-seq分析CD8⁺ T细胞在免疫治疗中的动态变化

本文详细介绍了如何整合单细胞RNA测序（scRNA-seq）与单细胞TCR测序（scTCR-seq）技术，深入解析CD8⁺ T细胞在癌症免疫治疗中的动态变化。通过从数据预处理、细胞亚群鉴定到TCR克隆追踪的完整分析流程，揭示了T细胞的功能状态转变与克隆演化规律，为理解免疫应答机制和开发精准治疗策略提供了关键方法学指导。

p8q9r0的博客 566

flume源码阅读-总体介绍

flume源码阅读之总体介绍 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume官网地址: Flume ， 源代码地址:source为什么读flume源代码 为什么要去读flume的源码，最近公司的

Norman_Li的技术点滴 809

OpenClaw实战五｜企业文档AI助理：对接内部知识库+自动答疑+文档生成，员工自助查资料零等待

企业最大的隐性成本，不是设备、不是房租，而是内部知识的混乱与流失。OpenClaw企业文档AI助理，本质是给企业做了一个7×24小时在线、永不疲倦、精准无误、自动更新的内部知识管家。它不替代HR、行政、IT，而是把他们从无穷无尽的重复问答、机械文档编写里解放出来，去做更有价值的管理、服务、优化工作。对中小企业来说，不用买昂贵的知识库系统、不用招开发、不用做复杂集成，一台私有化服务器，两天就能落地，性价比拉满。

专注于Python爬虫开发，分享爬虫技巧、项目实战与反爬经验，使用Scrapy、BeautifulSoup等工具，解决数据抓取难题。 144

Flume源码阅读记录（1）flume介绍

Flume简介 Flume 是 Cloudera 提供的日志收集系统， 使用java语言编写，具有分布式、 高可靠、高可用性等特点， 适用于大数据的数据收集，聚合转换和传输。 Flume 支持在组件式配置，用户可以根据不同的应用场景部署各个组件。组件可以使用官方提供的，也可以使用用户自己二次开发的。 Flume架构 Flume的核心为Agent，每个Agent是一套完成的数据传输工具，完成数据的接...

SW_LCC的博客 612

FPGA实现DDR接口

verilog// DDR2控制器状态机// 初始化序列// 发出初始化命令endendendend// 自动预充电end// 其他状态...endcaseendend。

whm128的博客 998

WINCC7.3破解文件

WINCC7.3硬件够破解文件，有需要的下载！WINCC7.3硬件够破解文件，有需要的下载！

Flume源码阅读记录（3）flume启动组件Application代码分析

public class Application { private static final Logger logger = LoggerFactory .getLogger(Application.class); public static final String CONF_MONITOR_CLASS = "flume.monitoring.type"; pub...

SW_LCC的博客 384

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册，内含HL7和ASTM)

flume远程调试

研究flume有一段时间了，不过在对其源码进行修改时，每次都是将修改的代码上传到服务器，然后重启，特别麻烦及浪费时间。前段时间组长告诉我可以远程调试flume源码，这样无论对于阅读源码或是开发都是十分方便的，当时上网上找了一下教程，感觉很简单，也调通了，不过后面也没用。最近需要研读源码了，感觉特别的吃力，才想到可以利用debug模式去看。所以，就将配置过程及踩的坑记录一下。 首先下载flume源...

九天的博客 662

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能：商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传，基本资料下载，开钱箱、小票打印、收款结算，支持多币种付款方式（现金、储值卡、礼券、微信等）,支持多种促销。运行环境：.net 4.0登陆信息用户名:1001 密码:123456内置商品信息，商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox（带书签），MATLAB统计学习工具

flume 1.9 源码阅读(四) Source配置

上一篇文章最后说到了AgentConfiguration这个类，他是flume配置文件中最核心的东西。我们先放一放看一下flume配置文件到底都有哪些东西然后回头再来看这个类以及sources、channels、sinks等组件是如何实例化的。 从官网上扒下来的一些资料： AvroSource 属性名称 默认值 描述 channels - sources要连接的channels ...

Cynric的专栏 1950

Flume拦截器初始化异常造成数据丢失

最近公司对老服务器进行退役，需要将Flume服务迁移至新服，在迁移过程中有一条链路因为拦截器初始化失败造成数据丢失。按推理Flume具有事务性，应该不会造成数据丢失，对此问题进行了排查，记录一下。 查阅资料的过程中flume【源码分析】分析Flume的启动过程文章给我提供了莫大的帮助，感谢大佬。 Flume具有事务性为什么会造成数据丢失？ 背景描述：Flume迁移至新服务后，由于自定义拦截器初始化失败（因为需要使用到其他环境，未配置白名单），于是我停止异常的拦截器，解决问题后对拦截器进行重启，第二天就.

IT成长记 1322

Flume-NG(1.5版本)中SpillableMemoryChannel源码级分析

　　SpillableMemoryChannel是1.5版本新增的一个channel。这个channel优先将evnet放在内存中，一旦内存达到设定的容量就使用file channel写入磁盘。然后读的时候会按照顺序读取：会通过一个DrainOrderQueue来保证不管是内存中的还是溢出(本文的“溢出”指的是内存channel已满，需要使用file channel存储数据)文件中的顺序。这个Ch...

weixin_30446613的博客 175

搭建Hadoop集群（二）

文章目录1. 搭建HA的Hadoop集群1. 创建另外两个虚拟机2. 配置集群ssh免密码登录 【Task 2】搭建Hadoop集群（3day） 搭建HA的Hadoop集群并验证，3节点(1主2从)，理解HA/Federation,并截图记录搭建过程 阅读Google三大论文，并总结 Hadoop的作用（解决了什么问题）/运行模式/基础组件及架构 学会阅读HDFS源码，并自己阅读一段HDFS的源...

dzysunshine的博客 470

计算机毕业设计Hadoop+Hive+PySpark小说推荐系统 小说可视化 小说爬虫(源码+文档+PPT+详细讲解)

本文介绍了一个基于Hadoop+Hive+PySpark技术栈的小说推荐系统。系统采用分层架构，包含数据采集层（Flume/Kafka/Scrapy）、存储层（HDFS/Hive/Redis）、计算层（PySpark批处理和流处理）、推荐引擎层（ALS协同过滤和Wide&Deep混合模型）以及应用层（Flask RESTful API）。通过分布式计算和混合推荐算法，系统实现了25%的推荐准确率提升，40%的冷启动问题缓解率，并能处理日均10亿级用户行为日志。系统已在某小说平台部署，使推荐点击率从1

全网计算机/大数据辅导(自媒体)道祖第一人、全网粉丝100W+,专注于大学生项目实战开发,讲解,毕业答疑辅导,高校老师/讲师/同行合作。以及产品测评宣传、工具推广等合作。同时招收学生代理、校园代理。 1236

大数据开发学习笔记汇总篇

本文介绍了大数据开发各个框架的学习笔记，包括Hadoop、spark、kafka、clickhouse、hbase、hive、flink、airflow、zookeeper、flume等，未完待续

WHY的博客 576

大数据竞赛管理系统源码解析：SSM+Hadoop实战

在数字化办赛需求日益增长的今天，竞赛管理系统的核心在于将报名、评审、成绩发布等流程线上化，并沉淀为可分析的数据资产。传统Java Web项目常以SSM（Spring+Spring MVC+MyBatis）与MySQL搭建业务骨架，而面对用户行为数据，则可引入Hadoop生态的MapReduce与Hive进行离线分析，实现竞赛热度统计、用户活跃时段挖掘等实用功能。这类技术组合既保证了业务系统的稳定，又赋予数据洞察价值，在校园竞赛、企业技能大赛等场景中有着广泛落地空间。本文将从项目架构、核心业务流转、大数据分析

weixin_34178244的博客 96
上一篇： Flume源码阅读记录（1）flume介绍
下一篇： Flume源码阅读记录（3）flume启动组件Application代码分析
点赞 0
评论 0
书签 书签 0
SW_LCC
SW_LCC
博客等级 码龄11年 4粉丝 114原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值