手动编译flume

最新推荐文章于 2024-03-21 18:20:23 发布
最新推荐文章于 2024-03-21 18:20:23 发布
阅读量1.6k 收藏
点赞数 2
CC 4.0 BY-SA版权
分类专栏： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yeruby/article/details/50751927
本文介绍如何下载并编译 Apache Flume 1.6.0 的源码，解决在 Windows 环境下使用 Maven 编译过程中遇到的问题，并提供了解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

版本：1.6.0

源码下载地址：http://www.apache.org/dyn/closer.lua/flume/1.6.0/apache-flume-1.6.0-src.tar.gz

windows解压到C盘下：

进入C:\apache-flume-1.6.0-src，运行：

mvn install -DskipTests -Dtar

遇到如下错误：
这里写图片描述

在flume源码的pom.xml下加个repository：

    <repository>
      <id>p2.jfrog.org</id>
      <url>http://p2.jfrog.org/libs-releases</url>
    </repository>

这里写图片描述

最后到apache-flume-1.6.0-src\flume-ng-dist\target 目录下：

这里写图片描述

使用apache-flume-1.6.0-bin.tar.gz 即可，OK！

flume+kafka集群解决某著名联锁大型超市超过25年POS线下收单系统变实时系统的典型案例
打造全国最全的AI Agent开发知识领域的博客
10-04 1142
这是一篇流批一体技术在国内某大型超市全国300家店以及全球总部的实际落地的案例。如何无痛的给一个25年+有着上千家超市的线下POS系统赋能使得其订单、促销、变价可以实时化？我们正是使用了流批一体的架构去进行的改造。在我们完成了这种无痛的改造并把原来一笔订单从生成到落回总部主数据需要t+1天变成1秒内后在业内做了分享，该方案还被其它3家超级百货集团（规模都在：超百家门店、上千个POS）所学习和取经，而这个方案至今被其它几家超级百货集团延用至今。
Flume 1.7 源码分析（一）源码编译
Lnho的专栏
02-26 4904
1 说明Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，目前已经是Apache的一个子项目。Flume是一个专用工具被设计为旨在往HDFS、HBase发送数据。它对HDFS有特殊的优化，并且集成了Hadoop的安全特性。本文将详细分析Flume核心模块的源码实现。2 下载、编译2.1 源码检出Flume源码的git地址是：https://git-w
flume 1.8所有源代码 编译通过版 附 maven3.5.2 安装包
08-23
flume 1.8所有源代码 编译通过版 附 maven3.5.2 安装包 解压配置maven，利用命令行进行编译，导入eclipse，可用于源代码查看，搭建flume远程测试环境
手动编译Flume
weixin_34060741的博客
07-08 107
手动编译Flume 1、源码下载： 我用的是1.6版，因为加了kafka-sink，下载地址 http://www.apache.org/dyn/closer.cgi/flume/1.6.0/apache-flume-1.6.0-src.tar.gz 2、解压缩至C盘根目录下 建议放到这个目录下，其他目录并不能保证通过。 ...
flume 编译
安静的码农
03-15 672
flume 笔记 源码编译 下载源码 https://github.com/apache/flume/tree/release-1.7.0 编译 mvn install -Dmaven.test.skip=true 重要事情说三遍 一定要开代理，否则很难编译通过 一定要开代理，否则很难编译通过 一定要开代理，否则很难编译通过 编译包位置 apache-flume-1.7.0-src\flume...
Flume简介&源码编译
懒虫一个V
08-24 1337
Flume简介Flume OG:Flume original generation， 即Flume 0.9.x版本 Flume NG:Flume next generation ，即Flume 1.x版本现在一般叫flume-ng，也是使用最为广泛的0.9.x的架构Agent用于采集数据，agent是flume中产生数据流的地方，同时，agent会将产生的数据流传输到collector。对应的，c
flume1.6.0源码编译
丹凤朝阳
03-03 2490
1.下载flume源码 http://mirrors.hust.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-src.tar.gz 2.解压到本地 3.注释掉hbase和hadoo的测试代码（如果在编译过程中不报错可以不注释）         org.apache.hbase         hbase         ${hbase
Flume-HDFS-驱动-jar包
05-31
Flume可能与某个Hadoop版本预编译的JAR不匹配，因此需要确保使用的Hadoop JAR与Flume版本兼容。通常，这些JAR文件包括了Hadoop的客户端库，如`hadoop-client`, `hadoop-common`, `hadoop-hdfs`, `hadoop-auth`等，...
0-Flume（1.11.0版本）在Linux（Centos7.9版本）的安装（含Flume的安装包）
m0_73450879的博客
03-21 960
需要注意的是，从Flume1.10.0版本开始，Flume将log4j 1.x替换为了log4j 2.x，因此导致输出数据的时候，默认是将数据写到。Flume本身是由Java开发的，所以需要服务器上安装好JDK1.8（注意区分Linux还是Windows系统的JDk）。一些官网和github上给的是源码，需要自己根据自己的操作系统手动编译为软件，较为复杂。文件中，但是学习过程中，希望数据能够直观展现(打印到控制台上)，所以需要修改配置。#首先确认自己的Linux是Centos版本，运行命令。
大数据：Flume和Sqoop
Xiao Miao的博客
05-12 2387
离线数据采集工具Sqoop和实时数据采集工具Flume
flume kafka hive spark flink笔记
weixin_60164612的博客
09-27 1387
根据其部署模式的不同，可以分为local，standalone，yarn，mesos等模式。Impala和Hive采用相同的SQL语法、ODBC驱动程序和用户接口，可统一部署Hive和Impala等分析工具，同时支持批处理和实时查询。在远程模式下，所有的Hive客户端都将打开一个到元数据服务器的连接，该服务器依次查询元数据，元数据服务器和客户端之间使用Thrift协议通信。Hive支持三种不同的元存储服务器，分别为：内嵌式元存储服务器、本地元存储服务器、远程元存储服务器，每种存储方式使用不同的配置参数。
如何编译及运行flume源码
zhujianlin1990的专栏
02-17 4698
一、从源码开始编译 1、github(https://github.com/apache/flume)上fork分支，下载到本地 2、编译 mvn clean package -DskipTests=true  ，要求JDK7及以上版本，maven3及以上版本 编译过程中，可能有很多jar下载不了，建议用google搜索，相应的jar，下载到本地仓库(本人反复下载缺失jar，拷贝到maven
flume源码编译/拦截器分析（一）
weixin_34335458的博客
01-11 215
为什么80%的码农都做不了架构师？>>> ...
Flume 1.6.0 源码编译问题总结
jsky_studio的专栏
06-14 1657
简言之： $ cd apache-flume-1.6.0 $ mvn compile     $ mvn install               ======>  打包出jar包 编译Flume最大的问题是不管默认的maven repository还是oschina之类的国内镜像，编译下载依赖的速度都跟蜗牛一样，严重影响效率。 后来查找资料，找到一个下载速度非常不错的r
Flume源码编译、打包、修改Taildir Source支持递归
边看边学
04-09 900
为什么要编译源码？ 修改各组件版本，为了跟生产上其他组件版本匹配 bug修复 新特性的增加 二次开发 flume源码编译 编译方式：IDEA + MAVEN 编译版本：flume-ng-1.6.0-cdh5.15.1-src 编译注意事项： 带cdh标志的部分jar包国内不方便下载，可以借助阿里云的香港云主机下载后拷贝到本地。 在flume-ng-sinks下的pom.xml中找到fl...
Flume - 重新编译源码
iteye_14970的博客
08-31 579
Flume是一个分布式日志收集系统系统，具体的后面的文章会详细介绍。因为在使用Flame的过程中自定义了一些功能，所以需求重新打包，本篇只讲述如果编译，打包，导入eclipse阅读源码。 编译过程中遇到些问题，网上找了好多资料，都无法解决。记录下来，希望能对需要的人有所帮助。 1，通过git下载源码，最新版本是1.7.0，我编译的是1.7.0的快照版本 地址：https://git...
flume重新编译打包
lym2088的博客
03-09 2004
flume很好用开源实时采集器，最新版的1.7版本加入了Taildir Source模块，支持多文件，文件夹数据变化动态监听，断点续传，也是1.7最重要的一个特性。 由于公司诸多限制需要对flume部分模块进行改造，重新打包使用。 PS：This version of Flume no longer supports Older Versions (0.8.x) of Kafka. 最新版1.
Flume1.7 源码编译
u011739062的博客
01-30 434
ua-parser-1.3.0问题 直接下载https://github.com/tobie/ua-parser/源码 直接编译ua-parser-1.3.0.jar上传自己公司仓库 dependency> groupId>ua_parsergroupId> artifactId>ua-parserartifactId> version>1.3.0version> d
flume-ng-1.6.0-cdh5.12.2 源码编译
夜的博客
10-21 477
安装包 flume-ng-1.6.0-cdh5.12.2-src.tar.gz 源码编译 # 解压进入跟目录 tar -zxvf flume-ng-1.6.0-cdh5.12.2-src.tar.gz cd flume-ng-1.6.0-cdh5.12.2 mvn clean package -DskipTests # 等待编译完成 # 在 flume-ng-dist/target 获取...
爬虫对接flume和hdfs
最新发布
06-13
### 如何使用Flume将爬虫数据写入HDFS Flume 是一个分布式、可靠且高可用的日志采集与聚合系统，能够实时地将数据从各种来源传输到 HDFS 等目标存储中[^1]。以下内容详细说明了如何配置 Flume 将爬虫数据写入 HDFS。 #### 配置 Flume 以支持爬虫数据写入 HDFS 1. **安装与环境准备** 在开始之前，确保已经正确安装并配置了 Flume、Hadoop 和 HDFS。同时，需要将编译好的自定义 jar 包放置到 FLUME_HOME/lib 目录下[^3]。 2. **创建 Flume 配置文件** 配置文件是 Flume 的核心部分，用于定义数据源（source）、通道（channel）和接收器（sink）。以下是一个示例配置文件 `flume.conf`： ```properties # 定义 agent 名称 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 配置 source (r1) a1.sources.r1.type = exec a1.sources.r1.command = python /path/to/spider.py # 配置 channel (c1) a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # 配置 sink (k1) a1.sinks.k1.type = hdfs a1.sinks.k1.hdfs.path = hdfs://hdp1:9000/user/flume/ a1.sinks.k1.hdfs.fileType = DataStream a1.sinks.k1.hdfs.writeFormat = Text a1.sinks.k1.hdfs.rollInterval = 30 a1.sinks.k1.hdfs.rollSize = 0 a1.sinks.k1.hdfs.rollCount = 0 # 绑定 source 和 sink 到 channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 ``` - `a1.sources.r1.type = exec` 表示通过执行命令的方式获取数据，这里可以运行爬虫脚本。 - `a1.sinks.k1.type = hdfs` 表示数据将被写入 HDFS。 - `a1.sinks.k1.hdfs.path` 指定了 HDFS 中的数据存储路径。 3. **启动 Flume Agent** 使用以下命令启动 Flume Agent，确保后台运行并将日志输出重定向： ```bash nohup bin/flume-ng agent -n a1 -c conf -f conf/flume.conf >/dev/null 2>&1 & ``` 这里的 `-n a1` 表示使用名为 `a1` 的 agent，`-f conf/flume.conf` 指定了配置文件路径[^2]。 4. **验证数据传输** 在 HDFS 中检查数据是否成功写入： ```bash hdfs dfs -ls /user/flume/ ``` 如果配置正确，应该可以看到由 Flume 创建的文件。 5. **优化与扩展** - 如果需要更高的可靠性，可以将内存通道替换为文件通道（file channel）。 - 可以通过调整 `rollInterval`、`rollSize` 和 `rollCount` 参数来控制文件滚动策略。 #### 示例代码：将本地文件上传至 HDFS 如果需要手动将爬虫生成的文件上传至 HDFS，可以参考以下 Java 代码片段[^4]： ```java package com.zpark.kafka; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; public class AccessTask { public static void main(String[] args) { URI uri = null; try { uri = new URI("hdfs://hdp1:9000"); Configuration conf = new Configuration(); conf.set("dfs.replication", "2"); conf.set("dfs.blocksize", "64m"); String user = "root"; FileSystem fs = FileSystem.get(uri, conf, user); Path src = new Path("/path/to/local/file.txt"); Path dst = new Path("/user/flume/uploaded_file.txt"); fs.copyFromLocalFile(src, dst); fs.close(); } catch (URISyntaxException | IOException | InterruptedException e) { e.printStackTrace(); } } } ``` 此代码实现了将本地文件上传至指定 HDFS 路径的功能。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值