flume流（三）如何用flume流从本地传输文件到hdfs？

最新推荐文章于 2024-04-19 14:56:12 发布
原创 最新推荐文章于 2024-04-19 14:56:12 发布 · 2.1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何使用Flume流将本地的law_utf8.csv文件传输到HDFS。首先创建/flume_data/2014目录并放置文件，接着配置local2hdfs.properties，然后在Flume的bin目录下启动服务，通过配置的spoolDir和hdfs.path等参数，将文件传输到指定的HDFS路径下。最终在HDFS中，文件以lawdata_开头，目录结构按年月组织。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

flume流有三篇文章

一、flume流是什么？.properties文件内部应该怎么写？

二、如何在hadoop集群中安装flume流？

三、如何用流从本地传输文件到hdfs？？


本篇讲解如何用流从本地传输文件到hdfs？？



1.新建/flume_data目录，在该目录下新建名为2014的文件夹，将law_utf8.csv文件放入flume_demo中，与2014文件夹同级


      

     ps. 管道传输（flume流传输）完后，传输的数据文件会变成以.COMPLETED后缀结尾
     文件本为.csv结尾，如右所示：


2.上传配置文件 local2hdfs.properties到Linux本地的 /root/flume_demo路径下（如下图），在3. 运

最低0.47元/天 解锁文章

200万优质内容无限畅学
flume监听数据并上传到HDFS上
m0_60431736的博客
09-21 1388
flume监听数据到hdfs
大数据之使用Flume监听本地文件采集数据流到HDFS
2301_78038072的博客
01-09 1296
编写新的Flume配置文件，将数据备份到HDFS目录/user/test/flumebackup下，要求所有主题的数据使用同一个Flume配置文件完成，将Flume的配置截图粘贴至对应报告中。-Dflume.root.logger=INFO,console 打印输出在控制台上。进入/data_log路径运行脚本make_data_file_v1产生数据源。
通过Flume 将本地数据上传到Hdfs文件上
weixin_30635053的博客
10-31 855
下载apache flume ：apache-flume-1.7.0-bin.tar.gz 配置环境变量： 1、vi flume-env.sh export JAVA_HOME=/usr/java/default export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.10.0 2、flume-conf.properties # Name the com...
flume传数据到hdfs
wen‘s blog
07-02 5941
背景：flume可以实时的收集文件并传到hdfs上，它是一个高可靠的，分布式的海量日志采集、聚合和传输的系统。它可实现流式处理。自动故障转移。1.首先安装好flume，因为是flume用java写的，所以要配置下jdk2.运行时只要写好配置文件，agent.conf,然后用命令运行就行了flume有三个组件source、channel、sink在agent.conf里需要配置好这3个组件。他们的作...
hive中控制map和reduce数量的简单实现方法
热门推荐
Dino系我的专栏
03-06 4万+
通过mapred.max.split.size等参数控制hive中的map个数进行资源控制
【Flume】Flume实践之采集网站日志上传至HDFS
ccql's Blog
02-06 1615
将机器A（bigData02）和机器B（bigData03）两台机器实时产生的日志数据汇总到机器C（bigData04）中，再通过机器C（bigData04）将数据统一上传至HDFS的指定目录中。因为一台机器可以有多个ip，例如：内网ip、外网ip，如果通过bind参数指定某一个ip的话，表示就只监听通过这个ip发送过来的数据了，这样会有局限性，所以使用通用ip。一共涉及到三个机器，其中机器A和B收集网站信息，并发送给机器C汇总传输到HDFS，因此需要配置三台机器，机器A和B的配置基本相同。
flume 搭建 实时读取本地文件到HDFS
qq_50285389的博客
07-12 544
本章以Hadoop1.6.0为例： 1、解压 apache-flume-1.6.0-bin.tar.gz 至 /usr/local/src 并改名为flume-1.6.0（根据自己喜好） tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /usr/local/src # 进入/usr/local/src目录 mv apache-flume-1.6.0-bin.tar.gz /usr/local/src/flume-1.6.0 2、修改/usr/local/src
二百三十三、Flume——Flume采集JSON文件到Kafka，再用Flume采集Kafka数据到HDFS中
最新发布
tiantang2renjian的博客
04-19 1652
Flume采集JSON文件到Kafka，再用Flume采集Kafka数据到HDFS中
Flume传输Nginx日志到HDFS
01-20
Flume：1.8.0（与Nginx部署在一起） 一、Nginx编译安装 1、官网下载.tar.gz文件，上传至linux服务器 http://nginx.org/en/download.html（建议下载Stable version） 2、解压nginx tar -zxvf nginx-14.0.tar.gz -C /...
Windows上的flume采集数据传给服务器flume再上传给HDFS
L120336709的博客
04-29 1230
@flume从Windows采集数据传给服务器flume再上传给HDFS 从该博主学习到具体方法配置 Windows flume conf 文件: a1.sources = r1 a1.sinks = k1 a1.channels = c1 Describe/configure the source a1.sources.r1.type = spooldir a1.sources.r1.chann...
Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
03-08
自己研究大数据多年，写的一个日志数据采集方案笔记，可快速熟悉Flume，Kafka，Hdfs的操作使用，以及相互的操作接口。
【Flume】Flume实践之采集文件内容上传至HDFS
ccql's Blog
02-03 4261
要完成这个任务就需要使用在采集数据时使用Spooling Directory Source组件；传输数据时为了保证数据没有丢失风险，使用File Channel组件；在运行Flume之前应该先检查建立采集数据的文件夹和文件，且系统此时直接启动会报错提示找不到SequenceFile，虽然我们已经把fileType改为了DataStream，但是Flume默认还是会加载这个类。Flume各个组件的参数很多，因此通常复制官网的各组件样例程序并参照参数表进行修改。解决了这个问题后，在。
大数据编程技术基础实验八：Flume实验——文件数据Flume至HDFS
北天的博客
10-28 4256
大数据技术基础实验八，学习安装部署Flume并将写入Flume的文件数据上传至HDFS。
Flume实时读取本地/目录文件到HDFS
Morse_Chen的博客
01-08 2149
本篇文章介绍如何使用Flume实时读取本地/目录文件到HDFS上。
数据迁移工具之Flume
m0_43405302的博客
03-04 964
一、Flume Flume 是Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。 1、Flume的架构 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-puWFE5f8-1645613325525)(.\Flume\Flume架构.jpg)] 1.Agent Agent是一个JVM进程，它是以事件的形式将数据从源头送至目的。它
Flume：本地文件到HDFS
辉哥大数据
04-15 3278
Flume下载地址apache-flume-1.6.0-bin.tar.gz http://pan.baidu.com/s/1o81nR8e s832apache-flume-1.5.2-bin.tar.gz http://pan.baidu.com/s/1bp6tXVL 4n4z官网 https://flume.apache.org/download.html 配置文件 cd /usr/app
Flume-事务与传输流程
weixin_30596735的博客
09-24 373
一、Flume 事务 流程图 Put 事务流程 doPut：将批数据先写入临时缓冲区 putList doCommit：检查 channel 内存队列是否足够合并 doRollback：channel 内存队列空间不足，回滚数据 Take 事务流程 doTake：将数据取到临时缓冲区 takeList，并将数据发送到 HDFS doCommit：如果数据全部发送成功，...
spark分析法律服务网站数据
不会倒下的白岩松
11-30 1887
spark法律服务数据分析
通过flume实现将csv文件插入hive，或者放到hdfs中
mmdxbdz的博客
01-02 1998
最近开始接触hive，很粗糙的记录下踩过坑，欢迎大牛交流及指正 一：hive的安装及配置修改 1，修改 hive-site.xml文件中的avax.jdo.option.ConnectionURL项， 加入用mysql就配置mysql的连接地址例如jdbc:mysql://127.0.0.1:13306/hive?createDatabaseIfNotExist=true 这里一定要注意这个hiv...
Flume采集数据到Kafka，然后从Kafka存储到HDFS的实践指南
下面是使用Flume采集数据到Kafka，然后从Kafka取数据存储到HDFS的方法思路和完整步骤。 一、Flume安装和配置 1.1 安装Flume 首先，需要下载Flume的安装包，然后解压缩安装包。可以使用以下命令解压缩： tar -...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值