
flume
爱晒太阳的猫丶
A STUDENT
展开
-
Flume监听端口
Flume概念及作用作用flume可以监听端口或者文件夹,对传输到此处的数据进行打印输出或上传hdfs等操作概念flume是Cloudera提供的一个基于流式系统高可用的、高可靠的分布式海量日志采集、聚合和传输系统组件AgentAgent是一个JVM进程,是flume传输的基本单元SourceSource是负责接收数据到Flume Agent的组件Chann...原创 2019-03-09 11:55:09 · 5538 阅读 · 0 评论 -
Flume监听文件并上传到hdfs
目标监听hive日志,并上传到hdfs中/flume/[YYMMDDHH]/目录下,文件前缀为logs-,每一个小时新建重新创建一个文件夹,每接收10M数据落地一次,当数据不足10M时15分钟落地一次导入相关依赖jar包导入以下jar包到flume路径下的lib里,{}里为相应版本,在hadoop路径下share/hadoop下都能找到,我就添加了一个剩下的在flume/lib下都已经...原创 2019-03-11 10:03:28 · 1872 阅读 · 0 评论 -
Flume理解笔记
前言学习几天flume后的一些浅层次的理解Flume组件再认识Sourcesource组件定义了数据的来源,也就是从哪里获取数据Channelchannel组件定义了数据获取到如何缓存Sinksink组件定义了把数据如何输出、输出到哪里感觉source和channel都很固定,sink则需要更多的配置,比如说输出到哪里,收集多久落地一次数据,收集多少数据落地一次...原创 2019-03-11 15:12:49 · 235 阅读 · 0 评论