Flume
关注
分享
扫一扫
Flume学习历程与使用经验
疯狂呼呼呼
小鸟也有梦想
展开
-
Flume 概述 & 架构 & 组件介绍
01-前置Sqoop的作用： RDBMS <==> Hadoop (关系型数据库与Hadoop生态圈中的存储框架，结合Sqoop做导入导出操作)在生产环境上，数据库中的文件是一部分，除此之外的文件与日志才是大头、对我们而言是十分重要的，但是会有如下的问题：文件与日志是无法用Sqoop进行操作的通常日志采集框架有：Flume、Logstash、Beat(这3个都可...原创 2018-06-03 20:51:29 · 2193 阅读 · 0 评论 -
Flume使用入门 & 入门Demo
Flume系列文章： Flume 概述 & 架构 & 组件介绍在本篇文章中，将介绍Flume的使用使用Flume & 入门案例查看使用帮助$>cd $FLUME_HOME/bin查看使用的帮助，会打印相关的命令指示，从而来帮助我们知道如何进行使用：$>./flume-ng列举出来的都是常用的，不常用的没有写在下面：Usa...原创 2018-06-10 14:23:05 · 2110 阅读 · 0 评论 -
Flume收集log到HDFS（雏形）
Flume系列文章： Flume 概述 & 架构 & 组件介绍 Flume 使用入门 & 入门Demo在本篇文章中，将继续介绍Flume的使用Flume的使用场景监控某个文件，并把新增的内容输出到HDFS(这是离线处理的典型的一个场景) Agent的技术选型，该如何选择？在这里我们的选择如下：exec sourcememory channel...原创 2018-07-22 00:28:45 · 1819 阅读 · 0 评论 -
Flume收集log到HDFS（优化）
Flume系列文章： Flume 概述 & 架构 & 组件介绍 Flume 使用入门 & 入门Demo Flume收集log到HDFS（雏形）在本篇文章中，将针对上篇文章所提出的问题：Flume收集过来的文件过小，进行解决问题改进由于文件过小，我们就不能这样干，需要做一定程度的改进 官网：hdfs-sink配置有关参数：hdfs.rollInte...原创 2018-08-17 01:00:49 · 2582 阅读 · 0 评论 -
Flume对接Spark Streaming的2种方式
只需要了解一下即可，Flume直接对接Spark Streaming是很少见的 官网：http://spark.apache.org/docs/latest/streaming-flume-integration.html 官网有详细的介绍，可以通过官网进行操作Approach 1: Flume-style Push-based Approach 基于Push的...原创 2018-03-10 23:52:18 · 3620 阅读 · 2 评论