Flume
关注
分享
扫一扫
Flume技术
吴香香
忠于你热爱的一切
展开
-
用 hadoop + flume + sqoop + mysql + hive 搭建的项目 ？？？ 记录一下流程
我之前hadoop的环境都配好了今天主要配置其他几种第一步是flume的环境，这个直接解压压缩包，编辑一个conf文件主要的功能，是监听一个目录，当此目录有数据或者文件发生变化时候，就记录然后通过sink发送到另外一台虚拟机的hdfs这样我另外一台虚拟机的hdfs上面就有数据了第二步是hive的环境，这个也是直接解压，进入bin目录就能启动当我在另外一个...原创 2019-08-19 17:37:00 · 239 阅读 · 0 评论 -
Flume 的intercept 拦截器 ？？？？
1.概述Flume有能力在运行阶段修改/删除Event，这是通过拦截器（Interceptors）来实现的。拦截器需要实现org.apache.flume.interceptor.Interceptor接口。拦截器可以修改或删除事件基于开发者在选择器中选择的任何条件。拦截器采用了责任链模式，多个拦截器可以按指定顺序拦截。一个拦截器返回的事件列表被传递给链中的下一个拦截...原创 2019-08-30 10:26:00 · 116 阅读 · 0 评论 -
收集日志 ----＞ Flume的日志服务器 ---＞ Flume的中心服务器 ---＞ 将数据存到HDFS
遇到的问题：书写问题，一定要写仔细了hadoop集群的名称，flume服务器上一定要有hadoop环境变量，没有的话，要将hadoop目录下的所有配置文件 拷贝到flume的conf目录下最后遇到的问题是，Unable to load native-hadoop library for your platform... using builtin-java classes...原创 2019-08-31 12:15:00 · 198 阅读 · 0 评论