
flume
千里风雪
个人比较喜欢打台球, 篮球, 跑步, 平时没事敲敲代码, 听听歌
展开
-
flume设计性能优化
目录业务场景:过程1(单flume):过程2(多个flume并行处理):过程3(多路复用(路由)模式):下面一个flume的配置,和selector.header的java代码介绍业务场景: 每五分钟会新生成一个2.4G左右的gz压缩文件,大概1680万条数据, 现在需要通过flume做数据的清洗,处理,然后写入kafka。服务器环境: 1台 3...原创 2019-11-05 16:43:56 · 968 阅读 · 2 评论 -
报错:Failed to start the file channel
flume Failed to start the file channel29 Oct 2019 11:48:18,348 ERROR [lifecycleSupervisor-1-0] (org.apache.flume.channel.file.Log.replay:502) - Failed to initialize Log on [channel=wangsu1Channel]...原创 2019-11-05 11:51:11 · 5458 阅读 · 2 评论 -
flume 基础入门
CDH相关的软件下载地址:http://archive.cloudera.com/cdh5/cdh/5/cdh-5.7.0生产或者测试环境选择对应CDH版本时,一定要采用尾号是一样的版本下载flume:lunx命令: wgethttp://archive.cloudera.com/cdh5/cdh/5/ flume-ng-1.6.0-cdh5.7.0.tar...原创 2019-06-20 13:21:38 · 155 阅读 · 0 评论