
flume
mn_kw
喜欢研究大数据组件技术,深入内核,后续会更新工作级别的解决方案
展开
-
flumes深入理解
配置flume1. 命名agent组件(代理)2. 描述配置source3. 描述配置channel4. 描述配置sink5. 绑定source和sink到channel agent(多个source,多个channel,多个sink)这里a1就是代理 a1.sources=r1,r2a1.sinks=s1,s2a1.channels=c1,c2 ...原创 2018-04-10 10:11:36 · 767 阅读 · 0 评论 -
flume启动关闭重启脚本
#!/bin/bash#作者:lihao#日期:20170925#参数:start|stop|restart#功能:flume 启动停止重启#使用方法:#./execflume.sh start flume_cmbc.conf(配置文件,自己修改) Cobub(代理名称,自己修改)#./execflume.sh stop#./execflume.sh restart flume_cmbc.conf...转载 2018-04-25 09:45:57 · 5519 阅读 · 0 评论 -
fluem源码分析
public void start() { //使用NIO的Socket工厂 //使用线程池的执行队列 ChannelFactory factory = new NioServerSocketChannelFactory( Executors.newCachedThreadPool(), Executors.newCachedThreadPool()); Server...原创 2018-04-27 12:51:50 · 247 阅读 · 0 评论 -
flume性能优化
flume 性能优化flume的整体基础架构包括三个,分别是source,chanel, sink. 下面是官网的截图:因此,优化要从三个组件的角度去分别优化。1、source sources是flume日志采集的起点,监控日志文件系统目录。其中最常用的是 Spooling Directory Source , Exec Source 和 Avro Source 。关键参数讲解:(1)batch...转载 2018-04-28 17:24:15 · 1625 阅读 · 0 评论