flume
关注
分享
扫一扫
文章平均质量分 78
boat824109722
这个作者很懒，什么都没留下…
展开
-
flume系列-flume单点集成HDFS
（spooldir）新增文件输入（往目录添加新文件），远程输出到HDFS，支持windows（这个例子在windows下完成）官网或者github下载apache-flume-1.7.0-bin.tar.gz，然后解压在E盘，添加环境变量在Flume的安装目录下的lib目录下添加如下jar包hadoop-common-2.6.0-cdh5.11.0.jarhadoop-au原创 2017-12-18 16:38:41 · 2508 阅读 · 1 评论 -
flume系列-flume负载均衡（存HDFS）
为什么不直接把客户端的数据保存到HDFS？服务端做统一的数据过滤处理比较方便（也比较规范），如果客户端量比较大，中间还可以用kafka队列做消峰处理，然后服务端再从kafka获取数据存储到HDFS1、CDH安装flume(web也没直接安装)，集成HDFS，Hbase修改配置：Agent 的 Java 堆栈大小（字节） 1GHDFS目录创建(数据目录)：master原创 2017-12-18 16:39:43 · 2224 阅读 · 0 评论