Joseph25的博客

将数据建立软链接，并同步到文件夹里，供flume采集#! /bin/bashmydate=`date +%Y-%m-%d-%H`#mydate=`date -d "yesterday" +%Y%m%d`monitorDir="/data/webapp/d5wx-webapp/logs/monitor/"filePath="/data/webapp/d5wx-webapp/lo...

要求：Agent foo定时采集文件夹，将采集到的数据传到Agent bar ，在Agent bar里过滤，然后上传到HDFS一：脚本将数据同步到软连接文件夹里#! /bin/bashmydate=`date +%Y-%m-%d-%H -d '-1 hour'`monitorDir="/opt/dap/monitor/"filePath="/opt/dap/respon...

关键字：flume、hdfs、sink、配置参数Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。channel typehdfspath写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/可以使用flume提供的日期及%{host}表达式。filePrefix默认值：F...

转自：https://blog.youkuaiyun.com/Team77/article/details/44154529说明：这里主要介绍http接口的监控增量方式介绍获取到的监控参数：{ "SOURCE.r1": { "OpenConnectionCount": "0", 当前有效的连接数 "Type": "SOURCE", ...