梦想成真那天

报错如下:[ansible@ALIBJ-TEST-OnPre-BigData1 bin]$ ./start_hour.shSetting HADOOP_CONF_DIR=/etc/hadoop/conf because no HADOOP_CONF_DIR was set.Using the result of 'hadoop classpath' to augment the Hadoop classpath: /usr/hdp/3.1.4.0-315/hadoop/conf:/usr/hdp/3.

Flume-NG + HDFS + HIVE 日志收集分析 2014-02-07 17:43 11373人阅读 评论(3) 收藏 举报 最近做了一个POC，目的是系统日志的收集和分析，此前有使用过splunk，虽然用户体验很好，但一是价格昂贵，二是不适合后期开发（splunk已经推出了SDK，后期开发已经变得非常容易）。在收集TB级别的日志量上flume-ng是更好的选择，因为后面的存储是扩展性

在yarn中对 yarn.nodemanager.local-dirs的状态更新操作，定义在 LocalDirsHandlerService（org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService）相关类中，在nm启动时，会启动一个LocalDirsHandlerService服务，循环检测yarn.nodemanager.

在HDFS上写入Avro文件的实现如下:第一步:需要定义写入到文件的scheme private static final String SCHEMA_JSON = "{\"type\": \"record\",\"name\": \"SmallFilesTest\" ,\"fields\":[{\"name\":\"vccId\",\"t