GatsbyNewton

1.BTrace1.1BTrace部署1.下载BTrace工具包，官网地址：https://kenai.com/projects/btrace/downloads/directory/releases2.解压btrace-bin.tar.gz，命令如下： $ tar -zxvf btrace-bin.tar.gz   3.配置环境变量 BTRACE_...

我前段时间在完成一个公司业务时，遇到了一个这样的需求：将HDFS上按每天每小时存储的数据进行数据预处理，然后对应按天存储在HDFS........由此可得，MapReduce的输入路径是：/user/data/yyyy/MM/dd/HH/每天有24小时，dd/目录下有24个目录，然后，对这24个目录下的数据预处理，最后输出到dd/目录：/user/out/yyyy/MM/dd/

Hadoop Counte是Hadoop自带的一个很实用的功能，它可以统计全局某个量的数量，如，MR中用Kafka发送消息，就可以用Hadoop Counter统计发送成功信息的条数、发送失败信息的条数，以及发送信息的总条数。其实我们每个MapReduce Job跑完都有Counter打印：16/06/05 00:25:19 INFO mapreduce.Job: Counters: 50F