Oh Captain, My Captain

MapReduce的测试确实没有那么方便，但是还是有办法的。下面的内容主要加工自[MRUnit Tutorial](https://cwiki.apache.org/confluence/display/MRUNIT/MRUnit+Tutorial)，Tutorial中另外还介绍了Counter的测试（也就是如何获取Counter）和Configuration传参数（如何在Mock中获取conf对象）。

接触Hadoop两年、Spark一年多了，还是头一次在本地搭建环境，幸好网上的资料很丰富，配置起来也还是很容易的。 这里的搭建单机环境不是指利用本地文件系统Standalone模式，而是只有一个结点的Pseudo Cluster。用于本地验证应该还是足够了。

最近做Spark Streaming任务时用到了HBase做中间状态查询和存储，顺手写了一些测试，小小总结了一下各部分测试的写法。

Scalding是对Cascading框架的Scala封装，或者更确切地说是一种函数式封装。看到Cascading的时候你可能会觉得这么麻烦的东西有必要学吗？但是再看看Scalding就会发现，这好像跟写一般的Scala代码也没什么区别……小小的封装带来巨大的改变。