骑猪喝咖啡

tez安装手册、自带例子测试

该帖子主要记录Hive On Tez安装及验证测试，并详细记录验证过程中的各种坑，具体坑如下：org/apache/hadoop/mapred/MRVersionjava.lang.NoSuchMethodError: org.apache.hadoop.mapred.TaskIDorg/apache/hadoop/util/StopWatchFAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.

Tez计算引擎优化，主要从内存、Mapper数设置、Reducer数设置角度出发。

分布式数据处理本质上是动态的，静态的确定最优并发和数据迁移方法是非常困难的。在运行时可以获得更多的信息，比如数据样本和大小，这可能帮助我们进一步优化执行计划。我们也承认，Tez本身不能总是有智慧的执行这些动态优化。Tez的设计包括支持从Task收集相关信息的可插拔顶点管理模块和在运行时调整数据流图优化性能和资源使用。该图展示了如何通过观察实际数据输出和每个Reduce任务的负载，在Mapreduce作业中确定适当数量的Reducer数量。