yukangkk的技术博客

Spark是UC Berkeley AMPLab开发的类MapRed计算框架。MapRed框架适用于batch job，但是由于它自身的框架限制，第一，pull-based heartbeat作业调度。第二，shuffle中间结果全部落地disk，导致了高延迟，启动开销很大。而Spark是为迭代式，交互式计算所生的。第一，它采用了actor model的akka作为通讯框架。第二，它使用了RDD分

上周我们的production环境正式上线了hive 0.11/spark 0.8/shark 0.8，在前期的测试和回归过程中碰到了很多坑，这边记录一下，有其他公司要上的话，可以少走些弯路。 1. Hive 0.11对于每一个分区维护了各自的Schema信息，而0.9中的分区是复用Table Schema来做字段的Serde，如果一张表新增字段，再创建分区，新建的分区会继承Table Sche