Pyspark的HBaseConverters详解

作者：Syn良子 出处：http://www.cnblogs.com/cssdongl/p/7449682.html 转载请注明出处
最近在折腾pyspark的HbaseConverters，由于资料太少折腾了好一会儿才明白，特此分享给大家.

---

问题背景

最近在使用pyspark写hbase的过程中发现，会报以下类似的错误

这是由于最终计算结果存入hbase的时候pyspark无法找到相关的converter造成的.啥？你问为啥要找converter,这是因为Java和Scala都可以支持组装Hbase的Put然后存入Hbase,但是Python这块儿spark API是后妈生的，暂时还不能直接支持，所以需要转换.

问题详解

这个HBaseConverters模块位于spark-examples*.jar包下，据我挨个检查，spark1.4和spark1.6都有这个模块，而spark.2.x已经没有了，但是spark2.x上我测试了可以使用1.6的spark-examples_2.10-1.6.3.jar中的HBaseConverters来读写Hbase，完全没有问题.而Spark1.4和Spark1.6的HBaseConverters我推荐用后者，理由如下.

Spark1.4的HBaseConver