cloudera cdh编译carbondata

最新推荐文章于 2019-11-01 11:23:00 发布

原创最新推荐文章于 2019-11-01 11:23:00 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了在Cloudera Distribution Including Hadoop (CDH)环境下编译CarbonData的具体步骤，并解决了spark-hive-thriftserver版本不匹配的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

carbondata 编译，官方的git文档上只说明了如何使用原生spark编译，我们使用的是cdh版，所以编译命令是：

mvn -DskipTests -Pspark-1.6 -Dspark.version=1.6.0-cdh5.10.2 clean package

遇到一个坑是spark-hive-thriftserver，因为spark版本是1.6.0-cdh5.10.2，所以所有和spark相关的版本都是这个版本，然而spark-hive-thriftserver没有cdh版本(在mvn官网上没有)，导致编译不通过。把pom里的spark-hive-thriftserver的版本换成1.6.0成功编译。