Spark SQL1.2与Hive互通操作

最新推荐文章于 2025-04-21 20:05:56 发布

原创

最新推荐文章于 2025-04-21 20:05:56 发布 · 1.3w 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #sql #mysql #hive #shell

1.版本
Spark：官方网站下载的已编译好1.2版本，虽然官方文档说没有编译对Hive的支持(Spark SQL also supports reading and writing data stored in Apache Hive. However, since Hive has a large number of dependencies, it is not included in the default Spark assembly. )，其实是已经编译进去了（启动spark-shell或spark-sql时，有信息为证：Spark assembly has been built with Hive, including Datanucleus jars on classpath），官方文档更新不及时