Hive on Spark环境搭建(解决Hive3.1.2和Spark3.0.x版本冲突)
使用Hive做元数据存储和HQL解析,Spark做实际计算。(Hive on Spark)Hive 使用3.1.2版本,Spark 使用3.0.3版本 。由于Hive 3.1.2 和 Spark 3.0.3不兼容,需要修改Hive中关于Spark的源码和依赖引用。下载Hive 3.1.2源码 ,上传并解压apache-hive-3.1.2-src.tar.gz下载Linux版IDEA,安装到带有桌面的Linux上。(使用root操作IDEA,bin/idea.sh打开idea)用idea打开apach
原创
2022-06-21 13:48:47 ·
8826 阅读 ·
15 评论