超级会员免费看
本文介绍了如何将Spark从2.1版本升级到2.2。根据Spark官方文档，升级需要使用Maven 3.3.9及以上版本，并且JDK 1.7的支持已被移除，因此需将JAVA_HOME设置为JDK 1.8的路径。同时，Spark 2.2仍然兼容Scala 2.10，但在使用前需执行`./dev/chang-scala-version.sh 2.10`来切换Scala版本。确保下载的Spark版本与CDH相匹配。
spark官网在documations看spark2.2的介绍，在more里面有个buliding spark(编译spark)，需要使用maven 3.3.9或更新，jdk1.7的支持被移除了，需要使用1.8.
所以升级需要将环境变量里面的java_home指向jdk1.8的路径，spark_home指向新的编译解压的spark地址(下载的spark版本要和cdh对应) ，scala 2.10依然支持，但是需要先执行 ./dev/chang-scala-version.sh 2.10这句话
升级spark2.1为2.2
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
