以下代码用IDEA直接访问spark集群运行(地址是随便写的虚拟地址)
注意:一定要确保spark的版本和集群spark的版本保持一致,集群版本是3.2.0
所以如果IDEA中不是3.2.0的话,修改pom.xml文件:
<dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <!-- scala的版本 --> <version>3.2.0</version><!-- spark的版本 --> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.12</artifactId> <version>3.2.0</version> </dependency> </dependencies>
import org.apache.spark.sql.SparkSession import org.apache.spark.{SparkConf, SparkContext} /** * 本地访问Spark集群(StandAlone模式),以及sparkSession常用配置 */ object ExeFromSparkStandAlone { def main(args: Arra
spark编程05——本地访问Spark集群(StandAlone模式)和sparkSession常用配置
最新推荐文章于 2025-05-14 09:03:26 发布