使用spark-submit提交jar包到spark standalone集群(续)

最新推荐文章于 2025-10-16 06:54:10 发布

原创

最新推荐文章于 2025-10-16 06:54:10 发布 · 7.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark-submit提交jar到集群 #spark集群模式运行 #spark standalone集群运行 #sparkalone集群模式运行 #spark jar包运行

本文延续上篇内容，介绍如何在Windows环境下，使用Intellij IDEA创建的jar包，通过`spark-submit`命令提交到Spark Standalone集群运行。详细步骤包括jar包的制作和集群运行的配置。

继续上篇文章利用Intellij Idea在windows搭建spark 开发环境(含打jar包过程）(一) 以及Sparksql处理json日志[要求sparksql统计json日志条数存入mysql数据库]

本章将把打好的jar提交到集群运行。[如何打jar 包请看上文第一篇]

环境：centos7,windows10,intellij 2016.1.1

jar 包代码：[详细的步骤请看第二篇]

import scala.xml.XML
import scala.sys.process._
import org.apache.spark.sql.SQLContext
import scala.collection.mutable.ArrayBuffer
import scala.io.Source
import java.io.PrintWriter
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SQLContext
import java.sql.DriverManager
import java.sql.PreparedStatement
import java.sql.Connection
import org.apache.spark.sql.types.IntegerType
import org.apache.spark.sql.types.StructType