windows环境下IDEA运行spark程序出现的异常问题

最新推荐文章于 2022-05-24 09:52:45 发布

philonyun

最新推荐文章于 2022-05-24 09:52:45 发布

阅读量3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/philonyun/article/details/72528972

在Windows环境下使用IDEA运行Spark程序时遇到异常，程序无法正常执行，控制台显示Executor频繁退出，错误信息提示'初始工作没有接受任何资源'。排查后发现并非内存不足或节点间通信问题，而是缺少SPARK_LOCAL_IP环境变量。通过设置该环境变量为本地IP地址并重启IDEA，问题得到解决。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark程序如下

/**
  * Created by Philon Yun on 2017/5/15.
  */
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.sql.SQLContext


object HelloWorld {
  def main(args: Array[String]): Unit = {
    println("Hello World")
    val conf = new SparkConf().setMaster("spark://192.168.11.221:7077").setAppName("MyFitst")
    val sc = new SparkContext(conf)
    sc.addJar("D:\\scala-idea-workspace\\cars\\out\\artifacts\\cars_jar\\cars.jar")
    val sqlContext = new SQLContext(sc)

    val rdd = sc.textFile("hdfs://master:9000/person.txt").map(_.split(","))
    val personRDD = rdd.map(x => Person(x(0).toLong,x(1),x(2).toInt))

    import sqlContext.implicits._
    val personDF = personRDD.toDF
    personDF.registerTempTable("t_person")
    val df = sqlContext.sql("select * from t_person order by age desc ")
    df.write.json("hdfs://master:9000/out2")
    sc.stop()
  }
}


case class Person(id:Long,name:String,age:Int)