在dss中运行scala任务报java.lang.NullPointerException: null

heheha_zj

于 2023-03-19 01:01:54 发布

阅读量282

点赞数

文章标签： dss or linkis

本文链接：https://blog.youkuaiyun.com/hello_heheha/article/details/129645932

版权

文章详细描述了在特定版本环境下（如dss:1.1.1,linkis:1.1.1,hadoop:3.1.3,hive:3.1.2,spark:3.0.0）对SparkScalaExecutor.scala文件进行修改的过程，特别是针对Scala2.11的处理逻辑。修改后，需重新打包jar文件，将其上传至Linkis的指定目录替换原有jar。接着，通过执行重启服务脚本来应用变更，并使用linkis-cli-engine验证命令检查更新是否成功。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

版本信息：
dss:1.1.1
linkis 1.1.1
hadoop:3.1.3
hive:3.1.2
spark:3.0.0
修改文件：SparkScalaExecutor.scala
在这里插入图片描述修改文件内容如下：上图红色标记内容

    val isScala211 = versionNumberString.startsWith("2.11")
    val in0 = if(isScala211){
      getField(sparkILoop,"scala$tools$nsc$interpreter$ILoop$$in0").asInstanceOf[Option[BufferedReader]]
    }else{
      FieldUtils.readDeclaredField(sparkILoop,"in0",true)
        .asInstanceOf[Option[BufferedReader]]
    }

重新打包，然后上传到linkis相应目录下更换jar包即可
jar包路径：

/ddhome/bin/dss_linkis/linkis/lib/linkis-engineconn-plugins/spark/dist/v3.0.0/lib

重启服务：

./sbin/linkis-daemon.sh restart cg-engineplugin

命令验证：

sh ./bin/linkis-cli -engineType spark-3.0.0 -codeType scala -code "val l = 1 ; print(l);" -submitUser hadoop -proxyUser hadoop