scala的REPL shell的调用

最新推荐文章于 2021-05-13 07:18:41 发布

转载最新推荐文章于 2021-05-13 07:18:41 发布 · 207 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/bluejoe/p/5115837.html

文章标签：

#scala #大数据 #shell

本文解析了Spark Shell的工作机制，详细介绍了Spark Shell如何基于SparkILoop启动Scala REPL，并初始化常用环境变量的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近突然对spark的spark-shell发生了兴趣
它是如何启动scala的REPL的，并且在此前写入了常用的环境变量的呢？
通过查看spark的源码，找到了SparkILoop.scala

import scala.tools.nsc.interpreter.{JPrintWriter, ILoop}

/**
 *  A Spark-specific interactive shell.
 */
class SparkILoop(in0: Option[BufferedReader], out: JPrintWriter)
    extends ILoop(in0, out) {
  def this(in0: BufferedReader, out: JPrintWriter) = this(Some(in0), out)
  def this() = this(None, new JPrintWriter(Console.out, true))

  def initializeSpark() {
    intp.beQuietDuring {
      processLine("""
         @transient val sc = {
           val _sc = org.apache.spark.repl.Main.createSparkContext()
           println("Spark context available as sc.")
           _sc
         }
        """)
      processLine("""
         @transient val sqlContext = {
           val _sqlContext = org.apache.spark.repl.Main.createSQLContext()
           println("SQL context available as sqlContext.")
           _sqlContext
         }
        """)
      processLine("import org.apache.spark.SparkContext._")
      processLine("import sqlContext.implicits._")
      processLine("import sqlContext.sql")
      processLine("import org.apache.spark.sql.functions._")
    }
  }
  ...
}

可以看出SparkILoop继承自scala.tools.nsc.interpreter.ILoop
紧接着着看了ILoop的api doc
终于找到了启动ILoop的方法：

import scala.tools.nsc.interpreter.ILoop
import scala.tools.nsc.Settings

val loop = new ILoop
loop.process(new Settings)

转载于:https://www.cnblogs.com/bluejoe/p/5115837.html