风雨落

在client端使用RESTAPI新建session时的时序图： 使用RESTAPI执行一段代码 client端和driver端建立连接，这个过程是：client端建立一个RPCServer，并建一个RSCClient，将其注册到Client端的RPCServer中的PendingClients，然后将其server的host，port，clientID和secret存放到conf中并...

spark任务提交 spark目前提供python shell和scala shell两种交互式命令行运行Python Shell ./bin/pyspark 运行Scala Shell./bin/spark-shell 比如用户使用spark-shell或是pyspark脚本启动Spark应用程序，伴随应用程序启动的同时Spark会在当前终端启动REPL（Read–Eval–Print L...

1、下载Livy(可以自己下载源代码进行编译) http://livy.incubator.apache.org/download/ 源代码在git 上能够找到apache 版本和cloudera 两个版本 https://github.com/cloudera/livy 有比较详细的说明文档。2、将livy的压缩包放到Linux 主机...

1、解析json数据： interactiveSession使用的jackson来解析传入的request 在org.apache.livy.server.JsonServlet中 提供了三种不同的方法来处理JSON * 流式API - 读取并将JSON内容写入作为离散事件。 JsonParser读取数据，而JsonGenerator写入数据。它是三者中最有效的方法，是最低的开...

1、spark任务提交 https://blog.youkuaiyun.com/qq_32635069/article/details/80055745 2、线程池问题 线程池：一个管理线程的工具 解决的问题：一款好的软件设计是不建议手动创建和销毁会线程。线程的创建和销毁是非常耗CPU和内存的，因为这需要JVM和操作系统的参与 64位 JVM 默认线程栈是大小1 MB。这就是为什么说在...