yritssh的博客

总的流程入下： 1.通过Sqlparse 转成unresolved Logicplan 2.通过Analyzer转成 resolved Logicplan 3.通过optimizer转成 optimzed Logicplan 4.通过sparkplanner转成physical Logicplan 5.通过prepareForExecution 转成executable logicplan...

直接上读取oracle的代码， //读取Oracle数据 def readOracle(hiveContext: HiveContext, tableName : String /*,hzn_user : String,hznpassword : String*/): DataFrame ={ val url=props.getProperty("url") val u...

在初始化SparkEnv时，可以看spark1.6支持两种内存管理方式： StaticMemoryManager（静态内存管理）和UnifiedMemoryManager（统一内存管理），spark1.6之前默认的是静态内存管理，spark1.6之后默认的管理机制是统一内存管理。具体源码如下： // 1.6之前默认静态内存管理，1.6之后默认统一内存管理 val useLegacyM...