weixin_42660215的博客

编译spark job server 时, 遇到sbt 编译 scala的情况 , 在idea sbt 换源时遇到的坑 先说一下失败的几个情况 首先我是本地自己下载了一个sbt, 在idea的shell里面 使用sbt的命令进行操作 但是源一直是repo1.maven.org 而这个源却是用不了的 于是准备换源 一般网上的做法就是在用户根目录下的 .stb目录新建一个文件 repositorie...

# # A fatal error has been detected by the Java Runtime Environment: # # SIGSEGV (0xb) at pc=0x00007f231f01ee1b, pid=5948, tid=139787906176768 # # JRE version: Java(TM) SE Runtime Environment (8.0_60...

看了一下spark的源码 /** Overridden make copy also propagates sqlContext to copied plan. */ override def makeCopy(newArgs: Array[AnyRef]): SparkPlan = { SparkSession.setActiveSession(sqlContext.sparkSes...

跑SQL就报这个问题, spark 很卡 WARN [2019-01-25 07:23:33,827] ({broadcast-exchange-0} TaskMemoryManager.java[allocatePage]:300) - Failed to allocate a page (2097152 bytes), try again. WARN [2019-01-25 07:23:34...