愤怒的天空-优快云博客

原创 zeppline 报大量的 Failed to allocate a page 错误

跑SQL就报这个问题, spark 很卡WARN [2019-01-25 07:23:33,827] ({broadcast-exchange-0} TaskMemoryManager.java[allocatePage]:300) - Failed to allocate a page (2097152 bytes), try again. WARN [2019-01-25 07:23:34...

2019-01-25 20:54:51 1202

原创眼看着spark job就要完成了, 遇到一个空指针错误 ,job失败了

看了一下spark的源码/** Overridden make copy also propagates sqlContext to copied plan. */ override def makeCopy(newArgs: Array[AnyRef]): SparkPlan = { SparkSession.setActiveSession(sqlContext.sparkSes...

2019-01-25 20:25:16 728

原创 A fatal error has been detected SIGSEGV (0xb)

## A fatal error has been detected by the Java Runtime Environment:## SIGSEGV (0xb) at pc=0x00007f231f01ee1b, pid=5948, tid=139787906176768## JRE version: Java(TM) SE Runtime Environment (8.0_60...

2019-01-25 18:13:29 2691

原创 python windows10 安装记录

最近在整spark-jobserver想在windows上面打包编译,遇到一系列问题,使用sbt assembly集成中,遇到一个python的乱码报错, 不知何故, 先把python安装起来吧.下载地址https://www.python.org/downloads/写这个博客的时候最新版本是 3.7.2下载windows版本的, 进入下载页,会自动识别系统双击安装就完事了…没啥特...

2019-01-09 17:07:29 147

原创编译spark job server 时, 遇到sbt 编译 scala的情况 , 在idea sbt 换源时遇到的坑

编译spark job server 时, 遇到sbt 编译 scala的情况 , 在idea sbt 换源时遇到的坑先说一下失败的几个情况首先我是本地自己下载了一个sbt, 在idea的shell里面使用sbt的命令进行操作但是源一直是repo1.maven.org而这个源却是用不了的于是准备换源一般网上的做法就是在用户根目录下的 .stb目录新建一个文件 repositorie...

2019-01-09 13:08:44 288 1

转载获取泛型的实际类

Class<T> entityClass = (Class<T>) ((ParameterizedType) getClass().getGenericSuperclass()).getActualTypeArguments()[0];

2018-12-01 00:19:19 109

原创本地Linux 环境 standalone模式启用spark 2.4 集群

spark 2.4 资源下载地址https://www.apache.org/dyn/closer.lua/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz文档地址http://spark.apache.org/docs/latest/index.html我的本地电脑是win10, 启用了ubuntun 系统, 所以下载后,将文件移动至Lin...

2018-11-30 17:18:24 257

原创从一段错误开始 Geode 源码之旅

gfsh&gt;start server --name=server1 --locators=127.0.0.1[10334] --server-port=0Starting a Geode Server in C:\tools\apache-geode-1.7.0\bin\server1...The Cache Server process terminated unexpectedly w...

2018-11-30 10:48:37 623

原创 Oplog 分析

OpLog 实现了 CompactableOplog, Flushable有三种类型的oplog文件, crf, drf,krf private final OplogFile crf = new OplogFile(); private final OplogFile drf = new OplogFile(); private final KRFile krf = new KRF...

2018-11-30 10:48:22 765

weixin_42660215的博客