monkeyboy_tech的博客

spark full outer join目前存在一个问题，那就是在数据倾斜的时候，会导致Execuotr OOM：具体的问题描述，可以见。

T: Comparator]，它主要做了两件事：第一，引入了一个参数类型 T；在上面说到对于java语言来说，会在编译器期间擦除掉类型，但是对于scala来说，我们在编译器阶段是可以保存类型T的,这就是接下来说的。看到我们居然把可以范型为T（也就是object）的类型的值，赋值给String类型的变量，这难道是编译器没有进行类型擦除么？，其中aaa是String类型的变量，这样编译器在编译的时候，就会做一层强制转换。这一行表明编译器确实进行了类型擦数，因为能偶看到调用的是object类型的方法。

仅用于记录,文章具体见：Java on Truffle

背景在java应用开发中 我们难免会遇到java stack和heap的分析，在此记录一下对于发生OOM时候，该怎么进行分析分析首先我们得会几个工具，jpsjmap -heapjmap -histo:livejmap -dump:format=b,file=dump.hprofmat(Memory Analyzer Tool)jps 用来看运行的应用是哪个pidjmap -heap 用来查看该应用堆内存总体分布情况jmap -histo:live 用来查看jmap -dum

背景因为之前一直在研究jdk源码,但是基于自己比较懒的缘故，一直没有手动编译过jdk源码，也就只是看看书本上的东西，似懂非懂的看懂了也就草草了事了，这次终于下定决心编译一把openJDK8的源码基础环境macos High Sierra 10.13.1openJDK 8编译直接找到 http://hg.openjdk.java.net/ ,执行以下命令# 安装mercurialbrew install mercurial# clone openJDK源码hg clone http://h

背景uber jvm profiler是用于在分布式监控收集jvm 相关指标，如:cpu/memory/io/gc信息等安装确保安装了maven和JDK>=8前提下，直接mvn clean packagejava application说明直接以java agent的部署就可以使用使用java -javaagent:jvm-profiler-1.0.0.jar=reporter=com.uber.profiling.reporters.KafkaOutputReporter,b