- 博客(4)
- 收藏
- 关注
RSS订阅原创 不修改源代码，动态注入Java代码的方法
有时，我们需要在不修改源代码的前提下往一个第三方的JAVA程序里注入自己的代码逻辑。一种情况是拿不到它的源代码，另一种情况是即使有源代码也不想修改，想让注入的代码与第三方程序代码保持相对独立。有两种方法可以让我们达到这样的目标。一种方法是使用JDK 1.5引入的Java Instrumentation API. Instrumentation允许一个独立于应用程序的代理程序（Agent
2014-08-20 16:19:23
12179
原创 用IntelliJ开发Spark
有人写了篇用Eclipse阅读Spark源代码的文章。不过，Spark/Shark的主力开发成员Reynold Xin推荐用IntelliJ来开发Scala项目，说Berkley的所有人基本上都从Eclipse转到IntelliJ了。所以也试着转向IntelliJ:)下面记录一下大概的过程。根据IntelliJ Wiki上的文章下载和安装IntelliJ，现在的版本是12.1.4。
2013-07-22 16:01:31
3223
原创 Spark standalone cluster模式部署实践
Spark的部署模式分为基于Cluster manager（YARN/Mesos）的模式， 独立模式(Standalone）。Standalone模式下又分成local模式和cluster模式。下面是Spark standalone cluster模式部署的主要步骤：从http://www.scala-lang.org/downloads下载scala 2.9.3包。从
2013-06-07 20:37:12
1897
原创 解决虚拟机中运行Hive和Hadoop一段时间后磁盘空间不足的问题
为了开发和调试方便，用VirtualBox安装了一个Ubuntu 12.04的虚拟机，在里面运行Hive和Hadoop。使用过程中发现了一个问题，在Hive中跑一些query，一段时间后，虚拟磁盘空间增长很快，达到几十个G。虚拟磁盘本身配置为动态增长模式，但开发机系统本身的物理磁盘空间有限，最后虚拟磁盘无法增长空间导致虚拟磁盘空间不足，无法继续在Hive中跑query。一个解决方案是删除H
2013-03-05 17:06:38
3139
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人