jxhaha的博客

原地址:点击打开链接Distributed Systems Architecturebrought to you by Alexey GrishchenkoSkip to contentHOMEABOUTSpark Architecture60 RepliesEdit from 2015/12/17: Me

原地址：点击打开链接Spark Memory Management25 RepliesStarting Apache Spark version 1.6.0, memory management model has changed. The old memory management model is implemented by StaticMemoryManag

原地址：点击打开链接Spark Architecture: Shuffle31 RepliesThis is my second article about Apache Spark architecture and today I will be more specific and tell you about the shuffle, one of the mo

最近在研究spark源代码，做一些与spark mlib相关的工作，需要需要自己写一些相关的spark代码。故整理一下。 首先，下载intellij idea 官方程序，我这里下载的是其社区版（免费）。接着下载spark2.0源代码以及spark2.0 预编译版本。再下载并安装scala程序。当然如果你没有安装java sdk的话，那你需要安装java sdk（这些基本安装就不介绍了）。接下来开始

1、用spark运行程序时，如果程序需要依赖其它的jar包，一般用–jars 后面加上依赖的包，如果有多个依赖包，则这些包之间用逗号（,） 分割。其中需要注意的是，–jars 需要放在主jar 包之前，主jar 包后面的一般默认为参数。形式如下所示$SPARK_HOME --class MAIN_CLASS -jars $JARS --master yarn --deploy-mode clust

CDHwebUi-> YARN (MR2 Included) -> Configuration -> NodeManager Default Group -> Advanced 在 “NodeManager Advanced Configuration Snippet (Safety Valve) for yarn-site.xml” 弹出框中粘贴如下： yarn.nodemanager