spark远程debug之调试spark on yarn 程序（基于CDH平台，1.6.0版本）

简介

        由于 spark有多种运行模式，远程调试的时候，虽然大体步骤相同，但是还是有小部分需要注意的地方，这里记录一下调试运行在spark on yarn模式下的程序。

环境准备

        需要完好的Hadoop，spark集群，以便于提交spark on yarn程序。我这里是基于CDH的环境

         

步骤

            1.随便写个spark程序，比如序列化一个集合，然后求和。然后使用maven打包，上传至集群。可以先提交运行一次，确保可以运行成功。