！WAIVE的博客

1.基于Java代码自动提交Spark任务SparkLauncher支持两种模式:(1).new SparkLauncher().launch(),直接启动一个Process,效果跟Spark submit提交一样(2).new SparkLauncher().startApplicaiton(监听器) 返回一个SparkAppHandler，并（可选）传入一个监听器优点：自带输出重定向...

1.下载安装包在官网上下载需要的版本,注意在官网注册时要用正规的邮箱和注册名,不然会被pvital公司划分为无效账户,此时就没有权限下载所以产品了下载网址:https://network.pivotal.io/products/pivotal-gpdb/2.将安装包传到linux上,按照该博客:https://blog.youkuaiyun.com/weberhuangxingbo/article/de...

梳理一下Spark中关于并发度涉及的几个概念File，Block，Split，Task，Partition，RDD以及节点数、Executor数、core数目的关系。输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入分片，称为In...