大数据
关注
分享
扫一扫
FeelBreak
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark 作业提交、分发、执行的大致流程
Spark on Yarn WordCount的执行流程本篇内容脚本提交篇SparkSubmit 类的main函数Spark WordCount的用户代码WordCount程序的执行流程创建SparkConf创建SparkContextSparkContext类图 ![SparkContext类图](https://img-blog.csdnimg.cn/20190702163232112.png...原创 2019-07-02 17:47:25 · 1267 阅读 · 0 评论 -
Hadoop框架MapReduce客户端Job提交过程
Hadoop MapReduce 客户端提交Job的过程 MapReduce WordCount的示例代码 package MapReduceLearn.MapReduceLearn.Art; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configura...原创 2019-07-10 17:40:23 · 414 阅读 · 0 评论 -
HBase业务代码在linux上执行的几种方式
HBase代码在linux上执行的几种方式 Scala object的方式 编译Scala Object文件 export HBASE_CLASSPATH=`hbase classpath` scalac -classpath "$HBASE_CLASSPATH" ${用户的scala文件} # 注意，用户的scala文件中需要定义main函数 使用scala执行编译好的scala cl...原创 2019-08-06 19:40:23 · 395 阅读 · 0 评论 -
Spark standalone 与 GlusterFS 配合使用
Spark with glusterfs 测试设备架构 测试环境搭建过程 搭建GlusterFS，测试环境中用的是两个节点做GlusterFS，备份数是两份 搭建Spark Standalone环境，三台机器做Spark Standalone集群，其中每台GlusterFS上都要配置为Spark的Worker机 三台Spark机器上都要挂载glusterfs的文件到同一个目录mount -t ...原创 2019-09-10 16:09:24 · 371 阅读 · 0 评论