Spark
关注
分享
扫一扫
FeelBreak
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark on kubernetes 外部文件系统
Spark on kubernetes 外部文件系统(存储系统)glusterfs篇搭建glusterfs环境我的glusterfs环境需求需求量设备数量3操作系统CentOS7.3hostname三台设备的hostname分别为glusterfs-spark-1,glusterfs-spark-2,glusterfs-spark-3安装glus...原创 2020-04-24 12:55:54 · 856 阅读 · 0 评论 -
Spark on kubernetes 环境搭建
Spark on kubernetes环境搭建实验要求键值kubernetes集群版本1.15spark版本 2.4.5私建docker仓库已经被kubernetes集群的docker信任jdk1.8scala2.12构建kubernetes单机测试的话，可以使用minikube为每一台kubernetes节点，下载jdk和Sc...原创 2020-04-20 15:05:35 · 1923 阅读 · 10 评论 -
Spark 作业提交、分发、执行的大致流程
Spark on Yarn WordCount的执行流程本篇内容脚本提交篇SparkSubmit 类的main函数Spark WordCount的用户代码WordCount程序的执行流程创建SparkConf创建SparkContextSparkContext类图 ![SparkContext类图](https://img-blog.csdnimg.cn/20190702163232112.png...原创 2019-07-02 17:47:25 · 1267 阅读 · 0 评论 -
Spark standalone 与 GlusterFS 配合使用
Spark with glusterfs测试设备架构测试环境搭建过程搭建GlusterFS，测试环境中用的是两个节点做GlusterFS，备份数是两份搭建Spark Standalone环境，三台机器做Spark Standalone集群，其中每台GlusterFS上都要配置为Spark的Worker机三台Spark机器上都要挂载glusterfs的文件到同一个目录mount -t ...原创 2019-09-10 16:09:24 · 371 阅读 · 0 评论