- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark运行架构
spark运行基本流程Spark运行基本流程参见下面示意图：构建Spark Application的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源；资源管理器分配Executor资源并启动Executor，Executor运行情况将随着心跳发送到资源管理器上；Spark...
2018-10-09 20:25:39
215
原创 hdfs原理
简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统。HDFS有很多特点：① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。(用空间换安全)② 运行在廉价的机器上。③ 适合大数据的处理。多大？多小？HDF...
2018-10-07 22:10:29
1280
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人