- 博客(5)
- 收藏
- 关注
RSS订阅原创 MapReduce工作流程和解析
MapReduce工作流程和解析Mapperreducermapper和reducer之间的工作流程Mappermapper以行为单位读取hdfs上的文件对每一行进行<k,v>解析将<k,v>写入context中reducer从context中拉取一个key对应的value迭代器对key、value处理，转化成新的key、value输出<k2, v...
2020-05-04 10:22:49
258
原创 hdfs集群执行流程，进程分析
hdfs集群执行流程，进程分析hdfs集群结构副本分片策略rebalance重新平衡策略secondaryNamenodehdfs集群结构hdfs（Hadoop Distributed File System）是为Hadoop生态环境设计的分布式文件存储系统，由于基于jvm的架构上，所以理论上可以运行在任何支持java的机器上。hdfs文件系统，核心由namenode和datanode组成，...
2020-05-04 09:53:35
486
原创 spark提交job任务，源码分步骤拆解
spark任务详解流程分步骤拆解详细流程提交任务DAG图创建计算task运行的最佳位置taskset创建taskSet执行流程spark客户端提交job通过反射创建driver进程driver创建sparkContext对象初始化sparkContext过程中，构建DAGScheduler和TaskSchedulerTaskScheduler根据后台进程去连接Master向Maste...
2020-05-02 12:01:37
440
原创 spark之rdd详解
spark之rdd详解rdd基本概念rdd(resilient distributed dataset弹性分布式数据集合),其实就是数据的集合,但由于在大数据的场景下,需要更高的算力,需要更多的存储空间,所以将普通的数据集合进行一定的规划,但是对外仍然像操作普通数据集合一样,这本质上是java的封装思想,和hdfs一样对数据进行封装,底层架构使得数据容错性更强,算力更高,扩容更方便.rdd的...
2020-04-28 22:50:03
521
原创 配置hadoop分布式文件管理系统
配置hadoop分布式文件管理系统hadoop配置hadoop配置配置核心文件core-site.xml需注意tmp文件夹的位置,此处存放的是namenode的相关信息<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://xx...
2020-04-25 18:23:12
239
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人