- 博客(10)
- 收藏
- 关注
RSS订阅原创 大数据之四 hadoop HDFS HA 高可用的完全分布式
HDFS HAHA即为High Availability，用于解决NameNode单点故障问题，该特性通过热备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备用的NameNode，从而实现对外提供更稳定的服务SecondaryNameNode(冷备)：只是阶段性的合并edits和fsimage。当NN失效的时候，SNN无法立刻提供服务，甚至无法保证数据...
2018-11-10 14:07:11
687
原创 大数据之八 hadoop MapReduce on YARN--WordCount
Hadoop MapReduce WordCount执行过程及代码分析
2018-10-20 17:11:40
382
原创 大数据之七 hadoop MapReduce架构
MapReduce的实现架构MapReduce采用 Master/Slave 架构，在hadoop1.x版本中，由全局唯一的 Jobtracker（主）和多个 TaskTacker（从）组成。在MapReduceV2中引入了YARN，将资源调度与任务调度分离
2018-10-19 16:59:56
303
原创 大数据之六 hadoop MapReduce原理
mapreduce是hadoop四大组件之一（HDFS，MapReduce，YARN和Comment），是一种分布式计算编程模型，用于解决海量数据的计算问题。mapreduce采用分而治之的思想，将大文件切割成片，然后由多个map task并行处理，处理完成后交由reduce进行合并再处理
2018-10-18 15:53:33
260
原创 大数据之五 hadoop HDFS HA集群客户端+eclipse（java API）配置
搭建好HDFS HA集群后配置客户端来操作HDFS HA集群配置eclipse（java API）来操作HDFS集群
2018-10-13 12:23:23
1313
1
原创 大数据之三 hadoop HDFS集群完全分布式搭建
HDFS完全分布式集群介绍及搭建多台服务器，每台服务器启动表示不同角色的不同进程，组成HDFS集群
2018-10-10 21:57:45
458
原创 大数据之二 hadoop HDFS集群伪分布式搭建
hadoop HDFS伪分布式模式安装和配置步骤一台服务器上启动多个进程来表示多个角色NameNode SecondNameNode DataNode
2018-10-10 08:26:39
301
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人