分布式系统架构
关注
分享
扫一扫
Gone!
这个作者很懒，什么都没留下…
展开
-
分布式系统组件简介
HDFS简介MapReduce简介Yarn简介HadoopApache官方版本1.x2.x2.6.4商业发行版CDH 5.7.x分布式文件系统HDFS* 端口50070具有分布式的集群结构，我们把实际存储数据的节点Datanode具有一个统一对外提供查询，存储，搜索的机器节点Namenode对外能够和客户端打交道对内跟实际存储数据的节点打交道...原创 2019-01-25 19:49:11 · 5292 阅读 · 0 评论 -
Hadoop之HDFS
HDFS的概念和特性HDFS的命令行操作HDFS工作机制HDFS写数据流程HDFS读数据流程Namenode工作机制CheckpointSafemodeHDFS的概念和特性首先，它是一个文件系统，用于存储文件，通过统一的命名空间—目录树来定位文件其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色重要特性如下：HDFS中的文件在物理上是分块存储...原创 2019-01-25 19:50:54 · 272 阅读 · 0 评论 -
Hadoop之MapReduce
mapreduce参数优化资源相关参数shuffle性能优化的关键参数容错相关参数效率和稳定性相关参数运行mapreduce作业inline方式运行local方式运行提交到集群运行MapReduce数据压缩MapReduce补充mapreduce参数优化资源相关参数以下参数在用户自己mr应用程序中配置就可以生效mapreduce.map.memo...原创 2019-02-17 17:59:40 · 316 阅读 · 0 评论 -
Flume
Flume代理一个source-channel-sink组合 配置启动Flume代理事务和可靠性批量处理HDFS sink分区和拦截器扇出交付保证复用选择器通过代理层分发交付保证Sink组组件编目Flume代理Flume代理是由持续运行的source（数据来源），channel（用于连接source和sink），sink（数据目标）...原创 2019-02-19 23:36:37 · 170 阅读 · 0 评论 -
HA机制
HA机制hadoop2.x1.hadoop-HA（high available）所谓HA，即高可用（7*24小时不中断服务），消除单点故障hadoop的HAf分为各个组件的HA机制-----HDFS的HA，Yarn的HA2.HDFS的HA机制通过双namenode消除单点故障双namenode协调工作要点：①元数据管理方式改变：内存中各自保存一份元数据共享的edits放在一个文...原创 2019-03-14 17:26:18 · 1186 阅读 · 1 评论