hadoop
此名称已存在
java,hadoop生态圈
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hdfs+zookeeper+ha集群实现上传下载删除的功能
package cn.test;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputS...原创 2018-11-17 18:12:45 · 264 阅读 · 0 评论 -
伪分布式HDFS以及读写流程
伪分布式hdfs架构 HDFS写流程先找到一个namenode节点,切分文件block,按照block线性和namenode获取刘表和副本数量,验证datanode裂表之后,利用一个输出流,把分好快的输出流往其中一个datanode上面写(文件四份,先写第一份,2.3.4.。。)在写的同时会形成一个管道,一块一块的会立刻同步到其他的datanode上面bl...原创 2019-01-16 15:23:19 · 353 阅读 · 0 评论 -
SNN合并机制
SNN在某一个时刻读取edits和fsimage 拿到本地 merge(合并)之fsimage.ckpt后放到namenode上面去在SNN拉去数据的时候,已经产生一个新的edits new 的文件假如namenode宕机,就不会产生new edis文件,但是老的edits的文件是会有的,再次启动的时候在给到合并,这样会较少文件的损失...原创 2019-01-16 15:26:34 · 700 阅读 · 0 评论
分享