
大数据学习
FinalALong
自学能力强,目标感强
展开
-
HADOOP HDFS Client API
package com.itstar.demo03; import java.io.BufferedReader; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.io.InputStreamReader; import ja...原创 2018-10-14 21:11:21 · 2215 阅读 · 0 评论 -
HDFS读写流程&NameNode工作机制
HDFS读流程 和namenode通信查询元数据(block所在的datanode节点),找到文件块所在的datanode服务器 挑选一台datanode(就近原则,然后随机)服务器,请求建立socket流 datanode开始发送数据(从磁盘里面读取数据放入流,以packet为单位来做校验) 客户端以packet为单位接收,先在本地缓存,然后写入目标文件,后面的block块就相当于是appe...原创 2018-10-16 21:19:15 · 675 阅读 · 1 评论