hdfs
关注
分享
扫一扫
Amos_Mu
这个作者很懒，什么都没留下…
展开
-
HDFS的读写流程
HDFS的写流程： 1.客户端启动distributed FileSystem向namenode发送写数据请求 2.namenode向distributed FileSystem响应可以写 3.distributed FileSystem向namenode请求发送block 4.namenode向distributed FileSystem发送dn1、dn2、dn3的地址 5.FileDataOutputStream向最近距离的dn1请求发送block的传输通道，同时...原创 2021-04-17 22:41:21 · 178 阅读 · 0 评论 -
HDFS合并小文件
关键字：hadoop hdfs 小文件、appendToFile、getmerge众所周知，HDFS中过多的小文件，会给NameNode造成很大的压力，所谓的小文件，是指远远小于文件块大小的文件。在使用HDFS的过程中，应尽量避免生成过多的小文件。本文以TextFile为例，介绍一下从本地–>HDFS、HDFS–>本地、以及HDFS–>HDFS的文件上传下载移动过程中...转载 2019-05-10 09:00:02 · 10954 阅读 · 0 评论