
hadoop
请叫我小帅哥
小帅哥一个,有事联系我经纪人。
展开
-
hdfs源码解析之客户端写数据(二)
接着hdfs源码解析之客户端写数据(一)继续。FSDataOutputStream fs = filesytem.create(new Path("/a.txt"),true);这行代码主要做了两件事:①通过rpc调用在namenode命名空间创建文件条目;②创建该文件对应的输出流。filesytem.create()最终调用的是DistributedFileSystem的c...原创 2019-03-05 11:24:38 · 389 阅读 · 0 评论 -
hdfs源码解析之客户端写数据(一)
终于开始了这个很感兴趣但是一直觉得困难重重的源码解析工作,也算是一个好的开端。既然开始了,就认真耐心的看下去吧。废话不多说,开始!在我们客户端写数据的代码大致如下:Configuration conf = newConfiguration();conf.set("fs.defaultFS","hdfs://172.16.40.119:8020");String a = "Thi...原创 2019-03-09 14:33:31 · 622 阅读 · 0 评论 -
hdfs源码解析之客户端写数据(三)
接着hdfs源码解析之客户端写数据(二)继续。fs.write(a.getBytes());上面write方法郑振调用的是FSOutputSummer.write,FSOutputSummer维护了一个本地缓冲区buf,大小初始为9*chunkSize,append文件时初始化方法不同。循环写buf.length字节数据,buf满了就开始调用writeChecksumChunks写pack...原创 2019-03-25 15:27:30 · 327 阅读 · 0 评论