zhixingheyi_tian的博客

这边比较的先决配置就是。

【代码】hadoop 之 libhdfs。

hdfs fsck在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block块信息和位置信息等。hadoop fsck hdfs://bdpe101:9000/user/oap/oaptest/0.5-allFileFormat/tpcds/parquet_tpcds_2/store_sales/part-00064-83f1c5b1-1f95-4830...

此篇blog，承接 《hadoop 2.6 源码 解读之上传文件（-put）内部实现之FsShell init()篇》:https://blog.youkuaiyun.com/zhixingheyi_tian/article/details/80499773入口处，FsShell run(） 处 instance = commandFactory.getInstance(cmd); ...

hdfs 命令行 -put 上传文件操作，通过shell脚本最终调用 FsShell 的main入口方法，实现相应的逻辑功能为便于debug调试，编写相应的测试程序模拟 -put 操作，示例代码如下public class TestShell { public static void main(String argv[]) throws Exception { ...

Client 端发起的写请求通过流式接口到达Datanode后。Datanode的DataXceiverServer接受这个请求并构造DataXceiver对象， DataXceiver.writeBlock执行这个请求。DataXceiverServerDataXceiverServer 是个线程类，在run 方法里监听客户端的请求public void run() {....

nextBlockOutputStream 调用 createBlockOutputStream 创建到 pipeline 第一个DataNode 的输出流，如果失败，nextBlockOutputStream 会调用 abadonBlock() 放弃这个块，并将DataNode将入到故障节点队列中。然后重新向DataNode 申请新的数据块。重试一定次数，不成功就抛出异常...

DataStreamer是 在创建 文件流的时候已经初始化DFSClient create()方法中{ final DFSOutputStream result = DFSOutputStream.newStreamForCreate(this, src, masked, flag, createParent, replication, blockSize, p...

客户端写完文件之后，要关闭文件流，如下： out.write("hello".getBytes("UTF-8"));// out.writeUTF("da jia hao,cai shi zhen de hao!"); out.close();最后调用 DFSOutputStream 的 close() 方法..

HDFS客户端创建文件示例Path file = new Path("demo.txt"); FSDataOutputStream outStream = fs.create(file); fs 是 DistributedFileSystem 实例， DistributedFileSystem createpublic HdfsDataOutputStream create(...

HDFS 文件 是 write-once-read-many ，不支持客户端的并行写操作。 租约（lease）机制保证了HDFS文件的互斥操作。 客户端写HDFS文件时，先从租约管理器（LeaseManager）申请一个租约，成为租约持有者，也就有了对该HDFS文件的独占权限Hadoop 2.3 以上，新增了centralized Cache Management，允许用户将一些文件目...

在hdfs中 Packet 是读写 网络传输的基本单元， 有必要探讨下Packet 的基本结构以下是Packet 类所有的数据成员，均已详细注释private static class Packet { private static final long HEART_BEAT_SEQNO = -1L; long seqno; // sequencenumber of bu...

NameNode类入口 public static void main(String argv[]) throws Exception { if (DFSUtil.parseHelpArgument(argv, NameNode.USAGE, System.out, true)) { System.exit(0); } try { Stri...

客户端DistributedFileSystem.java调用入口 @Override public FSDataOutputStream append(Path f, final int bufferSize, final Progressable progress) throws IOException { statistics.incrementWrite...

DataTransferThrottlerhdfs Datanode是 IO密集型应用，网络IO、磁盘IO容易成为系统的瓶颈。 Datanode 有各种任务占用这些共同资源，为保证可用性，有必要对流量进行控制//a class to throttle the data transfers. 实现限流作用的是类DataTransferThrottler ，其实现也相当简单： 周期period（毫

DataNode重要的数据功能之一是读取数据块