行路中

关于hdfs协议层相关的的解析已经比较全面，但是大多的分析停留在理论层面。为此笔者通过对hadoop源码的整理，完成了myhdfs项目。此项目有个特点是不依赖于任何hadoop的maven包，但却可以作为原生的hadoop客户端的server。项目暂时已经完成了rpc层相关框架。

本文主要介绍hdfs dfs du命令相关的介绍，包括dfs.content-summary.limit和dfs.content-summary.sleep-microsec参数详解。

回收站功能主要涉及文件或数据的删除和恢复操作。在大多数操作系统和文件管理系统中，回收站都扮演着重要的角色。临时存储删除的文件：当用户使用命令hdfs dfs -rm删除文件或文件夹时，这些文件并不是立即永久删除，而是被移动到Trash文件夹中。这使得用户有机会在需要时恢复这些文件。恢复误删文件：如果用户不小心删除了重要文件，可以通过Trash文件夹里面的数据恢复。设置删除文件保留时间：可以通过fs.trash.interval的值来这是删除保留时间，超过时间的会被回收线程删除。自定义回收线程频率。

请先阅读HDFSRPC协议详解HDFSRPC安全认证Kerberos篇HDFSRPC安全认证Token篇HDFSRPC安全认证Token篇2，对整体的框架有一定的了解。

读写锁简介，现实中有许多写少读多的场景，在程序实现时就期望同一时间只能有一个写线程可以获取写锁，但是同时可以多个读线程可以获取读锁，于是java便有了ReentrantReadWriteLock。ReentrantReadWriteLock采用读写分离策略，允许多个线程可以同时获取读锁。后面文章中提及的读写锁就使用此种实现。HDFS被设计成Write-Once-Read-Many，即不支持并发写，这里的写不单单指数据写入，也包括创建，修改等。

本文为HDFSRPC安全认证Token的补充。主要阐述Token的结构，Token相关RPC接口以及Token如何使用。

dfs.ls.limit主要用于查询目录下的子文件，子文件单次返回最大个数。默认值为1000。

请先阅读HDFSRPC通信框架详解，对整体框架有一定的了解。

rpc肯定依赖于socket通信，并且使用的是java NIO。读者最好对nio有一定的了解，文章中不会对相关知识作过多的介绍。还有本文中涉及到的代码大部分都是作者都整理过的，会和server源码有些许区别。

本文主要阐述HDFSRPC安全认证相关的实现。主要介绍Token相关的实现。

本文主要阐述HDFSRPC安全认证相关的实现。主要介绍Kerberos相关的实现。

本文主要阐述datanode中一个socket连接接收字节流的构成，帮助datanode的接收与处理数据。注意hadoop版本为3.1.1。

本文主要阐述HDFSRPCserver端一个socket连接接收字节流的构成，帮助读者理解HDFSRPC协议。注意hadoop版本为3.1.1。

此参数主要是配置hdfs的超级部门，默认值是supergroup。