libhdfs源码分析(1)

最新推荐文章于 2024-05-27 18:55:41 发布

vinowan

最新推荐文章于 2024-05-27 18:55:41 发布

阅读量1.7k

点赞数

CC 4.0 BY-SA版权

文章标签： scheme buffer cache path file user

本文链接：https://blog.youkuaiyun.com/vinowan/article/details/7440163

libhdfs是HDFS的C++接口，提供基本的读写操作。本文分析了0.20.1版本的源码，主要包括hdfsConnectAsUserNewInstance、Filesystem::get、hdfsOpenFile等核心流程。hdfsConnectAsUserNewInstance创建Configuration对象并获取DistributedFileSystem；Filesystem::get依据URI和缓存生成Filesystem对象；hdfsOpenFile根据flags调用create、append或open方法。此外，还介绍了hdfsCloseFile、hdfsDisconnect、hdfsRead和hdfsWrite的实现细节。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

libhdfs是hdfs的c++客户端，提供了操作hdfs的基本接口，对于典型的读写场景，使用libhdfs的流程如下：

// 建立连接
1. hdfsFS hdfsConnectAsUserNewInstance(const char* host, tPort port, const char *user , const char **groups, int groups_size )

// 打开文件
2. hdfsFile hdfsOpenFile(hdfsFS fs, const char* path, int flags, int bufferSize, short replication, tSize blockSize)

// 读写文件
3. tSize hdfsRead(hdfsFS fs, hdfsFile f, void* buffer, tSize length)
   tSize hdfsWrite(hdfsFS fs, hdfsFile f, const void* buffer, tSize length)

// 关闭文件
4. int hdfsCloseFile(hdfsFS fs, hdfsFile file)

// 关闭连接
5. int hdfsDisconnect(hdfsFS fs)

针对0.20.1版本的源码，对主要流程做了简单的分析。

hdfsConnectAsUserNewInstance的流程如下：

1. 生成Configuration对象
2. 根据参数生成UnixUserGroupInformation
3. 通过Filesystem::get(URI, conf)方法获得DistributedFileSystem对象并返回

Filesystem::get的流程如下：
1. 根据uri获取scheme
2. 检查cache中是否有以前生成的Filesystem对象
3. 若没有，则检查fs.scheme.impl配置，通过refle