- 博客(13)
- 收藏
- 关注
RSS订阅原创 2021年山东大学软件工程应用与实践项目——Hadoop源码分析（十二）
2021SC@SDUSCHadoop源码分析（十二）——Datanode实现（4）Hadoop源码分析（九）——Datanode实现（1）Hadoop源码分析（十）——Datanode实现（2）Hadoop源码分析 （十一）——Datanode实现（3）文章目录Hadoop源码分析（十二）——Datanode实现（4）7. FSDataset Datanode 数据集合7.1 内部类7.1.1 FSDir7.1.2 FSVolume类7.2 成员变量7.3 成员方法8. Datanode 类8.1
2021-12-26 03:38:01
452
原创 2021年山东大学软件工程应用与实践项目——Hadoop源码分析（十一）
2021SC@SDUSCHadoop源码分析（十一）—— Datanode实现（3）Hadoop源码分析（九）—— Datanode实现（1）Hadoop源码分析（十）—— Datanode实现（2）文章目录Hadoop源码分析（十一）—— Datanode实现（3）5. BlockReceiver 数据块接收器5.1 成员变量5.2 成员方法6. DataBlockScanner 数据块扫描器6.1 成员变量6.2 成员方法5. BlockReceiver 数据块接收器BlockReceive
2021-12-25 23:14:54
876
原创 2021年山东大学软件工程应用与实践项目——Hadoop源码分析（十）
2021SC@SDUSCHadoop源码分析（十）——Datanode实现（2）Hadoop源码分析（九）——Datanode实现（1）文章目录Hadoop源码分析（十）——Datanode实现（2）3. DatanodeInfo 类3.1 成员变量3.2 成员方法4. BlockSender 数据块发送器4.1 成员变量4.2 成员方法3. DatanodeInfo 类Datanodelnfo所在的包为 org.apache.hadoop.hdfs.protocol,该类继承自 Datanode
2021-12-25 22:19:41
682
原创 2021年山东大学软件工程应用与实践项目——Hadoop源码分析（九）
2021SC@SDUSCHadoop源码分析（九）——Datanode实现文章目录Hadoop源码分析（九）——Datanode实现Datanode分析1.Block数据块1.1成员变量1.2 成员方法2 DatanodeID类2.1 成员变量2.2 成员方法Datanode分析Hadoop 中关于 Datanode 的代码被放在了 org.apache.hadoop.hdfs.server.Datanode 中，主要的三个类是 Datanode、 FSDataSet 和 DataBlockScan
2021-12-25 21:37:23
987
原创 2021年山东大学软件工程应用与实践项目——Hadoop源码分析（八）
2021SC@SDUSCHadoop源码分析（八）——NameNode实现（4）Hadoop源码分析（五）—— NameNode实现（1）Hadoop源码分析（六）—— NameNode实现（2）Hadoop源码分析（七）—— NameNode实现（3）文章目录Hadoop源码分析（八）——NameNode实现（4）6.FSImage文件系统镜像6.1 StorageInfo类6.2 DirIterator类6.3 FSImage 具体实现6.3.1 枚举类6.3.1.1NameNodeFile6
2021-12-25 17:35:25
693
原创 2021年山东大学软件工程应用与实践项目——Hadoop源码分析（七）
2021SC@SDUSCHadoop源码分析（七）—— NameNode实现（3）Hadoop源码分析（六）—— NameNode实现（1）Hadoop源码分析（六）—— NameNode实现（2）文章目录Hadoop源码分析（七）—— NameNode实现（3）5. FSEditLog 文件系统的编辑日志5.1 内部类① EditLogFileOutputStream② EditLogFilelnputStream③BlockTwo④Transactionld5.2 成员变量5.3 成员方法5.
2021-12-08 14:12:10
1694
原创 2021年山东大学软件工程应用与实践项目——Hadoop源码分析（六）
2021SC@SDUSCHadoop源码分析（六）—— NameNode实现（2）Hadoop源码分析（五）——NameNode实现（1）文章目录Hadoop源码分析（六）—— NameNode实现（2）3. INodeFile 文件3.1 成员变量3.2 成员方法4. FSDirectory 文件系统目录4.1 成员变量4.2 成员方法3. INodeFile 文件INodeFile 所在的包为 org.apache.hadoop.hdfs.server.namenode,该类与目录 fNode
2021-12-07 23:05:37
1123
原创 2021年山东大学软件工程应用与实践项目——Hadoop源码分析（五）
2021SC@SDUSCHadoop源码分析（五）——NameNode实现文章目录Hadoop源码分析（五）——NameNode实现NameNode功能1. INode抽象类1.1 成员变量1.2 内部类1.3 成员方法2. INodeDirectory 目录2.1 成员变量2.2 成员方法NameNode功能一个HDFS集群中只有一个NameNode,它的主要作用就是负责管理HDFS文件系统，具体包括 namespace命名空间的管理即文件系统的目录结构的管理，数据Block的管理(包括filen
2021-12-07 22:05:02
685
原创 2021年山东大学软件工程应用与实践项目——Hadoop源码分析（四）
2021SC@SDUSCHadoop源码分析（四）——DFSClient HDFS客户端（2）文章目录Hadoop源码分析（四）——DFSClient HDFS客户端（2）3.成员变量4.构造方法上篇博客分析了DFSClient内部类，本篇，我们来分析DFSOutputStream中的成员变量和成员方法。DFSClient HDFSk客户端源码13.成员变量private Socket s;//与目标DataNode所建立起来的Socket连接。boolean closed = false;
2021-12-06 23:56:35
959
原创 2021年山东大学软件工程应用与实践项目——Hadoop源码分析（三）
2021SC@SDUSCHadoop源码分析（三）——DFSClient HDFS客户端1.DFSClient HDFS客户端DFSClient 所在的包为 org.apache.hadoop.hdfs ,它是分布式文件系统 HDFS 的客户端。 DFSClient 可以连接到 Hadoop 的文件系统，然后执行基本的文件操作。它使用 ClientProtocol 协议通过 RPC 机制和 NameNode 进行通信并获得文件的元数据信息,然后连接到 DataNode 并通过 DFSOutputStr
2021-12-06 22:30:50
657
原创 2021年山东大学软件工程应用与实践项目——Hadoop源码分析（二）
2021SC@SDUSCHadoop源码分析（二）——HDFS架构和分布式文件系统4.DistributedFileSystem分布式文件系统文章目录Hadoop源码分析（二）——HDFS架构和分布式文件系统4.DistributedFileSystem分布式文件系统4.3 成员方法4.3 成员方法public void initialize (URI uri, Configuration conf) throws IOException{super.initialize(uri, conf);
2021-12-03 21:28:59
163
原创 2021山东大学软件工程应用与实践项目——Hadoop源码分析
2021SC@SDUSCHadoop源码分析（一）——源码下载及分工文章目录Hadoop源码分析（一）——源码下载及分工前言一、Hadoop是什么？二、HDFS三、MapReduce四、源码下载及环境1、源码下载2、Linux环境五、分工前言2021年山东大学软件工程应用与实践选题Hadoop，作为大数据专业，了解掌握Hadoop感觉是必不可少的，所以借这个机会，选择了分析Hadoop源码这一项目，希望有所搜获，在此记录。一、Hadoop是什么？Hadoop是一个由Apache基金会所开
2021-09-30 18:02:59
344
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人