
BigData
文章平均质量分 96
我是小水水啊
静
展开
-
布式文件管理系统HDFS
(1)客户端通过DistributedFileSystem向NameNode请求下载文件,NameNode通过查询元数据,找到文件块所在的DataNode地址。(1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。(1)第一次启动NameNode格式化后,创建Fsimage和Edits文件。(2)DataNode启动后向NameNode注册,通过后,周期性(6小时)的向NameNode上报所有的块信息。原创 2024-10-24 14:38:50 · 1062 阅读 · 0 评论 -
hadoop集群配置完全分布式运行模式案例
1整体启动/停止HDFS(2)整体启动/停止YARN2各个服务组件逐一启动/停止分别启动/停止HDFS组件启动/停止YARN。原创 2024-10-23 12:44:39 · 1080 阅读 · 0 评论