
Hadoop
文章平均质量分 94
tan06
这个作者很懒,什么都没留下…
展开
-
Hadoop伪分布式集群搭建(二)
修改3个配置文件:core-site.xml(Hadoop集群的特性,作用于全部进程及客户端)、hdfs-site.xml(配置HDFS集群的工作属性)、mapred-site.xml(配置MapReduce集群的属性)-修改3个配置文件:core-site.xml、hdfs-site.xml、mapred-site.xml,指定NameNode和JobTraker的位置和端口,设置文件的副本等参数。使用当前的用户启动相关进程,对于opt目录,当前用户得有读写权限,对于/data目录也需要读写权限。原创 2024-07-30 11:35:01 · 996 阅读 · 0 评论 -
Hadoop(四)HDFS集群详解
1)HDFS集群分为两大角色:NameNode、DataNode2)NameNode负责管理整个文件系统的元数据3)DataNode负责管理用户的文件数据块4)文件会按照固定的大小(blocksize)切成若干块后分布式存储在若干台datanode上5)每一个文件块可以有多个副本,并存放在不同的datanode上6)DataNode会定期向NameNode汇报自身保存的block信息,而namenode则会负责保持文件的副本数量。原创 2024-07-30 11:31:52 · 854 阅读 · 0 评论