
HDFS
敬畏自然.
这个作者很懒,什么都没留下…
展开
-
HDFS存储多目录
HDFS默认的存储路径是在core.site.xml中。<!-- 指定Hadoop运行时产生文件的存储目录 --><property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.2/data/tmp</value></property>如果当前目录所在的磁盘块已满,需要加入新的磁盘块,那么如何使新加入的磁盘块能够在HDFS中发挥存储作原创 2020-07-29 12:33:08 · 625 阅读 · 0 评论 -
HDFS组成架构、工作原理以及读写数据流程
组成架构1.NameNode:管理文件系统的命名空间,维护着文件系统树以及整棵树内所有的文件和目录。对于文件来说保存了副本级别、访问时间、访问权限、块大小、字节数、组成一个文件的块等。对于文件目录来说保存了访问权限等。同时记录着每个文件中各个块所在的数据节点信息,但这个信息不永久保存,每次启动时由数据节点上报。2.DataNode:管理数据块与操作系统的映射关系、执行数据块的读写操作3.Client:文件切分、与NameNode交互,获取文件的位置信息、与DataNode交互,读取或写入数据原创 2020-07-17 15:07:54 · 402 阅读 · 0 评论