
Hadoop
文章平均质量分 51
东南枝上的大雄
这个作者很懒,什么都没留下…
展开
-
Hive的动态分区与静态分区(区别及详解)
Hive的动态分区与静态分区原创 2022-10-08 20:01:00 · 5669 阅读 · 0 评论 -
Yarn的job提交流程(大数据面试高频七)
Yarn的job提交流程原创 2022-10-06 16:25:55 · 473 阅读 · 0 评论 -
为何HDFS中不适合存小文件(大数据面试高频三)
HDFS天生就是为了存储大文件而生,一个块的元数据大小大概在150字节左右,存储一个小文件就要占NameNode 150字节的内存,如果存储大量的小文件很快就将NameNode内存耗尽,而整个集群存储的数据量很小,失去了HDFS的意义,同时也会影响NameNode的寻址时间,导致寻址时间过长。可以将数据和并上传,或者将文件append形式追加在HDFS文件末尾。原创 2022-10-05 16:23:09 · 493 阅读 · 0 评论 -
HDFS中,NameNode,DataNode及SecondaryNameNode的作用(大数据面试高频二)
HDFS中,NameNode,DataNode及SecondaryNameNode的作用原创 2022-10-05 16:15:45 · 2520 阅读 · 0 评论 -
HDFS的读写流程(大数据面试高频一)
HDFS的读写流程原创 2022-10-05 15:26:43 · 224 阅读 · 0 评论