
hdfs
文章平均质量分 85
轻风细雨
加油
展开
-
关于面试--【namenode&fsimage&edits】
namenode和镜像文件之间的一些过程和考点原创 2022-08-15 15:21:42 · 542 阅读 · 0 评论 -
Hive Map Join OOM
禁用自动MapJoin:sethive.auto.convert.join=false; 启用自动检测:set hive.ignore.mapjoin.hint=false;原创 2019-12-11 16:23:45 · 3412 阅读 · 0 评论 -
Data node becomes dead due to one disk failure
原创 2019-12-11 16:03:05 · 2770 阅读 · 0 评论 -
Cannot obtain block length for LocatedBlock
当HDFS上文件在被写入时,在未关闭文件之前,写入操作异常终止,此文件就会保有openforwrite的状态。 常见场景:Flume在对HDFS进行文件写入操作时,HDFS服务终止,文件没及时关闭。 当MR读取该文件时,也无法使用cp或者get命令,会抛异常:Cannot obtain block length for LocatedBlock 解决方法 1、先定位到文件 h...原创 2019-12-11 15:26:09 · 3021 阅读 · 0 评论