心向，往之

dfs.datanode.du.reserved 官方解释为：适用于非分布式文件系统 (DFS) 使用的保留空间（字节/卷）。 通俗的意思：预留磁盘的一部分空间给操作系统用，这个参数主要是为了防止磁盘空间被写满导致的HDFS异常。通常系统默认保留5%的磁盘空间给操作系统用。 那么每个盘可用的HDFS存储空间是：（总存储空间 - dfs.datanode.du.reserved ），其在 hd...

一、引起磁盘倾斜不均衡的可能原因有哪些 （1）扩容节点，向集群中添加新的数据节点 （2）数据节点之间的磁盘大小不一致二、磁盘倾斜引起的性能问题 （1）MR程序无法很好地利用本地计算的优势 （2）机器之间无法达到更好的网络带宽使用率 （3）机器磁盘无法利用三、解决磁盘倾斜的方案 （1）使用数据均衡工具手动balance 如果是cm，选择“重新平衡”； 如果是手动的hadoop...

问题描述：在namenode页面发现，好多主机的Non DFS Used使用非常大，大大减少了HDFS磁盘剩余可用容量，存在异常通常，Non DFS Used = 配置的容量 - 剩余容量 - DFS使用容量而配置容量 = 总容量 - 预留空间（总容量为磁盘的总大小，预留空间为默认的5%）所以，Non DFS used=（总容量-预留空间）- 剩余容量 - DFS使用容量...

正常在hive库即hive命令行中删除一张表，hdfs上也是同步的被删除的，但是这次发现在hive里手动建了一张表，然后使用drop table 表名后，hive库里的确没发现这张表了，但是HDFS上还是有。我使用的建表建库语句：create database test1 location 'hdfs://beh/user/test1/test1.db';   //创建库指定路径use ...

问题描述：在CM上添加一台Dataode主机后，启动datanode时，一直报下面的错误：“ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool BP-1251007601-10.162.3.171-1464682677169 (Datanode Uuid 88ab...