jast

跨集群访问hdfs失败$ hdfs dfs -ls hdfs://test:8020/hbasels: Operation category READ is not supported in state standby. Visit https://s.apache.org/sbnn-error意思是namenode不可用，查看namenode状态hdfs-site.xml ...

Hbase批量导入数据时，服务器负载较高，导致HDFS数据没有及时均衡，导致有一个DataNode数据暴增，手动进行balancer。增加HDFS DataNode节点，想要均衡数据存储，执行 hdfs balancer -threshold 10 突然有一些节点报错18/09/21 17:51:37 WARN balancer.Dispatcher: Failed to...

HDFS缓存数据命令查看缓存池信息hdfs cacheadmin -listPools -stats查看已缓存的数据信息hdfs cacheadmin -listDirectives -statsImpala表卸载缓存数据alter table dw_crawler.bsl_zhongda_weibo_article_hive set uncached;创建缓存池h...

关键字：hdfs fsck、block、locations在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。fsck命令必须由HDFS超级用户来执行，普通用户无权限。[hadoop@dev ~]$ hdfs fsckUsage: DFSck [-list-corruptfileblocks | [-move | -del...

搭建Hadoop配置，NameNode 所需大小，与Block大小，HDFS副本数均有关，计算方式如下：Namenode需要的内存注意：以上计算Block数量只是粗略计算，文件名称的长度和系统目录的个数 两个也需要NameNode来进行管理。

package com.jast.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import o...

场景NameNode迁移，导致一个节点无法启动异常在Namenode主动迁移，或者Namenode机器挂掉无法恢复时，我们需要Namenode节点迁移，迁移经常会出现一个NameNode启动成功，另外一个standby启动失败，报错如下2019-09-27 15:19:23,818 WARN org.apache.hadoop.hdfs.server.namenode.FSNam...