qq_41018861的博客

一般情况下集群在数据盘配置一样，几乎使用不到rebalance，但是我们的集群中有一个比较小的数据节点，因此我们需要关注各节点数据分布情况，及时进行rebalance。2、因为rebalance期间需要占用集群资源，因此尽快完成比较重要可以使用setBalancerBandwidth设置来增加每秒流量。我们为什么使用方案一，因为我们仅仅是将配置较低的节点当做计算节点使用，并非数据节点。登录hdfs web ui发现集群中一个节点的负载远高于另外的节点。1、启动rebalance。

问题是在笔者配置集群高可用时出现，刚开始集群正常后来出现了新增的namenode服务起不起来后来修改该节点hostname替换为0.0.0.0后才得已解决，但是这个问题困扰了笔者在搭建ha开始到解决问题的日日夜夜，今天突然集群报错，造成集群瘫痪掉。

在开启HDFS HA之后，用命令查询、管理NameNode节点的状态，

今早同事突然说，hive在服务器登录不上去了，报权限问题。集群一直好好的怎么报权限问题呢个？笔者问了问情况，了解到原来该同事是看tmp目录下存储的较多的数据觉得浪费空间所以清理了/tmp。为了帮助新同事萌了解问题提供解决思路，首先这个问题比较简单，添加权限就可以，明白tmp下目录信息，特此记录。............

我于2022-06-10执行查询报错日志报错分析报错是在执行hive查询的时候报的，从报错我们可以看出这是一个map reduce阶段读取数据时候报错，是读取文件数据块异常的问题，我们可以理解为数据文件块损坏或丢失问题。遇到这个问题是因为之前升级HA集群关闭了较长一段时间，前端采集数据使用的是flume，关闭集群导致flume数据到hdfs文件没有正常关闭。因此在造成这个问题。因此我们需要找到没有正常关闭的文件并将他们修复。1、通过命令hdfs fsck /user/hive -openforwr

1 yarn用法：yarn [--config confdir] [COMMAND | CLASSNAME]参数：resourcemanager作用： 启动resourcemanager。参数选项描述-format-state-storeRMStateStore格式化. 如果过去的应用程序不再需要，则清理RMStateStore， RMStateStore仅仅在ResourceManager没有运行的时候，才运行RMStateStore-remov

（1）查看帮助 hdfs dfs -help （2）查看当前目录信息hdfs dfs -ls /（3）上传文件 hdfs dfs -put /本地路径 /hdfs路径（4）剪切文件hdfs dfs -moveFromLocal a.txt /aa.txt（5）下载文件到本地 hdfs dfs -get /hdfs路径 /本地路径（6）合并下载 hdfs dfs -getmerge /hdfs路径文件夹 /合并后的文件（7）创建文件夹 hdfs dfs -mkdir /he