M_red的博客

Linux交换分区的作用是在系统内存不足时，充当额外的虚拟内存空间，以满足系统对内存的需求。当系统内存不足时，操作系统将一部分内存中的数据转移到交换分区中，以释放内存空间供其他程序使用。交换分区可以减少系统因内存不足而导致的性能问题，同时还可以提供一种冗余的备份机制，确保系统在内存不足时能够继续正常运行。交换分区的大小一般设置为系统内存大小的1.5倍到2倍之间。

前言：重启集群后某一节点HRegionServer服务停止，重启前所有服务均正常。去查看对应节点后台，发现ntp服务正常启动，但是没有与主节点进行时间同步。怀疑是主节点ntp服务没启起来，去主节点查看ntp是active状态，

上午11点19:08.002分 ERROR cc:291 Aborting Impala Server startup due to improper configuration. Impalad exiting.错误信息提到了 dfs.domain.socket.path 的父目录不可读或不可执行。前言：集群扩节点，新加节点的Impala Daemon起不起来了。去hdfs配置里查找dfs.domain.socket.path。去后台，找没有启动的Impala Daemon节点，创建这个目录。

在配置 Hive 的高可用性（High Availability，HA）环境时，ZooKeeper 可以用于管理和协调 Hive 的主从节点，确保 Hive 元数据服务的可用性和一致性。ZooKeeper 是 HBase 集群的协调服务，它存储了 HBase 集群的状态信息、表结构信息、RegionServer 的信息。zookeeper的结构为树状结构，其每个树状节点中存储着其他组件的元数据。有着独特的选举机制，一般在中小型集群中，zookeeper一般装在。

前言：集群主节点根目录内存快爆了，开始清理主节点内存重启组件，发现Kerberos认证的角色用户都过期了，又重新生成了一下角色，在启动impala组件过程中，其中一个Impala Daemon组件启动失败。

该主机与 Cloudera Manager Server 失去联系的时间过长。该主机未与 Host Monitor 建立联系这个去集群主机cm界面上看会出现这个错误。可能和集群时间不同步有关，也有可能和agent服务有关。

可以看到本该挂载到/data5目录的磁盘sdf1被挂到了/data1上面。磁盘重新卸载下去后，重新去 /etc/fstab文件配置一下。所以现在需要把/disk1目录下挂载的所有磁盘卸载下去。结果挂载的五块磁盘全部挂载在/disk1 目录当中。发现之前在设置挂载点的时候挂载目录忘记更改了。在最后一步挂载时，发现有块磁盘没挂载上去。之前按照文档挂载磁盘。属于磁盘挂载重复错误。

链接的数据库和用户用的和刚开始初始化cm用的数据库用户是同一个，初始化失败。单独搞一个数据库用户给hive。链接的数据库和用户没给管理员权限。给用户DBA的权限。

ResourceManager 在启动过程中遇到了 Zookeeper 认证权限的问题。具体来说，出现了 “NoAuthException: KeeperErrorCode = NoAuth for /rmstore/ZKRMStateRoot”。前言：cdp集群装了Kerberos认证，在进行权限集成时集群所有组件高可用状态失效，yarn组件ResourceManager停止。我又去zk上面看看打算把znode节点删除试试，结果又出幺蛾子了。zookeeper要我权限认证，现在连最基本的ls都看不了了。

编译语句时出错：失败：执行错误，从org.apache.hadoop.hive.ql.exec.tez返回代码2。Vertex的任务资源超出了集群容器的能力，Vertex=Vertex_1710760432_005_1_00[映射1]，请求的任务资源=＜memory:4096，vCores:1＞，集群最大容器容量=＜memory:3348，vCore:4＞最近新搭建了一套cdp测试集群，在hue界面测试hive语句时，建表正常，但是出现插入数据失败问题。修改后，重启集群使配置生效。

此部分为在cm界面上进行操作的步骤，关于ldap安装的部分可直接参考之前的文章。

【代码】CDH集群离线搭建(适用内网)——OpenLdap与SSH集成

修改/etc/sssd/sssd.conf文件，在执行authconfig命令时会默认生成，如果文件不存在则新建。下面这几个文件配置都会更改，做完上面的步骤自己可以排查一下。执行如下命令配置并启用sssd服务。修改sssd.conf文件权限。启动相关服务并加入系统自启动。

【代码】CDH集群离线搭建(适用内网)——LDAP安装和配置⑪。

在hive配置中搜索：Hive Metastore Server Default Group，然后[勾选] Hive Metastore Server Default Group。点击hdfs组件，点击配置，在搜索框中搜索：“启用访问控制列表"或者"dfs.namenode.acls.enabled”，然后[勾选] HDFS (Service-Wide)；点击hue服务，点击配置，在搜索栏中搜索：Sentry，然后Sentry Service [勾选] Sentry。保存并重启HDFS服务。

修改/etc/krb5.conf文件修改/var/kerberos/krb5kdc/kdc.conf文件，修改EXAMPLE.COM为自己公司的域名。修改/var/kerberos/krb5kdc/kadm5.acl文件，修改EXAMPLE.COM为自己公司的域名。在cm界面开启Kerberos认证......

按照这篇内容操作你可以实现什么：在设置的两台机器上可以成功启动Haprox和Keepalived进程和服务，并连接运行

hdfs高可用配置和操作，yarn高可用操作，sentry高可用配置和操作

1.登录CM管理界面，输入用户名和密码（admin/admin）,继续这里根据具体需求进行选择进入下一个界面，点击继续集群名称，根据需求改，直接编辑即可这里要把需要的主机ip纳入管理，在主机名称中输入ip进行搜索,选中所有主机后点击继续这里选择自定义存储库 http://172.21.35.243/cm6.3.1/选择更多选项，删除多余的远程 Parcel 存储库 URL，添加parcel的远程安装库为：http://172.21.35.243/cdh6.3.2/点击保存更改。

jdk-8u161-linux-x64.tar.gz需要自行上传。rz命令上传jdk文件。上传完成后进行下面操作。

授权192.168.1.0-192.168.1.255网段上的所有机器可以从这台机器上查询和同步时间。#添加内容如下，用于保证硬件时间与系统时间一致。#在已经注释下的配置增加一些配置。#列出上层NTP服务器的连接状态。#在已经注释下的配置增加一些配置。#查看chrony服务是否存在。server 服务端ip。

关于mysql主从最好在cm安装之前就做好。

全是干货，没有一句废话

实现目标：将CDP集群中所有主机的名字XXXX更改为XXXX.hadoop.com步骤：进入cm界面，把所有服务全部关闭，cm服务也关闭

所有的nameNode 都是standby状态,在所有的nameNode上执行，停掉HDFS的服务,备份好数据。然后重启HDFS服务即可。版本：cdp7.1.7。

1.查看活跃节点namenode界面，显示存在226块丢失，并依次在界面显示这里会显示损坏块的路径，记下来到后面会用到。2.这些坏块就是损坏的文件，自己可以在web ui界面上可以看到，文件路径就是前面记下来的。2.进入集群后台查看（去对应的active namenode节点查看）这些块本身已经损坏，虽然hdfs有修复损坏块副本机制，可以自主清理。这里删除的是hdfs目录里的文件，并非是linux系统文件。如果误删文件，可以去回收站自行恢复文件。如果命令失败显示权限问题，无法删除。2.1.查看丢失文件块。