lisery的博客

要使用基于Quorum的存储部署HA群集，您应该准备以下内容： 1.NameNode hosts：这些是您在其上运行活动和备用NameNode的主机。它们应该具有相同的硬件，以及与非HA集群中使用的硬件等效的硬件。 2.JournalNode hosts：这些是您运行JournalNodes的主机。 Cloudera建议您在“主”主机或主机上部署JournalNode守护程序（NameNode...

我的大数据集群环境为cdh5.11.1，在该环境中spark的版本为spark-1.6.0。CDH从5.5开始Spark distro不带Thrift Server分布式SQL引擎、以及spark-sql脚本。Thrift Server是Spark异构数据大融合愿景重要入口之一，spark-sql脚本是测试SQL利器，但CDH优先推自家impala, SparkSQL虽然不是Spark的主要功能...

手动故障切换到备用NameNode使用Cloudera Manager手动故障转移到备用NameNode如果您正在运行启用了HA的HDFS服务，则可以手动使活动的NameNode故障切换到备用NameNode。这对计划中的停机时间很有用 - 用于主要主机的硬件更改，配置更改或软件升级。 1.转到HDFS服务。 2.单击实例选项卡。 3.点击联合和高可用性。 4.找到要在Name...

背景在标准配置中，NameNode是HDFS集群中的单点故障（SPOF）。每个群集都有一个NameNode，如果该主机或进程不可用，整个群集将不可用，直到NameNode重新启动或在新主机上启动为止。 Secondary NameNode不提供故障转移功能。 标准配置通过两种主要方式来降低HDFS集群的总可用性： - 在发生主机崩溃等意外事件时，直到操作员重新启动NameNode，集群才可...

cloudera manager提供邮箱警告功能，方便管理员在集群出现问题的第一时间维护集群。具体操作如下：1.登录cloudera manager页面，进入cloudera manager service服务2.点击配置，在搜索框中写入alert:3.填写配置：4.邮箱服务器密码的获取方法：进入发件人的qq邮箱，用户-账户-smtp开启-服务码，具体方法可以问度娘，这里不详述。出现此页面：将授...

1.替换了logo.svg文件（源文件有备份）修改cloudera manager的logo，只需替换logo文件。文件的路径为：cm安装路径+share/cmf/webapp/static/cms/img/2.修改了message_zh_CN.properties文件（源文件有备份）页面中仍有许多仍然是clouderamanager的相关配置.修改message_zh_C...

使用Cloudera Manager更改高可用HDFS的名称服务名称有关HDFS名称空间和HDFS高可用性的背景信息，请参阅使用Cloudera Manager管理联合名称服务和启用HDFS HA 1停止除ZooKeeper之外的所有服务。 2在ZooKeeper服务器主机上，运行zookeeper-client。 执行以下操作删除配置的名称服务。这个例子假设nameservice的名...

管理HDFS高可用性群集手动故障切换到备用NameNode使用Cloudera Manager手动故障转移到备用NameNode如果您正在运行启用了HA的HDFS服务，则可以手动使活动的NameNode故障切换到备用NameNode。这对计划中的停机时间很有用 - 用于主要主机的硬件更改，配置更改或软件升级。 1.转到HDFS服务。 2.单击实例选项卡。 3.点击联合和高...

配置其他CDH组件以使用HDFS HA可以将HDFS高可用性NameNodes与CDH的其他组件一起使用。配置HBase以使用HDFS HA配置HBase以使用HDFS HA使用Cloudera Manager如果您将HBase配置为使用启用HA的HDFS实例，则Cloudera Manager会自动为您处理HA配置。使用命令行配置HBase以使用HDFS HA...

禁用和重新部署HDFS HA使用Cloudera Manager禁用和重新部署HDFS HA最低要求的角色：群集管理员（也由完全管理员提供） 1.进入hdfs服务页面 2.选择操作>禁用高可用性 3.选择NameNode和SecondaryNameNode的主机，然后单击Continue。 4.选择HDFS检查点目录并单击继续。 5.确认您要采取此操作。 6.更新hi...

HDFS高可用性（HA）群集使用两个NameNode（活动NameNode和备用NameNode）。只有一个NameNode可以在任何时间点处于活动状态。 HDFS HA依赖于在两个NameNode可用的位置维护所有名称空间修改的日志，以便在发生故障时，备用NameNode具有关于集群中块的编辑和位置的最新信息。重要提示：启用和禁用HA会导致HDFS服务和依赖于HDFS的所有服务中断服务。...

1.准备cdh集群搭建成功，且部署好zookeeper.因为kafka在CDH上要求用CDH上的Zookeeper管理而不是Kafka自带的Zookeeper管理。集群：cdh01 192.168.50.248cdh02 192.168.50.249cdh03 192.168.50.247不同版本的cdh支持不同版本的kafka.根据官方的文档：能够安装的ka...