0717-6.3.0-Cloudera Manager 6.3的新功能

本文链接：https://blog.youkuaiyun.com/Hadoop_SC/article/details/102737883

Fayson的github： https://github.com/fayson/cdhproject

推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f

1 CM/CDH6.3及更高版本支持OpenJDK11

你现在可以在Cloudera Enterprise 6.3中使用OpenJDK 11，在集群中安装OpenJDK 11时，默认使用G1GC为CDH大多数服务作为垃圾回收机制，这可能需要进行调优以避免内存过量使用。

OPSAPS-50993, OPSAPS-49390, OPSAPS-51643

2 CM支持FreeIPA和RedHat Identity Manager

Cloudera Manager现在支持FreeIPA和RedHat Identity Manager作为Kerberos KDC类型。

3 SPNEGO/Kerberos支持CM和API

Cloudera Manager管理控制台和API现在支持Kerberos身份认证（使用SPNEGO）。仅支持客户端使用SPNEGO(例如curl)。Cloudera Manager的Swagger和Python SDK不支持SPNEGO。

启用SPNEGO后，基于Swagger的Java和Python SDK以及较旧的Java SDK仍然可以使用HTTP Basic Authentication进行身份认证。旧版本的Python SDK已弃用。如果你需要依赖已经弃用的Python客户端进行一些操作，请不要启用SPNEGO。

如果你想为Cloudera Manager控制台和API启用SPNEGO/Kerberos认证，可以在Settings > Administration > External Authentication > “Enable SPNEGO/Kerberos Authentication for the Admin Console and API” 中勾选checkbox。需要重启Cloudera Manager才会生效。同时需要为集群启用Kerberos。

Cloudera Issue: OPSAPS-49753, OPSAPS-24297

4 Cloudera Manager Server证书到期监控和告警

现在，Cloudera Manager会在Cloudera Manager服务器TLS证书到期之前60天提醒你。你可以通过在Cloudera Management Service配置页面中搜索Expiry来查看和修改阈值。

注意：TLS证书到期告警仅适用于Cloudera Manager Server证书。它不会在其他服务使用的证书即将到期前发出警告。

Cloudera Issue: OPSAPS-35977

5 Root CA支持Auto-TLS

对于新搭集群，auto-TLS可以为现有内部root CA创建并使用中间CA。这将建立对现有内部root CA的信任链，并允许信任root CA的内部主机在访问集群的web资源时不会出现浏览器安全警告。

已经部署好的集群不支持该功能。

Cloudera Issue: OPSAPS-50063

6 Service和Host Monitor的GC配置

Cloudera Manager的Host monitor和Service Monitor默认使用G1GC作为垃圾回收。你可以在Java Configuration Options for Host Monitor和Java Configuration Options for Service Monitor配置属性中修改Java选项，进入Clusters > Cloudera Management Service然后搜索“java”。

Cloudera Issue: OPSAPS-50123

7 JournalNode Syncer的新配置参数

CDH6.3及以后版本增加了Enable JournalNode Syncer。启用后，JournalNode 会定期将edits log与其它JournalNode进行同步。

当HDFS启用高可用后，HDFS增加Shared Edits Directory，这使JournalNode Syncer可以启动并正常工作。

Cloudera Issue: OPSAPS-51249

8 新的Kafka配置参数和指标

如果使用CDK 4 Kafka版本，Cloudera Manager新增以下Kafka配置与默认值：

num.network.threads=8
num.recovery.threads.per.data.dir=1
num.replica.fetchers=4 (default changed from 1)

新指标：

broker
broker level topic
controller
fetch session cache
log cleaner
network
replica manager
session expire listener
zookeeper client

Cloudera Issue: OPSAPS-49741

9 通过CM模板简化了启用Kerberos

在Cloudera Manager模板的instantiator部分中添加了一个名为enableKerberos的新部分，比如：

"instantiator": { 
    "clusterName": "test", 

     "enableKerberos": { 
         "datanodeTransceiverPort" : <optional/default 1004>, 
         "datanodeWebPort" : <optional/default 1006> 
      }, 
      . 
      .

这个模板可以为所有服务启用Kerberos。

Cloudera Issue: OPSAPS-49704

10 Cluster Administrator角色现在可以创建和删除Data Context

在Virtual Private Cloud环境中仅仅能访问base集群的Cluster Administrator角色的用户，现在可以创建和删除Data Contexts。

Cloudera Issue: OPSAPS-49478

11 YARN配置参数

新增YARN配置参数：Enable Container Launch Debug Information，默认是禁用的。以前这个配置需要在NodeManager Advanced Configuration Snippet for yarn-site.xml中添加。

Cloudera Issue: OPSAPS-50709

12 Kudu集成Sentry

Cloudera Manager现在可以配置Kudu集成Sentry。

Cloudera Issue: OPSAPS-50359

13 Network Performance Inspector现在包含网络带宽测试

你现在可以使用Network Performance Inspector进行集群之间的网络带宽测试。

Cloudera Issue: OPSAPS-49682

14 计算集群支持Kafka

现在，你可以将Kafka服务添加到计算集群中。Kafka将在多个Kafka实例之间共享Sentry服务。

Cloudera Issue: OPSAPS-49165

15 改进BDR的Log Retention

现在，当你使用自定义日志位置进行BDR复制时，自动日志过期将根据设置清除这些自定义复制日志和元数据文件。为了维护每个复制调度任务的信息，设置现有用户可写的HDFS有效路径非常重要。

OPSAPS-50880

16 BDR诊断包包含过滤后的NameNode和Hive Metastore角色日志

BDR诊断包现在包含源集群和目标集群经过过滤的NameNode和Hive Metastore角色日志。可以根据以下条件过滤日志：

诊断包中运行的所有复制任务的最早开始时间戳和最新结束时间戳。
HDFS和Hive复制作业的源和目标集群上已配置的日志级别（默认为INFO）。

以下角色日志会包含：

HDFS NameNode(HDFS和Hive复制作业)
Hive Metastore(Hive replication)

源集群和目标集群的角色日志最大上限均为201 MB（这是正常的CDH角色日志大小）。

你可以使用以下高级配置代码段配置这些日志集合：

HDFS Replication Advanced Configuration Snippet (Safety Valve) for hdfs-site.xml
Hive Replication Advanced Configuration Snippet (Safety Valve) for hive-site.xml

在适用于Hive或HDFS的Advance Configuration Snippet输入以下配置参数(默认值在方括号中)：

SKIP_HIVE_LOG_COLLECTION [false]
SKIP_HDFS_LOG_COLLECITON [false]
LOG_LEVEL [INFO]
LOG_SEARCH_TIMEOUT_MILLIS [300000]
LOG_ROLE_RESULT_LIMIT [10000]
LOG_TOTAL_BYTES_LIMIT [210763776]

Cloudera Issue: OPSAPS-49988