kerberos认证 flink 写入hive hdfs hudi hbase 配置总结

一、修改flink配置文件:  flink-conf.yaml 加入以下内容
	security.kerberos.login.keytab:keytab
	security.kerberos.login.principal: suser@AD-abc-UAT.COM 
	env.java.opts: -Djava.security.krb5.conf=/etc/krb5.conf 
	security.kerberos.login.contexts: Client,KafkaClient
	
二、写入hdfs，提交用户给与hdfs上可操作性权限，列如：flink 用户  需开通hdfs /user/flink 操作权限
	
三、写入hbase，flink-conf.yaml 加入以下内容 ，给用户开通hdfs /hbase  /user/hbase 操作权限

# Below configurations are applicable if ZK ensemble is configured for security
zk没有开始认证 需要此配置
zookeeper.sasl.disable: true

# Override below configuration to provide custom ZK service name if configured
zookeeper.sasl.service-name: zookeeper

# The configuration below must match one of the values set in "security.kerberos.login.contexts"
zookeeper.sasl.login-context-name: Client

另外 flinksql  sink  hbase  
flink/lib 下加入以下包
flink-connector-hbase-2.2_2.12-1.13.2.jar
flink-connector-hbase-base_2.12-1.13.2.jar

四、写入hive 开通/user/hive/warehouse/ 对应目录的权限；hive3.0应使用hive外表，内表默认支持事务 insert-only，仅orc个格式支持
五、写入hudi 开通/user/hudi/权限
 1、 flink/lib 加入 hudi-flink-bundle_2.11-0.10.1.jar
 2、 集群 辅助jar目录加入 hudi-hive-sync-0.10.1.jar hudi-hadoop-mr-bundle-0.10.1.jar，将jar放入辅助jar目录，重启hs2;
 3、 hive 配置服务端高级代码段加入配置 ，用以支持set key value
<property>
    <name>hive.security.authorization.sqlstd.confwhitelist.append</name>
    <value>mapred.*|hive.*|mapreduce.*|spark.*</value>
</property>
<property>
    <name>hive.security.authorization.sqlstd.confwhitelist</name>
    <value>mapred.*|hive.*|mapreduce.*|spark.*</value>
</property>

以上为自己使用总结。