cai453414953的博客

背景 使用FusionInsight Manager上的sparkstreaming消费kafka数据到hive 编写 修改FusionInsight client的spark2中的demo进行流程测试 修改maven中的依赖，将所有的dependency增加<scope>provided</scope>，使用maven打包 <build> <plugins> <plugin>

环境准备 cdh集群，开启kerberos认证，需要通过spark访问hbase 本地idea开发 //是否需要kerberos认证 val IS_KERBEROS = PropertiesUtils.getBoolean("hbase.kerberos") //krb5.conf路径 val KRB5_CONF_PATH = PropertiesUtils.getString("java.security.krb5.conf") //hbase.keytab路径 val KEYTAB_PATH = P