- 博客(3)
- 收藏
- 关注
RSS订阅原创 华为FusionInsight sparkstreaming消费kafka kerberos异常解决
背景使用FusionInsight Manager上的sparkstreaming消费kafka数据到hive编写修改FusionInsight client的spark2中的demo进行流程测试修改maven中的依赖，将所有的dependency增加<scope>provided</scope>，使用maven打包 <build> <plugins> <plugin>
2020-12-02 15:22:34
969
2
原创 cdh开启kerberos，spark访问hbase，在yarn-cluster环境提交执行
环境准备cdh集群，开启kerberos认证，需要通过spark访问hbase本地idea开发//是否需要kerberos认证val IS_KERBEROS = PropertiesUtils.getBoolean("hbase.kerberos")//krb5.conf路径val KRB5_CONF_PATH = PropertiesUtils.getString("java.security.krb5.conf")//hbase.keytab路径val KEYTAB_PATH = P
2020-11-18 14:16:13
708
原创 本地idea测试 spark读取本地文件放到ha hdfs 报UnknownHostException异常
本地idea测试时，遇到java.net.UnknownHostException报错方案1：在resources目录下添加core-site.xml和hdfs-site.xml文件，（失败）方案2：在代码中直接引入（成功） context = session.sparkContext context.hadoopConfiguration.set("fs.defaultFS", "hdfs://my_cluster") context.hadoopConfiguratio
2020-10-20 15:13:56
1077
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人