- 博客(3)
- 收藏
- 关注
RSS订阅原创 华为FusionInsight sparkstreaming消费kafka kerberos异常解决
背景 使用FusionInsight Manager上的sparkstreaming消费kafka数据到hive 编写 修改FusionInsight client的spark2中的demo进行流程测试 修改maven中的依赖，将所有的dependency增加<scope>provided</scope>，使用maven打包 <build> <plugins> <plugin>
2020-12-02 15:22:34
1076
2
原创 cdh开启kerberos，spark访问hbase，在yarn-cluster环境提交执行
环境准备 cdh集群，开启kerberos认证，需要通过spark访问hbase 本地idea开发 //是否需要kerberos认证 val IS_KERBEROS = PropertiesUtils.getBoolean("hbase.kerberos") //krb5.conf路径 val KRB5_CONF_PATH = PropertiesUtils.getString("java.security.krb5.conf") //hbase.keytab路径 val KEYTAB_PATH = P
2020-11-18 14:16:13
793
原创 本地idea测试 spark读取本地文件放到ha hdfs 报UnknownHostException异常
本地idea测试时，遇到java.net.UnknownHostException报错 方案1：在resources目录下添加core-site.xml和hdfs-site.xml文件，（失败） 方案2：在代码中直接引入（成功） context = session.sparkContext context.hadoopConfiguration.set("fs.defaultFS", "hdfs://my_cluster") context.hadoopConfiguratio
2020-10-20 15:13:56
1219
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人