- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 4、Apache Hudi：Spark读取Binlog并写入
1、数据准备使用canal将mysql binlog的数据发送到kafka中2、程序编写1、消费kafka中的binlog数据val kafkaParams = Map[String, String]( "bootstrap.servers" -> "xxx.xxx.xxx.xxx:9092", "auto.offset.reset" -> "latest", "key....
2019-12-11 15:11:45
3420
7
原创 2、Apache Hudi入门
1、编译github地址：https://github.com/apache/incubator-hudicd incubator-hudi-hoodie-0.4.7mvn clean install -DskipITs -DskipTests -Dhadoop.version=2.6.0-cdh5.13.0 -Dhive.version=1.1.0-cdh5.13.02、...
2019-12-11 14:23:20
2548
1
原创 SparkSQL集成sentry权限认证
0、SparkSQL要集成sentry权限认证要解决下面几个问题：1、从hive认证hook中找到sentry认证方法，并将认证代码提取出来2、从spark sql的逻辑计划中提取sentry认证方法所需的参数3、通过spark sql extensions将认证添加到spark sql的执行过程中1、提取sentry认证方法从sentry源代码中逐步查看hive hook的代码，终于找...
2019-11-05 19:15:16
2165
3
原创 Kyuubi采坑记录
1、hive meta server使用sentry权限认证，kyuubi在opensession的时候初始化默认数据库会报空指针异常问题版本：0.8原因：hive metahook过滤元数据的时候需要从配置中获取用户名，属性名是hive.sentry.subject.name，但是在sparkcontext初始化的时候并没有设置该属性解决方案：在sparkcontext初始化的时候设置参数...
2019-11-04 18:22:09
1176
Atlas文档-中文版.docx
2019-11-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人