- 博客(3)
- 收藏
- 关注
RSS订阅原创 关于apache superset添加多种数据源的一次记录
关于apache superset添加多种数据源的一次记录 其中superset安装使用可以参考官网安装，docker版本更是方便快捷，这里不做描述，附上官网传送门superset官网 添加mysql数据库作为datesource mysql://user:password@IP/dbname?charset=utf8 添加Apache Kylin作为datesource kylin://us...
2020-01-19 20:42:54
596
转载 【转】Spark Streaming输出至Kafka
由Spark Streaming 向Kafka写数据，没有现成的官方接口，需要利用Kafka提供的底层接口。 第一种写法，如下，会报错： nameAddrPhoneStream.foreachRDD(rdd => { //在Driver中执行 //初始化生产者配置 val props = new Properties() props.setProperty("...
2019-09-07 21:24:38
336
原创 关于spark中 task数据本地化的五种方式
spark中,数据的本地化方式分为五种 PROCESS_LOCAL : 进程本地化 , task计算的数据在当前Executor中 不同task计算的时候可以共同用这一个数据集,效率高,节省资源 NODE_LOCAL : 节点本地化 , task计算的数据在当前节点上,task计算的时候不需要跨节点拉取数据,速度也是比较快的 NO_PREF : 没有本地化 ,这个方式的意思就是数据不是本地化的数...
2019-03-27 13:25:36
646
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人