- 博客(14)
- 收藏
- 关注
RSS订阅原创 dolphinscheduler3.1.9安装
将驱动分别放到./pi-server/libs、./alert-server/libs、./master-server/libs、./worker-server/libs、./tools//libs、./standalone-server/libs/standalone-server 目录下。浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统UI。创建数据库 数据库跟用户密码都可以自定义，也可以跟ds不在同节点。
2024-06-26 18:47:01
722
原创 seatunnel同步mongodb的json数据到hive
下载connector-hive-2.3.4.jar、connector-mongodb-2.3.4.jar到./connectors。一定要把sink的source_table_name 指定为transform的result_table_name。不要选高版本，高版本没有./bin/mongo目录 不能连接mongo。会把所有需要的connector都下载 一天别干别的了。配置执行引擎 spark or flink。2.安装mongodb。3.同步数据到hive。
2024-04-25 10:55:36
904
5
原创 doris hdfs load与broker load参数对比
doris1.2 默认支持broker load。2.1 2.0默认支持hdfs load。broker load参数如下。hdfs load参数如下。建议用hdfs load。
2024-03-19 14:03:57
464
1
原创 finebi不能修改用户名但能修改姓名
finebi在创建用户的时候用户名可以用user1密码User1@123姓名是使用者姓名。为了防止A离职导致新入职的B的账号是A。
2024-03-15 16:10:27
423
1
原创 hive on spark时间大小比较
select date_format(current_timestamp,‘yyyy-MM-dd HH:mm:ss’)=current_date 返回 true。select date_format(‘2024-03-14’,‘yyyy-MM-dd HH:mm:ss’)=‘2024-03-14’ 返回 false。猜猜以下两个sql的返回结果。
2024-03-14 17:26:03
456
1
原创 doris 1064 - errCode = 2, detailMessage = Exceeded the maximum number of child expressions (10000).
doris 1064 - errCode = 2, detailMessage = Exceeded the maximum number of child expressions (10000).因为 where in (list) list太长 可以用多个or拼接
2022-01-24 16:09:01
5209
1
原创 count(1),count(id),count(distinct id)的不同
select count(1),count(id),count(distinct id) from(select 1 as idunion allselect 1 as idunion allselect 2 as idunion allselect null as id) a;
2021-09-22 15:25:40
361
原创 大数据与信息泄露
很多人担心信息泄露，很多公司也有大数据，如果打开滴滴它就知道你去哪里，打开京东它就知道你要买什么，打开饿了么你能实时知道自己的饭在哪，这是互利互惠的。既然改变不了它，那就多几个智能笔记本吧...
2021-04-21 08:47:33
540
原创 spark on yarn client与cluster的区别
yarn-client和yarn-cluster的区别Cluster运行在applicationmaster中，提交了作业之后可以关闭client，在yarn上运行Client 运行在本地客户端，client不能离开
2021-02-18 10:59:17
136
原创 spark节点启动流程
1通过create在master节点创建rpcenv2通过setupendpoint在master节点创建masterendpoint3通过create在worker节点创建rpcenv4通过setupendpoint在woker节点创建workerendpoint5通过setupendpointref在woker节点创建masterendpointref6masterendpointref向masterendpoint注册包括内存cpu等7masterendpoint在table中注册work
2021-02-18 10:41:10
416
原创 Spark通信架构
Spark通信架构之前是akka现在是netty 都是邮局模型 弃用akka的原因是akka不同版本之间不能通信RpcEndpoint 通过Dispatcher把内部消息发送给inbox 把外部消息发送给outbox ，Outbox通过transportclient把消息发送出去 其他组件只有一个 outbox、transportclient有多个 是一对一的，transportserver接收外部的消息到dispatcher...
2021-02-18 10:20:10
175
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人