- 博客(19)
- 收藏
- 关注
RSS订阅原创 starrocks fe一直起不来因为catalog
starrocks3.4.0视图需要用到paimon catalog所以fe一直起不来。starrocks正常运行时不报字段类型不匹配的错误,但是启动fe的时候报错。解决办法 fe conf增加配置 忽略视图异常。报错原因是找不到表或字段类型不匹配。
2025-12-15 17:11:15
190
原创 prometheus监控flink1.20(job数量和运行时长)
flink config.yaml增加如下配置。prometheus增加如下配置。显示每个job运行时长。根据job数配置告警。
2025-12-09 14:50:08
125
原创 starrocks be定时重启(解决be重启后jdbc catalog导数时be总是挂掉的问题)
ssh执行命令时 先加上source /etc/profile;
2025-11-24 12:25:39
102
原创 安装高可用3.4.2版apache hadoop集群
配置./etc/hadoop下的core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、workers。集群遇到故障需要重新格式化的时候 停止集群、删除 ./logs ./data下的内容 再格式化。0、准备好jdk、免密登录、zk等前提环境。mapred-site.xml内容如下。core-site.xml内容如下。hdfs-site.xml内容如下。yarn-site.xml内容如下。2、下载并安装hadoop。worksers内容如下。
2025-10-20 17:20:41
737
原创 dolphinscheduler3.1.9安装
将驱动分别放到./pi-server/libs、./alert-server/libs、./master-server/libs、./worker-server/libs、./tools//libs、./standalone-server/libs/standalone-server 目录下。浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统UI。创建数据库 数据库跟用户密码都可以自定义，也可以跟ds不在同节点。
2024-06-26 18:47:01
1206
原创 seatunnel同步mongodb的json数据到hive
下载connector-hive-2.3.4.jar、connector-mongodb-2.3.4.jar到./connectors。一定要把sink的source_table_name 指定为transform的result_table_name。不要选高版本，高版本没有./bin/mongo目录 不能连接mongo。会把所有需要的connector都下载 一天别干别的了。配置执行引擎 spark or flink。2.安装mongodb。3.同步数据到hive。
2024-04-25 10:55:36
1153
5
原创 doris hdfs load与broker load参数对比
doris1.2 默认支持broker load。2.1 2.0默认支持hdfs load。broker load参数如下。hdfs load参数如下。建议用hdfs load。
2024-03-19 14:03:57
542
1
原创 finebi不能修改用户名但能修改姓名
finebi在创建用户的时候用户名可以用user1密码User1@123姓名是使用者姓名。为了防止A离职导致新入职的B的账号是A。
2024-03-15 16:10:27
465
1
原创 hive on spark时间大小比较
select date_format(current_timestamp,‘yyyy-MM-dd HH:mm:ss’)=current_date 返回 true。select date_format(‘2024-03-14’,‘yyyy-MM-dd HH:mm:ss’)=‘2024-03-14’ 返回 false。猜猜以下两个sql的返回结果。
2024-03-14 17:26:03
502
1
原创 doris 1064 - errCode = 2, detailMessage = Exceeded the maximum number of child expressions (10000).
doris 1064 - errCode = 2, detailMessage = Exceeded the maximum number of child expressions (10000).因为 where in (list) list太长 可以用多个or拼接
2022-01-24 16:09:01
5541
1
原创 count(1),count(id),count(distinct id)的不同
select count(1),count(id),count(distinct id) from(select 1 as idunion allselect 1 as idunion allselect 2 as idunion allselect null as id) a;
2021-09-22 15:25:40
412
原创 大数据与信息泄露
很多人担心信息泄露，很多公司也有大数据，如果打开滴滴它就知道你去哪里，打开京东它就知道你要买什么，打开饿了么你能实时知道自己的饭在哪，这是互利互惠的。既然改变不了它，那就多几个智能笔记本吧...
2021-04-21 08:47:33
568
原创 spark on yarn client与cluster的区别
yarn-client和yarn-cluster的区别Cluster运行在applicationmaster中，提交了作业之后可以关闭client，在yarn上运行Client 运行在本地客户端，client不能离开
2021-02-18 10:59:17
157
原创 spark节点启动流程
1通过create在master节点创建rpcenv2通过setupendpoint在master节点创建masterendpoint3通过create在worker节点创建rpcenv4通过setupendpoint在woker节点创建workerendpoint5通过setupendpointref在woker节点创建masterendpointref6masterendpointref向masterendpoint注册包括内存cpu等7masterendpoint在table中注册work
2021-02-18 10:41:10
445
原创 Spark通信架构
Spark通信架构之前是akka现在是netty 都是邮局模型 弃用akka的原因是akka不同版本之间不能通信RpcEndpoint 通过Dispatcher把内部消息发送给inbox 把外部消息发送给outbox ，Outbox通过transportclient把消息发送出去 其他组件只有一个 outbox、transportclient有多个 是一对一的，transportserver接收外部的消息到dispatcher...
2021-02-18 10:20:10
226
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人