- 博客(11)
- 收藏
- 关注
RSS订阅原创 数据血缘Atlas Rest-API使用
Type即元数据类型定义，这里可以是数据库、表、列等，还可以细分spark表(spark_table)，hive表(hive_table)等，atlas自带了很多类型，如DataSet，Process等，一般情况下，数据相关的类型在定义类型的时候都会继承DataSet，而流程相关的类型则会继承Process，便于生成血缘关系。注：Atlas管理的对象就是各种Type的Entity，因此先创建好Type再创建Entity，Type创建一次即可。
2023-01-31 14:45:48
2695
7
原创 Flink任务失败，检查点失效：Exceeded checkpoint tolerable failure threshold.
在报Exceeded checkpoint tolerable failure threshold.错误的之前，是先报的是Checkpoint expired before completing.大概意思是检查点在完成前过期了。
2022-07-19 10:39:01
14077
1
原创 在springboot主程序启动后实现多个程序自动运行
在springboot的项目中，需要在容器启动之后执行一些操作，springboot提供了ApplicationRunner和CommandLineRunner两个接口，按理说可以帮助我们实现这种需求。但在项目里有两个程序实现了ApplicationRunner接口，并将逻辑代码分别放在了run()方法里，实际只能运行起来一个程序.
2022-03-22 15:36:49
2022
1
原创 SpringBoot与es(elasticsearch)整合问题集锦
在springboot项目中，针对elasticsearch读写遇到的问题记录.
2022-03-22 14:23:24
3704
原创 StarRocks-生产环境问题集锦
实时平台设计方案将最终目的数据库更换为StarRocks,使用后的感受简直就是更快更高更强，但在开发使用过程中也遇到了一些小问题(以下问题均出现在Flink写入StarRocks架构中).
2022-03-21 17:22:59
5242
2
原创 clickhouse-生产环境问题集锦
项目场景：实时平台最初设计方案，目的数据库为clickhouse,在使用过程中遇到的问题.问题描述及解决方案1.ReplacingMergeTree去重字段数据类型约束must be of an integer type or of type Date or DateTime2.建分片表找不到cluster原因：在metrika-shard.xml文件中指明了clickhouse_remote_server,由于版本问题现需要在config.xml文件中的remote_serve
2022-03-21 16:57:03
1689
原创 Flink-生产环境问题集锦
项目场景：平台初始搭建，在项目开发过程中遇到的问题.问题描述及解决方案1.在程序中将状态后端保存到HDFS，运行程序时报错失败Caused by: java.lang.RuntimeException: Error while waiting for job to be initialized…Caused by: org.apache.flink.runtime.rest.util.RestClientException: [org.apache.flink.runtime.rest.No
2022-03-21 16:33:19
5158
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人