- 博客(11)
- 收藏
- 关注
RSS订阅原创 StreamPark的云原生flink任务failed over问题分析
在这里相关的镜像仓的设定应该提前设定好，并且需要注意的，该任务镜像包含了用户自定义的UDF可能存在一定的隐私性，最好能够提供一个私有的镜像仓（如自建harbor）。 【镜像创建】成功后，如果容器进行了重启，只会导致新启动的SP容器中工作空间目录、podTemplate文件缺失，如果使用podtemplate，则会因文件确认导致后续的【任务执行】失败。在这里，依赖jar包应该为。 【任务创建】成功后，相关依赖JAR包将会被下载到本地的工作空间，如果容器重启后，已经下载完成的jar包将会消失。
2023-12-25 19:26:35
900
原创 StreamPark获取Flink中信息的两种方式源码解读
经过对SP的源码解读，发现SP对Flink的Metric等信息的监控分为两种实现方式，在K8S模式下获取的方式和其他方式有所区别，且K8S模式下为scala代码实现，其他模式为java代码实现，不过最终都是从Flink Web UI中获取数据。
2023-12-25 19:14:34
304
原创 使用DataStream API方式开发Flink程序
我们需要添加的依赖最重要的就是 Flink 的相关组件，包括 flink-java、flink-streaming-java，以及 flink-clients（客户端，也可以省略）。
2023-12-25 18:42:14
795
原创 用户Flink任务监控功能-设计
用户隔离: Prometheus与ECharts的组合使得用户隔离更加容易。可以实施自定义逻辑，确保每个用户只能访问和查询与他们自己相关的数据。这可以更好地满足多租户环境中的需求，确保用户只能看到自己的数据。自定义视图: 使用ECharts，可以轻松自定义图表的外观和交互。这意味着可以根据用户需求创建特定的监控仪表板和可视化效果，而无需受限于Grafana的默认视图。这种灵活性使能够更好地满足不同用户的需求。
2023-12-25 18:30:28
1006
原创 记录flink-cdc-doris踩得一个大坑
最近在做mysql-doris的cdc,但是无论怎么操作,,卡了3-4个工作日,影响心情!先说结论,就是一定要开启checkpoint,因为。
2023-11-29 20:23:47
1127
1
原创 hadoop3.3.6的快速部署,并使用broker将数据从hdfs导入到doris
其中 192.168.1.210 是你服务器的地址,9000是端口,这个在doris的broker组件从doris读取数据时需要,这个在java类编程读取数据时也需要,可以理解为对外的ip。/root/hadoop/hadoop-3.3.6/etc/hadoop 中的core-site.xml。否则在执行start-all.sh的时候,会报错,在此记不清具体步骤了 可以在启动时进行查看,– hadoop.tmp.dir 默认是 /tmp/hadoop-root/1.首次启动之前需要format操作。
2023-11-28 15:36:21
346
原创 flink on k8s的基本介绍
Apache Flink 是一个流处理引擎，具有高效的流处理和批处理能力，以及良好的可伸缩性和容错性。Kubernetes（简称 K8s）是一种容器编排系统，用于自动化容器部署、扩展和管理。将 Flink 部署在 K8s 上可以充分利用 Kubernetes 的优势，实现流处理的高可用、高性能和高弹性。
2023-11-28 14:55:29
1250
原创 Flink K8s Application任务的使用
这里我们可以指定一定的运行参数，相关的参数设定方案请参考官方文档https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/deployment/config/#kubernetes。 PodTemplate主要是通过指定pod的启动样例，在podtemplate中可以指定域名、挂载路径、配置文件、初始化容器等信息，如下给出一个提供一个将保存点持久化的的podtemplate。制作镜像，在这里通过官方文档进行。
2023-11-28 14:53:25
1098
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人