
大数据中台
文章平均质量分 82
装B五分钟,挨打两小时
御剑乘风来,debug 代码间。
有酒乐逍遥,无酒我亦颠,
一饮尽江河,再饮吞日月,
千杯醉不倒,唯我酒剑仙。
愉快的编程,浪浪的写代码
展开
-
dolphinscheduler使用与测试文档
DS 使用与测试原创 2024-04-28 14:36:49 · 1136 阅读 · 0 评论 -
DolphinScheduler 集群高可用测试
Apache DolphinScheduler(简称DS)是一个分布式去中心化,易扩展的可视化DAG工作流任务调度平台。在生产环境中需要确保调度平台的稳定可靠性及任务负载均衡,本篇文档主要针对DS集群的高可用及稳定性进行测试验证。原创 2024-04-28 11:16:31 · 984 阅读 · 0 评论 -
DolphinScheduler 一个让你能一觉睡到大天亮的调度系统 886 调度流 0 失败,7239 task 成功。task 重试机制。
距离第一次尝试成功的文章(2021-06-17)https://blog.youkuaiyun.com/cs261244787/article/details/117987373 至今已经过去 3 年了。说说楼主的切身体会,和生产环境使用的对比。原创 2024-04-28 10:42:37 · 821 阅读 · 0 评论 -
大数据实时广告系统架构
大数据实时广告系统架构 文章目录大数据实时广告系统架构1 日志采集2 kafka 削峰填谷3 实时计算部分3.1 实时日志拼接、热点数据计算3.2 Flink 关联日志3.3 Flink 实时计算3.4 吐出数据到 MPP4 离线验证部分4.1 Flink 吐出到 Hive4.2 Hive 合并计算日志4.3 T+1 计算指标4.4 吐出指标到 MPP 修复昨日数据5 BI 展现实时计算 / 离线修复系统架构图 1 日志采集 通过日志订阅、用户系统接口返回等采集/接受数据 2 kafka 削峰填谷 尽量通过原创 2021-08-02 16:50:46 · 460 阅读 · 0 评论