- 博客(4)
- 收藏
- 关注
RSS订阅原创 flink架构
摘要：Flink是一种分布式流处理框架，采用主从架构设计，支持低延迟、高吞吐的有状态计算。其核心组件包括负责调度的JobManager（含Dispatcher、ResourceManager等子模块）和执行任务的TaskManager（通过TaskSlot运行算子计算）。架构特点包含Slot共享优化、本地状态存储机制，以及客户端提交作业流程，延续了Hadoop的分布式思想，通过主节点协调、从节点并行计算实现高效处理。该架构为后续实现高可用容错机制奠定了基础。
2025-07-18 00:46:30
341
原创 hive-reducer是否会分发文件？
问题摘要：Hive任务在处理90天数据（1440个分区）时仅生成400+个reduce任务，与预期不符（应等于分区数）。单日处理16个分区时却能正确匹配reduce数量。
2025-07-17 23:02:48
269
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人