本文探讨了高可用离线任务的设计思路，包括分布式任务兜底和推拉数据的处理。针对如何做到高可用，文章提出了多副本容灾的三种策略：多副本选主执行、子任务选主执行和子任务都执行。此外，通过实例分析了数据不均的问题及任务池分配，以提高单机多核性能。总结了离线任务在数据分配不均和高可用性方面的挑战及解决方案。
高可用离线任务设计思路
离线任务分类
离线任务广泛存在于分布式系统设计中，他们承担着重要的工作，包括维护数据最终一致性，解决业务诉求传输数据等等。下面介绍两类离线任务：
分布式任务兜底
如图，上述一个分布式事务，离线兜底流程可以在实时流程执行失败时，将单据扭转到正确的状态。其执行的过程就是不断的扫描数据库表，将异常单据找出并执行对应的操作。
推拉数据
如图，业务开发中，往往存在跨子域数据传输的需求，如交易数据、退款数据需要导出给账单出账；或者是将数据定时出库作为备份，作为快照使用。此时将涉及到扫存储（一般是DB）的业务场景，将数据写入HDFS、FTP等下游服务。
如何做到高可用
谈到高可用，会想到可以用多种方式来实现。如利用多副本容灾，使用分布式协议达到机器间一致性；如利用高并发得到更快的执行效率，使用进程间通信，达到任务内一致性。
多副本容灾
多副本容灾的核心思想就是利用机器冗余，来提升整体的可用性。多副本意味着需要协调多个副本实例，让彼此合理调度，在
最低0.47元/天 解锁文章
扫一扫
2816
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
