1、replication
nathan提到可以通过自己实现的Grouping方式来让同一个流发送到不同的机器上,从而达到Replication的效果。
2、Hook
在执行Spout/Bolt的emitted, acked, failed方法前后所执行的Hook.
3、定制某个流发送到特定的某个机器上
可以实现1中的效果,还可以利用本地化进行补数据。由于宕机等事故,导致部分数据丢失需要重跑的时候,我们可以选择将需要重跑的方法依次发送到存储宕机数据的机器上,模仿Hadoop进行补数据。
本文详细阐述了如何通过自定义Grouping方式实现数据在多个机器间的复制(Replication),并介绍了在Spout/Bolt的emitted、acked、failed方法前后执行的Hook机制。此外,文章还探讨了如何利用本地化进行数据补全,在系统故障导致数据丢失时,通过重新发送数据至特定机器来实现数据恢复。
1、replication
nathan提到可以通过自己实现的Grouping方式来让同一个流发送到不同的机器上,从而达到Replication的效果。
2、Hook
在执行Spout/Bolt的emitted, acked, failed方法前后所执行的Hook.
3、定制某个流发送到特定的某个机器上
可以实现1中的效果,还可以利用本地化进行补数据。由于宕机等事故,导致部分数据丢失需要重跑的时候,我们可以选择将需要重跑的方法依次发送到存储宕机数据的机器上,模仿Hadoop进行补数据。

被折叠的 条评论
为什么被折叠?