storm kafka出现错误或fail后，是否继续处理数据？

最新推荐文章于 2025-10-13 10:19:13 发布

转载最新推荐文章于 2025-10-13 10:19:13 发布 · 273 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/u/2000675/blog/857733

文章标签：

#大数据 #python

本文探讨了在使用Storm消费Kafka数据时遇到的问题及解决方案。当Topology出现错误时，故障Partition的offset将停留在错误位置，导致数据重复处理。文章讨论了如何避免这一问题，并确保数据准确处理。

2019独角兽企业重金招聘Python工程师标准>>>

在可靠性Topology中，storm消费kafka中的数据，当storm ui中出现错误或fail的时候，以后的数据会继续通过Topology被处理完成，但是此时zk中的出现问题的partition的offset是不变的（保留在出错位置，没有出错的partition的offset正常更新），当Topology修复重启后，会从出错位置继续执行，因此可靠性Topology能保证数据至少被处理一次，但是会造成数据重复问题，要注意处理。

转载于:https://my.oschina.net/u/2000675/blog/857733