Batch vs. streaming data processing 批处理和流处理

原文链接 Batch vs. streaming data processing | Redpanda

Batch processing 以固定的间隔处理大量的数据。

        适用于对时间不敏感的任务，如定期备份，每日结束时生成报告。

Streaming processing 从数据流入就开始不间断的处理数据。

        适用于分析来自温度传感器的数据，或分析服务器日志中的可疑活动等。

优缺点

批处理的优点：

        再怎么老的机器都能运行。

        资源利用率高，可以安排在非高峰期（off-peak）运行，比如半夜。 

批处理的缺点：

        等待事件长，洞察力缓慢。数据一旦收集，开始运行可能要数分钟，小时，甚至天才能完成。所以适合对时间不敏感的任务。如备份，日终报告（end-of-day reporting）。

流处理的优点：

        更快的洞察力，可以实时/几乎实时产出结果。

流处理的缺点：

        对于老旧机器运行起来比较吃力。可能需