基于Doris实时数据开发的一些注意事项(转发)

地址：基于Doris实时数据开发的一些注意事项-腾讯云开发者社区-腾讯云

最近Doris的发展大家是有目共睹的。例如冷热分离等新特性的持续增加。使得Doris在易用和成本上都有大幅提升。

基于Doris的一些存储实时数仓在越来越多的场景中开始有一些实践。大家也看到了这种方案频繁出现在社区分享中。但是我们得客观看待这种方案，基于存储的实时数仓有优势也有他的劣势，生产环境中我们要谨慎评估个人的业务场景。这篇文章我结合个人的实践和思考简单说说这个问题。。

为什么有这样的方案？

基于Doris等OLAP实现实时计算的业务很多情况下是基于以下考虑。

在更多的情况下，基于Flink的实时数据开发难度要显著高于离线任务(二者根本不在一个数量级)，基于Doris的存储实时数据开发可以显著降低开发门槛，但是存在滥用的可能。

其次，Flink在大窗口、大状态、灵活计算的场景下并不擅长(注意这里是不擅长，不是不能)，例如在多流Join、维表变更频繁、口径多变的场景下，开发成本极高，但是Doris可以显著降低这一点。

最后，基于Flink的计算数据可观测性差，例如状态数据是不可见的，排查问题，Debug都存在显著门槛，修复历史数据也非常困难。

所以大家可以看到，上述