本文探讨了构建实时大数据平台的场景痛点，如实时数仓、监控和分析，提出以Flink为核心的实时平台建设方案，包括数据接入、计算引擎、存储和管理平台。通过FlinkSQL简化开发，实现流批一体的高效计算。最后，对未来平台的准确性、可用性和成本优化进行了展望。
目录：
1、场景痛点
2、实时平台建设方案
3、FlinkSQL开发平台
4、展望
1、场景痛点
对于一个实时要求很高的业务领域，实时是非常重要的。分析下来场景问题差别不大，比如之前某一款产品解决的实时场景包括实时数仓、加速查询、联邦查询。今天说的场景也大同小异，包括以下几个方面：
1）实时数仓：针对行业日志，进行数据处理并提供高可用的即席查询服务，同时针对离线数仓，进行实效性的补充，提供更加实时的分析服务；
3）实时监控：实时开始最核心的场景就是监控，后来才应用于业务相关的实时处理，所以监控的场景一直存在，一直演进；
4）实时分析：要发挥数据的价值，要提供有价值的分析结果，支撑业务的决策、改进、优化，收获实际的业务价值；
5）广告推荐：针对客户进行分类，然后针对不同客户制定不同的策略，推荐不同的结果，提升业务转化价值；
6）特征工程：提取提炼特征，尝试通过算法进行实际的业务赋能；
针对不同场景，核心的问题或痛点也是类似的，包括以下几个方面：
1）更高的时效性：实时有时是客户能否用起来的关键，一个需要实时查看的数据如果不能实时，产品的价值折半，失去使用的价值都有
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
