科杰科技实时计算平台研发与建设实践

1.产品概述

科杰科技实时计算平台是基于Apache Flink构建的高性能、一站式实时数据处理平台，通过标准化的Flink SQL和定制化的Flink Jar实现实时数据的分析、监控，帮助企业构建实时数仓和实时指标，从而支撑业务实时数据的应用。

2.系统架构图

科杰科技实时计算平台的架构设计分为配置层、存储层、开发层、运维层和应用层，其中配置层提供平台的开发资源配置、项目管理以及数据源管理；存储层提供不同类型的数据存储及日志存储；开发层提供Flink SQL任务和Flink Jar任务的创建和调试；运维层提供实时计算任务的运维与监控，以及多环境的级联发布；应用层提供实时数据的展示及应用，呈现实时指标和数据资产。

3.系统特点

3.1支持故障自动恢复，数据计算不重不丢

1）支持各类错误场景的自动恢复，保证故障情况下数据处理的准确性；

2）提供完善的消息追踪框架和复杂的事务性处理，数据计算不重复不丢失，保证数据的正确性；

3）提供代码版本回滚和作业本地数据调试功能，避免影响线上数据；

4）提供完备作业上线机制，调试完成后提交的作业不会立即替代已运行的作业，支持用户手动停止已运