开源 .NET 分布式实时计算框架，支持二次开发

前言

基于.NET 5.0 框架自主研发一套CSharpFlink实时计算组件，简化实时计算流程并满足自定义数据源接入、灵活计算以及高效存储的需求。

这套组件不仅降低了系统复杂度，还提升了开发效率，使得团队可以更加专注于业务逻辑的实现和优化。

框架介绍

使用Flink作为云平台后台的实时计算部分，基本实现数据点的聚合计算、表达式规则计算等业务，进一步实现机器学习或自定义复杂算法的需求。

经过将近一年左右时间的研究及开发，已经基本实现了聚合和逻辑等业务，但是感觉Flink比较重，并且应用和运维的水平要求比较高。

基于上述情况，自主使用.NET 5.0开发一套CSharpFlink实时计算组件，支持自定义数据源、计算和存储的基本要求。

框架特点

跨平台开发：采用.NET 5.0，实现完全跨平台支持。

历史数据补发与更新：支持超出实时窗口（如5秒）的数据补充、更新及重新计算，确保数据的完整性和准确性。

灵活的表达式计算：提供定时或事件触发的实时表达式计算功能，适应实时和周期性计算需求。

C#二次开发能力：支持使用C#语言对接多种数据源，自定义算子和数据存储方式，增强灵活性。

部署灵活性：支持单节点和分布式部署，以适应不同的规模和性能要求。

框架结构

框架结构组件的基本示意，具体如下图所示：

应用场景

主要面向物联网、工业互联网私有云或公有云平台建设过程中的数据点实时聚合和表达式计算。

实时时间窗口内的数据点聚合计算

多维度统计分析：支持在指定的时间窗口内对数据点进行多种统计运算，如最大值、最小值、平均值、总和、众数、方差及中位数等。用户可以根据具体需求自定义二次开发，灵活应对不同业务场景。

历史延迟