46、分布式数据流、控制流和工作流计算模型解析

分布式数据流、控制流和工作流计算模型解析

1. 引言

数据流模型在计算机科学领域历史悠久，相关文献众多，涵盖数据流图、Kahn网络、流处理语言和Petri网等。这些模型形式多样，有的采用图形表示，有的以形式系统呈现，如线性逻辑或重写逻辑。

数据流模型不仅用于描述软硬件设计，还应用于从制造业到政府部门等各领域的工作流，其能明确信息流动和计算因果结构，而传统算法仅隐式表示这些信息。明确表示分布式计算结构有助于运行时系统更好地将计算映射到可用资源。此外，数据流/工作流模型具有声明性和可操作性，能指定数据对象、函数和因果依赖关系并执行。

分布式数据流方法正日益流行，因其可利用现代多核架构和云计算的并行性。例如，Google的MapReduce框架可视为特定两层形状分布式数据流图的执行引擎，CIEL等编程语言也在开发用于分布式执行更大类别的数据流图。流处理框架如OpenCL能将数据并行程序表示为可高效映射到多核架构（如GPU）的内核函数。

数据流模型还在硬件设计中受到关注，如BlueSpec受Petri网和基于重写方法的影响，正成为VHDL和Verilog的有力竞争者。数据导向方法也常用于传感器网络和嵌入式系统的模型设计，同时通用网络架构也有向数据导向和语义感知发展的趋势。

然而，现有分布式数据流模型的潜力尚未完全发挥，因为现有的数据流引擎以经典分布式算法实现，只能在受限和协作的环境中成功运行。在高故障率、连接不可靠或节点移动的情况下，操作仍是现实世界大规模分布式系统面临的重大挑战。本文旨在为分馏软硬件系统开发一种数据流模型，这类系统适应真正分布式世界的趋势，其中不可靠和资源受限的设备与强大计算资源共存，无需连续网络连接，大量组件需协同工作以提供足够