环保云平台框架思考

1、需求

需求一，高性能计算

系统必须支持MPI高性能计算集群。在运行Fortran语言写的大气、水模型时，需要使用分布式计算才能解决模型计算效率问题。这里模型通常的计算，单击都在10小时左右，范围较大的计算，在1-7天都有可能。因此需要高性能集群计算的支持，以此提高运行效率。

这里使用和产生很多非结构化数据。

需求二，数据管理

目前由DEM数据，气象数据，水文数据，环保清单数据等，以及模型运算中间过程数据，结果数据。

用于模型单次运行的数据量不是太大，但是数据积累和范围的叠加，数据量还是挺大的，需要数据管理功能，用户选择数据后，可以自动推送给模型。

 

需求三，数据分析

具有BI功能，能够对结构化数据做立方体，实现数据分析功能。

 

需求四，网络数据服务

一个是类似与数据交易服务，一个是数据推送服务。

用户可以购买数据，系统也可以定期推送数据到用户。

 

2、技术框架

目前，初步意见的框架如下：

在使用中可以简化为Mesos+Hadoop+MPI部署。