18、物联网与大数据分析：技术与解决方案

物联网与大数据分析：技术与解决方案

1. 动态数据同化机制

数据同化（DA）技术主要用于模拟从各种基于物联网的监测系统获取的实时数据。它是一种将数值模拟模型与观测数据或实验变量相结合的有效方法，能提供运行模拟中各种随机变量的概率分布函数（PDF）。随着物联网、大数据和数据同化技术的融合，在实时系统中处理大量数据时，能在模拟和预测方面取得最佳效果。

近年来，通过互联网和物联网连接异构设备以共享和交换信息的趋势呈指数级增长，这产生了大量被称为大数据的数据。物联网大数据分析的处理可分为四类：异构数据处理、高维大数据处理、分布式大数据处理和并行大数据处理。其主要目标是深入了解复杂信息数据结构，同时确保大数据处理系统具有高吞吐量、不间断数据流、可靠的数据传输和低延迟等性能。

例如，在空气污染监测系统中，有人提出了变分数据同化（VarDA）机制，通过数值模拟和预测分析工具，分析交通污染的动态数据及其对商业建筑、城市基础设施和整个城市区域的影响。其输入来自基于有限元分析、开源数据处理、流体动力学和流动性建模等方法的异构传感器。

在天气预报方面，大数据同化（BDA）是数值天气预报（NWP）的主要机制，数据来自基于物联网的物理传感器。为满足天气预报中的大数据需求，提出了大数据原型系统，下一代BDA将具备10 petaflops的计算系统，数据从 Himawari - 8 地球静止卫星获取。

2. 插值技术

插值是从大数据中大量无用信息里提取特定数据集的技术。像Apache Software Foundation的Hadoop这样的分布式系统，通过计算机集群提供分布式数据存储和处理，以处理大规模动态实时数据。通过Hadoop分布式文件系