40、物联网数据存储技术解析与展望

物联网数据存储技术解析与展望

1. 物联网数据处理与操作

在物联网（WoT）的发展中，数据处理和操作是至关重要的环节。不同的研究针对物联网数据的特点提出了各种解决方案。

• 数据处理系统

  • 有研究提出了改进MapReduce的技术框架，旨在提升其在处理物联网数据时的性能。
  • 还提出了用于数据分析的并行分布式处理系统，该系统能够管理数据与数据、数据与分析程序之间的依赖关系，利用Hadoop Streaming实现分布式并行处理。
  • 基于修订后的秘密共享方案，设计了具有高安全性和可扩展性的存储系统，由数据层和系统层组成，避免了传统加密算法中复杂的密钥管理问题。
  • vRead框架将HDFS I/O流直接连接到应用程序数据，支持虚拟机“读取”磁盘映像中的数据节点，提高了I/O流效率且无虚拟化开销。

• 数据操作步骤

  • 数据收集 ：这是物联网应用的首要步骤。由于物联网数据通常规模大、动态且采样率高，许多研究聚焦于数据收集任务的组织和数据传输。例如，构建了通用的移动数据收集框架，讨论了基本要求和开放性问题；利用OpenWoT中间件设计了实时采集的智能服务器；同时也关注数据收集过程中的隐私问题。
  • 数据预处理 ：为进一步的数据操作做准备，方法包括数据保存、数据清理、数据对齐等。如提出基于支持向量机（SVM）的数