30、大数据、物联网与机器学习：基于Spark的CNN交通流量预测

大数据、物联网与机器学习：基于Spark的CNN交通流量预测

1. 自定义投票与CNN基础

在特定数据集中，使用欧几里得距离的自定义投票比默认的多数投票更准确，通过自定义投票方法可以排除蓝色类别中的一个小绿色区域。

CNN（卷积神经网络）是一种流行的深度学习类型。对于图像处理，CNN需要将原始图像转换为像素矩阵，矩阵的高度、宽度和维度会根据图像分辨率而变化。这些像素矩阵会被传入隐藏层结构，通常包括带有激活函数作为滤波器的卷积层、池化层（也称为下采样层）和全连接层，有时还会有另一个池化层，最终结果会传递到输出层。

2. 性能比较

为了比较不同工具在图像中检测对象的性能，进行了实验。使用Python的scikit - learn库实现所有机器学习分类器，使用deeplearning4j框架实现CNN。基于包含3、6、9和12个月的5000帧样本进行测试。结果表明，CNN的预测比五个机器学习分类器都更准确，这是因为它具有更复杂的结构，避免了预定义类别的偏差。但CNN训练和获取最终结果所需的时间要长得多，例如在包含12个月帧的样本上，CNN花费的时间几乎是决策树的两倍。因此，加速CNN的训练过程成为核心问题，解决方案是使用Spark集群。

3. 基于Spark的CNN方法

3.1 工作流程

CNN在图像对象检测方面具有出色的准确性，但将其优势转化为交通流量预测是一个挑战。在CityCam数据集中，已知每个摄像头的位置。通过将检测到的车辆数量与摄像头位置关联，可以估计地图上两点之间的车辆数量。同时，考虑到道路状况也是影响交通的因素，尝试获取图像转换矩阵中属于检测到车辆的像素百分比，以此来表示交通状况