19、图像数据处理与特征工程实战

图像数据处理与特征工程实战

在数据处理的领域中，过往的案例研究多聚焦于离散数据，而此次我们将目光投向传感器数据，尤其是图像数据。这一转变不仅带来了新的挑战，也为我们提供了探索计算机视觉（CV）技术的契机。

1. 图像数据处理背景

哺乳动物的视觉感知是大脑中研究较为深入的部分。早在20世纪50年代，Weibel和Hubel就开展了开创性实验。我们如今了解到视网膜通过特定神经元传递信号，这与像素和处理管道有着相似之处。深度学习（DL）起源于图像问题，正是因为它很好地模拟了我们对视觉皮层的理解。

在处理图像时，传感器提供的量化传感强度值代表了现实。但同一传感器对同一场景的读数可能不同，计算机视觉的重大任务就是从这些变化中提取高级意义。目前，计算机视觉的新发展主要围绕深度学习展开。我们此次讨论的是在小数据集上进行的特征工程（FE），目的是学习CV从业者使用的FE技术，以应对特定领域的挑战。

图像特征工程的关键在于处理大量难以单独理解的低级特征。我们需要处理高度的干扰变化，对特征进行归一化，以确保信息获取方式的微小变化不会影响底层的机器学习机制。此外，花时间了解数据也非常重要，单纯关注算法并非万能。在这个领域，样本（图像）之间的对齐问题是基石，但在本次数据中并未成功解决。

2. 案例研究概述

本次案例研究将WikiCities数据集与高程卫星图像相结合。通过对12个随机城市的直方图进行探索性数据分析（EDA），我们发现山区较多的地方人口似乎较少，且城市中心的定位并不准确。每张图像会增加数百个不稳定的新特征。

• 首次特征化 ：选取以城市为中心的32×32像素正