图像处理与视觉感知复习--图像特征描述&图像生成

角点（关键点）的特点

• 紧致&高效：关键点数目比像素少很多
• 显著性：关键点是独特的、有特色的
• 局部特性：关键点占据图像的相对较小区域；对杂波和遮挡具有鲁棒性
• 重复性/再现性：无论几何或光学变换，同一关键点都能被检测到

图像分类的流程

梯度方向直方图（HOG）流程

平移、旋转和尺度特征（SIFT）流程

核心步骤：将一幅图像映射（变换）为一个局部特征向量集；特征向量具有平移、缩放、旋转不变性，同时对光照变化、仿射及投影变换也有一定不变性。

关键点定义：在不同尺度空间的图像下，检测出的具有方向信息的局部极值点。根据归纳我们可以看出特征点具有三个特征：尺度、方向、大小

关键点检测：

• 尺度空间极值检测
• 关键点定位
• 确定关键点方向

关键点描述：

1. 确定计算描述子所需的图像区域
2. 将坐标移至关键点主方向，进行坐标旋转，以实现旋转不变性
3. 在图像半径区域内，对每个像素点求其梯度幅值和方向，梯度幅值乘以高斯权重参数，生成方向直方图。
4. 在窗口宽度为 $2\times 2$的区域内计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点
5. 描述子向量元素门限及门限化后的描述子向量规范化。

关键点匹配：
可以采用穷举法完成。一般都采用一种kd树的数据结构来完成搜索。

常用的图像生成模型

• 变分自编码器（VAE）
• 扩散模型（Diffusion Model）
• 生成对抗网络（Generative Adversarial Network, GAN）

GAN的原理

GAN的训练过程如下：

• 训练鉴别器
  1. 从训练集中随机抽取真实样本x
  2. 获取一个新的随机噪声向量，并使用生成器生成一个伪造实例$x_f$
  3. 使用鉴别器x和 x