计算机视觉期末复习(上)

• 声明：本文是计算机视觉课程期末复习整理(使用卡内基梅隆大学教材，课程链接:https://www.cs.cmu.edu/~16385/)
• 内容个人整理，转载请注明出处，谢谢
• 计算机视觉期末复习(上)详见：https://blog.youkuaiyun.com/programmer_jiang/article/details/124209552
  内容如下：
  • C1图像解构
  • C2颜色科学
  • C3图像滤波
• 计算机视觉期末复习(中)详见:https://blog.youkuaiyun.com/programmer_jiang/article/details/124338516
  内容如下：
  • C4图像金字塔和傅里叶变换
  • C5霍夫变换(未完待续)
  • C6Harris Corners检测(未完待续)

C1图像解构

1.1图像的物理特性

1.2几何特征Geometric

1.2.1投影

• 将三维世界向二维世界投影
  

1.2.2齐次坐标（维度转换）

• 非线性： division by z is nonlinear
• 同类变换：增加维度
• 降维：从高维降低
  

1.2.3透视投影矩阵（左乘）

• 除以第三维转换回非齐次坐标
  
• Extrinsic(非本质): Camera frame<——>World frame
  Intrinsic: Image coordinates relative to camera <——>Pixel coordinates

1.2.4透视变换： 近大远小

• 特性:

平行线可以相交
many-to-one :线变成点，面变为线，垂直于图像平面的平面投影到图像的一部分
lines:collinearity共线性,同一条线还是共线的
距离没有保留,角度也没有保留(两条不平行的线也得到保留)

1.2.4.1 景深 & Weak perspective

景深(depth of field)定义**：摄影机镜头或其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围**。

影响因素：由景深计算公式可知，景深与镜头使用光圈、镜头焦距、拍摄距离以及对像质的要求（表现为对容许弥散圆的大小）有关。这些因素对景深的影响如下：

• 镜头光圈：光圈越大，景深越小；光圈越小，景深越大；
• 镜头焦距：镜头焦距越长，景深越小；焦距越短，景深越大；
• 拍摄距离：距离越远，景深越大；距离越近，景深越小。

1.2.4.2 正投影 Orthographic projection

• Z值消失从三维到2维的投影
  

1.2.5 2D、3D变换和自由度

translation:平移

Euclidean:欧几里得变换

similarity:变大变小

affine:仿射变换

projective:投影变换

1.3光学变化Optical

1.3.1瞳孔和光圈

• 光圈过小衍射，光圈适中，光圈太大,景深较小，图像模糊
  
  较小的光圈会增加物体近似对焦的范围
  

1.3.4视野 Field of view

焦距越小离镜头越近视野越大

1.4光度测量 Photometric（光反射）

1.4.1 BRDF 双向反射分布函数

1.4.2Diffuse / Lambertian 漫反射

1.5传感器Sensor

1.5.1数字传感器Digital Sensors 光电转化

1.5.2相机传感器中的三原色

绿色在中间人眼对绿色感知强烈，在(正方形的)数码像素用来表示（green有两块）

总结

图像形成受几何、光度学和光学的影响。

• 投影方程表示世界点如何映射到二维图像。

• 齐次坐标允许投影方程的线性系统。

• 镜头使针孔模型实用

• 光度学模型：Lambertian、BRDF

• 数字成像器、拜耳去马赛克 参数（焦距、光圈、镜头直径、传感器采样……）强烈影响所获得的图像。

C2颜色科学Color Science

2.1 测量颜色Measuring color

2.1.1电磁波及分布Electromagnetic spectrum

• 人眼对光的感知很好的符合了高斯分布, 对绿色更敏感

2.1.2测量光谱

• 辐射物体每个波长的单位面积功率
  

2.1.3物体反射光谱

2.1.4 三原色和颜色混合(加色和减色系统)

色彩三原色：品红、黄、青（反应的光）

光学三原色：红、绿、蓝(光的叠加)

• 黄色可以看作红绿波段的混合
• 图像添加：加色系统示例

• 加法混合：混合物的光谱功率分布是各组分光谱功率分布的总和
  
• 减色模式：CMY（K）是印刷的三原色，在印刷时，值为0.0.0则为白色，值为255.255.255则为黑色。纸什么颜色都没有时就是白色的，什么颜色都乱七八糟的涂上去，就变黑了。
  
  综上，RGB被称为加色模式，CMYK被称为减色模式。
  

2.1.5心理一致（色度、饱和度，亮度）：高斯分布

• 我们一般认为物理光谱呈现正态分布
  

• Mean=Hue 色度
  

• Variance Saturation 饱和度
  

• Area=Brightness 亮度
  

2.1.6颜色匹配实验

• 目标：找出哪些光谱辐射会在人类观察者中产生相同的响应；

  匹配所需的原色数量，测试三原色的需求量；三个数字如何足以代表整个频谱

• 结论：

  1.等色光： 感知上匹配但物理上不匹配的灯对；可能感知一样、但是rgb值不一样

  2.但是形成感知匹配的光仍然可能在物理上不同

  – 匹配光：必须是原色的组合

  – 测试光：任何光

  3.如果观察者说混合物是匹配的，那么两种刺激的受体激发必须相等

2.1.7 Grassman’s laws

• A匹配B、B匹配C则A匹配C

• 光的混合
  

• 我们如何使用给定的一组原色计算对任何测试灯产生感知匹配的权重？

1. 选择原色

2. 估计它们的颜色匹配函数：观察者匹配一系列单色光，每个波长一个

3. 乘以匹配函数和测试光

• 因此，给定任何一组原色及其相关的匹配函数 ©，我们可以计算每个原色所需的权重 (e)，以便对任何测试光 t（光谱信号）进行感知匹配
  

2.1.8 颜色空间 Color spaces

使用一系列感知和颜色来匹配

2.1.8.1 RGB颜色空间（线性空间）

方便设备表达，不利于感知；每一种设备使用RGB模型时，都有不太相同的定义，比如在显示器和打印机上，就不太一样，因此在使用RGB模型时，这些设备之间关于RGB的定义，并不能通用。

忽略光照的因素，如果比较两种颜色所处的光照环境不一致，那将毫无意义。

2.1.8.2 CIE XYZ颜色空间（线性）

其中x和y两维定义颜色，第3维定义亮度

2.1.8.3 HSV颜色空间（非线性空间）

2.1.8.4 Uniform color spaces

CIE变化不是均匀的

• 线性变化但是感知是不等距的
  

2.2 颜色感知 Perception of color

2.2.1人眼感光

视杆细胞 ：感受光强度

视锥细胞：高亮度的时候敏感 ；感受颜色

Fovea视网膜中心凹视野中心的小区域（1 或 2°）：包含最高密度的视锥细胞（没有视杆细胞）

• 不同视锥细胞对光波的感受程度

  大脑融合了来自几个视锥细胞的局部邻域对感知颜色的反应

2.3 Using color in machine vision systems

2.3.1环境适应性

如果视觉系统暴露在某种光源下一段时间，颜色系统就会开始适应

我们适应特定的光源 ：同化、对比效果、色彩感应：附近的颜色影响感知；

3.图像滤波 Image filtering

3.1 Types of image transformations.

3.1.1什么是图像

• 灰度图像：A (grayscale) image is a 2D function.
  

• 三维图像

• 图片来源
  

3.1.2图像转换的类型

改变值和位置，一个改变z轴取值空间，另一个没有改变

图像扭曲(Image Warping)：拉伸、收缩、扭曲、旋转是图像的几何变换

3.1.3图片处理类型

• 点处理：像素值取值变换——邻域处理： 处理相邻像素
  

3.2 点处理 Point image processing.

3.2.1 点处理实例

• 类型：转换注意如何增加对比度
  
  

• 风格色调映射
  

3.2.2点处理缺点

没有位置信息

3.3 图像滤波线性平移不变 Linear shift-invariant image filtering.

• 作用

  • 立体声的低音/高音控制

  • 图像编辑中的模糊/锐化操作

  • 跟踪中的平滑/降噪

• 性质

  • 线性度：filter(f + g) = filter(f) + filter(g)
  • 转移不变性：行为不变于转移输入
  • 延迟音频信号
  • 左右滑动图片

• Can be modeled mathematically by convolution

• 组合由过滤器的内核决定。

• 相同的内核被转移到所有像素位置，以便所有像素使用其相邻像素的相同线性组合。

3.3.1 盒子滤波器 the box filter

• 降低对比度，平滑操作
  

• 公式

$$h[m,n]=\sum _{k,l}g[k,l]f[m+k,n+l]$$

3.3.2 模型缺陷

• 振铃问题
  

3.3.3其他卷积核

• Sharpen锐化
  

• Sharpening examples 锐化stress intensity peaks
  

• 左移
  

• 二维卷积核
  

3.3.4其他性质

• 卷积核内元素和为1：保持整体相应值统一

• 滤波核大小对模型的影响
  

• 边界处理（一一对应）
  
  

3.4 Convolution

3.4.1一维连续信号卷积公式

$$(f\ast g)(x)={\int }_{-\infty }^{\infty }f(y)g(x-y)dy$$

3.4.2二维离散卷积

$$(f\ast g)(x)=\sum _{i,j=-\infty }^{\infty }f(i,j)I(x-i,y-j)$$

3.4.3 对比correlation和卷积

• 大部分情况没关系：除非滤波器是对称的
  

3.4.4 卷积的特性

• 结合率

• 交换律
  

• 线性性

• 翻转不变

  定理：唯一平移不变的线性算子图像是卷积

3.4.5计算复杂度

例题，图像I的尺寸是MxN，和函数H的尺寸（2R+1）^2,卷积的复杂度是多少？

$$O(MN(2R+1)(2R+1))=O(MN{R}^2)\text{固定图像大小，即}O(R^2)$$

• 小卷积和多次运输计算量更少
  

3.4.6卷积核的可分离性

• 2D的卷积核可以分解为两个一维的卷积核
  

  大大缩短了运算量
  

3.4.7高斯滤波核The Gaussian filter

3.4.7.1二维高斯滤波核（可分离）

• 权重随着与中心像素的距离而下降
• 理论上是无限的，实际上被截断到某个最大距离（采用2-3σ）准则截断位置
  
  

3.4.7.2和盒子滤波器对比

• 高斯平滑的效果更好没有振铃的问题
  

3.5 影像梯度 Image gradients

3.5.1图像怎么反应导数

• 导数在不连续处很大我们选取导数，来判断梯度；同时由于梯度的不连续我们采用有限差分
  

3.5.2索贝尔边缘检测和分类

• Sobel是一维高斯核一维导数核的组合

• 横向变化累计的竖边信息

3.5.3其他滤波核

3.5.4计算图像梯度

• 分别计算水平方向和竖直方向的梯度，平方开根号是亮度信息
  
  

3.5.5在高斯噪声情况下计算梯度

• 先高斯再求导计算量都是以图片为单位
  

• 变为先对高斯核求导再滤波（运用了卷积的性质，因为求导也是卷积运算两者可以交换）可以节省计算量

3.5.6 拉普拉斯滤波器

• 拉普拉斯函数获取
  

• 求导特性
  

• 对比；中间空的
  

对比拉普拉斯核、高斯一阶偏导核、高斯核

• 高斯一阶偏导：可以反应出图像灰度梯度的变化情况，常见的算子有Robot, Sobel算子
• 二阶常见的有拉普拉斯算子
  

$$G(x,y,k\sigma )-G(x,y,\sigma )\approx (k-1){\sigma }^2{\partial }^{2}G$$