图像几何变化

梳理一下常见的图像几何变换及校正方式。参考资料来自《Computer Vision:Algorithms and Applications 》Richard Szeliski

---

图像几何变换

由于拍摄角度的不固定，图像出现几何变换，平移、旋转、尺度、仿射、投影等。如车牌检测的预处理，要将车牌校正，变成一个矩形。

• translation
  2D的平移，$x'=x+t$
  $$\bar{x}'=\begin{bmatrix} I &t \\ 0 &1 \end{bmatrix}\bar{x}$$

• rotation+translation
  2D刚性运动，$x'=Rx+t$
  

  $${R}=\begin{bmatrix}\ cos \theta &-\sin \theta \\ \sin\theta & \cos\theta \end{bmatrix}$$
  正交旋转矩阵，欧式距离保持不变

• scaled rotation
  “相似”变化，$x'=sRx+t$, $s$代表尺度因子
  

  $$x'=\begin{bmatrix} sR &t \end{bmatrix}\bar{x} = \begin{bmatrix} a&-b&t_{x} \\b&a&t_{y} \end{bmatrix} \bar{x}$$ 相似变换保持直线间的夹角不变

• stretch/squash
  改变图像的aspect ratio

  $$x'=s_{x}x+t_{x}$$ $$y'=s_{y}y+t_{y}$$

• affine
  仿射变换写作$x'=A\bar{x}$,$A$是一个$3\times4$的矩阵
  

  $$x'=\begin{bmatrix}a_{00}&a_{01}&a_{02}&a_{03}\\a_{10}&a_{11}&a_{12}&a_{13}\\a_{20}&a_{21}&a_{22}&a_{23} \end{bmatrix} \bar x$$

平行线和平行平面在经过仿射变换之后仍然保持平行。
- projective
投影变换，3D透视变换

$$\tilde{x}'=\tilde{H}\tilde{x},$$ $$x'=\frac{h_{00}x+h_{01}y+h_{02}}{h_{20}x+h_{21}y+h_{22}}$$ $$y'=\frac{h_{10}x+h_{11}y+h_{12}}{h_{20}x+h_{21}y+h_{22}}$$
直线在经过投影变换之后还是直线
- 双线性内插
$$x'=a_0+a_1x+a_2y+a_6xy$$ $$y'=a_3+a_4x+a_5y+a_7xy$$ 双线性内插一般用来resize图像

---

图像校正

存在明显特征的图像，可以提取特征点，然后配准求变换矩阵。注意选用的特征是否本身具备尺度、旋转不变性等。
如果只需要进行图像旋转校正，可以使用霍夫变换检测直线然后计算角度。我的理解，通过$\rho = x*\cos(\theta) + y*\sin(\theta)$，把每个通过点$(x,y)$的直线就变成了正弦曲线$(\rho,\theta)$。在参数空间中，找到$(\rho,\theta)$的极值点，就对应一条直线。

function H = standardHoughTransform(BW,theta,rho)

coder.inline('always');
coder.internal.prefer_const(BW,theta,rho);

rhoLength   = coder.internal.indexInt(length(rho));
thetaLength = coder.internal.indexInt(length(theta));

firstRho = rho(1);
[numRow,numCol] = size(BW);

% Allocate space for H and initialize to 0
H = zeros(rhoLength,thetaLength);

% Allocate space for cos/sin lookup tables
cost = coder.nullcopy(zeros(thetaLength,1));
sint = coder.nullcopy(zeros(thetaLength,1));

% Pre-compute the sin and cos tables
for i = 1:thetaLength
    % Theta is in radians
    cost(i) = cos(theta(i) * pi/180);
    sint(i) = sin(theta(i) * pi/180);
end

% Compute the factor for converting back to the rho matrix index
slope = double(rhoLength-1) / double(rho(rhoLength) - firstRho);

% Compute the Hough transform
for n = 1:numCol
    for m = 1:numRow
        if BW(m,n) % if pixel is on
            for thetaIdx = 1:thetaLength
                % rho = x*cos(theta) + y*sin(theta)
                myRho = (n-1) * cost(thetaIdx) + (m-1) * sint(thetaIdx);
                % convert to bin index
                rhoIdx = roundAndCastInt(slope*(myRho - firstRho)) + 1;
                % accumulate
                H(rhoIdx,thetaIdx) = H(rhoIdx,thetaIdx)+1;
            end
        end
    end
end

%--------------------------------------------------------------------------
function y = roundAndCastInt(x)

coder.inline('always');
coder.internal.prefer_const(x);

% Only works if x >= 0
y = coder.internal.indexInt(x+0.5);

得到直线的斜率之后，将图片旋转、“掰正”。这时候图像存在黑色背景，然后根据斜率的符号确定图像的旋转方向，进而得到图形的有效区域。
直线检测也可以通过拟合得到，基于最小二乘和RANSAC得到直线方程。