我的數學之美（一）——RANSAC算法詳解

http://grunt1223.iteye.com/blog/961063

給定兩個點p1與p2的坐標，確定這兩點所構成的直線，要求對於輸入的任意點p3，都可以判斷它是否在該直線上。初中解析幾何知識告訴我們，判斷一個點在直線上，只需其與直線上任意兩點點斜率都相同即可。實際操作當中，往往會先根據已知的兩點算出直線的表達式（點斜式、截距式等等），然後通過向量計算即可方便地判斷p3是否在該直線上。 

生產實踐中的數據往往會有一定的偏差。例如我們知道兩個變量X與Y之間呈線性關系，Y=aX+b，我們想確定參數a與b的具體值。通過實驗，可以得到一組X與Y的測試值。雖然理論上兩個未知數的方程只需要兩組值即可確認，但由於系統誤差的原因，任意取兩點算出的a與b的值都不盡相同。我們希望的是，最後計算得出的理論模型與測試值的誤差最小。大學的高等數學課程中，詳細闡述了最小二乘法的思想。通過計算最小均方差關於參數a、b的偏導數為零時的值。事實上，在很多情況下，最小二乘法都是線性回歸的代名詞。 

遺憾的是，最小二乘法只適合與誤差較小的情況。試想一下這種情況，假使需要從一個噪音較大的數據集中提取模型（比方說只有20%的數據時符合模型的）時，最小二乘法就顯得力不從心了。例如下圖，肉眼可以很輕易地看出一條直線（模式），但算法卻找錯了。 



RANSAC算法的輸入是一組觀測數據（往往含有較大的噪聲或無效點），一個用於解釋觀測數據的參數化模型以及一些可信的參數。RANSAC通過反復選擇數據中的一組隨機子集來達成目標。被選取的子集被假設為局內點，並用下述方法進行驗證： 

• 有一個模型適應於假設的局內點，即所有的未知參數都能從假設的局內點計算得出。
• 用1中得到的模型去測試所有的其它數據，如果某個點適用於估計的模型，認為它也是局內點。
• 如果有足夠多的點被歸類為假設的局內點，那麼估計的模型就足夠合理。
• 然後，用所有假設的局內點去重新估計模型（譬如使用最小二乘法），因為它僅僅被初始的假設局內點估計過。
• 最後，通過估計局內點與模型的錯誤率來評估模型。
• 上述過程被重復執行固定的次數，每次產生的模型要麼因為局內點太少而被舍棄，要麼因為比現有的模型更好而被選用。

整個過程可參考下圖： 



關於算法的源代碼，Ziv Yaniv曾經寫一個不錯的C++版本，我在關鍵處增補了注釋： 

#include <math.h>
#include "LineParamEstimator.h"

LineParamEstimator::LineParamEstimator(double delta) : m_deltaSquared(delta*delta) {}
/*****************************************************************************/
/*
 * Compute the line parameters  [n_x,n_y,a_x,a_y]
 * 通过输入的两点来确定所在直线，采用法线向量的方式来表示，以兼容平行或垂直的情况
 * 其中n_x,n_y为归一化后，与原点构成的法线向量，a_x,a_y为直线上任意一点
 */
void LineParamEstimator::estimate(std::vector<Point2D *> &data, 
																	std::vector<double> ¶meters)
{
	parameters.clear();
	if(data.size()<2)
		return;
	double nx = data[1]->y - data[0]->y;
	double ny = data[0]->x - data[1]->x;// 原始直线的斜率为K，则法线的斜率为-1/k
	double norm = sqrt(nx*nx + ny*ny);
	
	parameters.push_back(nx/norm);
	parameters.push_back(ny/norm);
	parameters.push_back(data[0]->x);
	parameters.push_back(data[0]->y);		
}
/*****************************************************************************/
/*
 * Compute the line parameters  [n_x,n_y,a_x,a_y]
 * 使用最小二乘法，从输入点中拟合出确定直线模型的所需参量
 */
void LineParamEstimator::leastSquaresEstimate(std::vector<Point2D *> &data, 
																							std::vector<double> ¶meters)
{
	double meanX, meanY, nx, ny, norm;
	double covMat11, covMat12, covMat21, covMat22; // The entries of the symmetric covarinace matrix
	int i, dataSize = data.size();

	parameters.clear();
	if(data.size()<2)
		return;

	meanX = meanY = 0.0;
	covMat11 = covMat12 = covMat21 = covMat22 = 0;
	for(i=0; i<dataSize; i++) {
		meanX +=data[i]->x;
		meanY +=data[i]->y;

		covMat11	+=data[i]->x * data[i]->x;
		covMat12	+=data[i]->x * data[i]->y;
		covMat22	+=data[i]->y * data[i]->y;
	}

	meanX/=dataSize;
	meanY/=dataSize;

	covMat11 -= dataSize*meanX*meanX;
        covMat12 -= dataSize*meanX*meanY;
	covMat22 -= dataSize*meanY*meanY;
	covMat21 = covMat12;

	if(covMat11<1e-12) {
		nx = 1.0;
	        ny = 0.0;
	}
	else {	    //lamda1 is the largest eigen-value of the covariance matrix 
	           //and is used to compute the eigne-vector corresponding to the smallest
	           //eigenvalue, which isn't computed explicitly.
		double lamda1 = (covMat11 + covMat22 + sqrt((covMat11-covMat22)*(covMat11-covMat22) + 4*covMat12*covMat12)) / 2.0;
		nx = -covMat12;
		ny = lamda1 - covMat22;
		norm = sqrt(nx*nx + ny*ny);
		nx/=norm;
		ny/=norm;
	}
	parameters.push_back(nx);
	parameters.push_back(ny);
	parameters.push_back(meanX);
	parameters.push_back(meanY);
}
/*****************************************************************************/
/*
 * Given the line parameters  [n_x,n_y,a_x,a_y] check if
 * [n_x, n_y] dot [data.x-a_x, data.y-a_y] < m_delta
 * 通过与已知法线的点乘结果，确定待测点与已知直线的匹配程度；结果越小则越符合，为
 * 零则表明点在直线上
 */
bool LineParamEstimator::agree(std::vector<double> ¶meters, Point2D &data)
{
	double signedDistance = parameters[0]*(data.x-parameters[2]) + parameters[1]*(data.y-parameters[3]); 
	return ((signedDistance*signedDistance) < m_deltaSquared);
}

RANSAC尋找匹配的代碼如下： 

/*****************************************************************************/
template<class T, class S>
double Ransac<T,S>::compute(std::vector<S> ¶meters, 
													  ParameterEsitmator<T,S> *paramEstimator , 
												    std::vector<T> &data, 
												    int numForEstimate)
{
	std::vector<T *> leastSquaresEstimateData;
	int numDataObjects = data.size();
	int numVotesForBest = -1;
	int *arr = new int[numForEstimate];// numForEstimate表示拟合模型所需要的最少点数，对本例的直线来说，该值为2
	short *curVotes = new short[numDataObjects];  //one if data[i] agrees with the current model, otherwise zero
	short *bestVotes = new short[numDataObjects];  //one if data[i] agrees with the best model, otherwise zero
	

		      //there are less data objects than the minimum required for an exact fit
	if(numDataObjects < numForEstimate) 
		return 0;
        // 计算所有可能的直线，寻找其中误差最小的解。对于100点的直线拟合来说，大约需要100*99*0.5=4950次运算，复杂度无疑是庞大的。一般采用随机选取子集的方式。
	computeAllChoices(paramEstimator,data,numForEstimate,
										bestVotes, curVotes, numVotesForBest, 0, data.size(), numForEstimate, 0, arr);

	   //compute the least squares estimate using the largest sub set
	for(int j=0; j<numDataObjects; j++) {
		if(bestVotes[j])
			leastSquaresEstimateData.push_back(&(data[j]));
	}
        // 对局内点再次用最小二乘法拟合出模型
	paramEstimator->leastSquaresEstimate(leastSquaresEstimateData,parameters);

	delete [] arr;
	delete [] bestVotes;
	delete [] curVotes;	

	return (double)leastSquaresEstimateData.size()/(double)numDataObjects;
}

在模型確定以及最大迭代次數允許的情況下，RANSAC總是能找到最優解。經過我的實驗，對於包含80%誤差的數據集，RANSAC的效果遠優於直接的最小二乘法。 

RANSAC可以用於哪些場景呢？最著名的莫過於圖片的拼接技術。優於鏡頭的限制，往往需要多張照片才能拍下那種巨幅的風景。在多幅圖像合成時，事先會在待合成的圖片中提取一些關鍵的特征點。計算機視覺的研究表明，不同視角下物體往往可以通過一個透視矩（3X3或2X2）陣的變換而得到。RANSAC被用於擬合這個模型的參數（矩陣各行列的值），由此便可識別出不同照片中的同一物體。可參考下圖： 







另外，RANSAC還可以用於圖像搜索時的糾錯與物體識別定位。下圖中，有幾條直線是SIFT匹配算法的誤判，RANSAC有效地將其識別，並將正確的模型（書本）用線框標注出來：