恢复矫正部分

最新推荐文章于 2025-12-13 12:53:42 发布

原创最新推荐文章于 2025-12-13 12:53:42 发布 · 433 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了一种结合形状模型和匹配模型的方法，用于优化特征点的定位。通过对两种模型得出的特征点进行对比和权重分配，实现了更精确的特征点矫正。

使用形状模型和匹配模型矫正得到的特征点

shape_model::
calc_params(const vector<Point2f> &pts,const Mat weight,const float c_factor)
{
  int n = pts.size(); assert(V.rows == 2*n);
  Mat s = Mat(pts).reshape(1,2*n); //point set to vector format
  if(weight.empty())p = V.t()*s;   //simple projection
  else{                            //scaled projection
    if(weight.rows != n){cout << "Invalid weighting matrix" << endl; abort();}
    int K = V.cols; Mat H = Mat::zeros(K,K,CV_32F),g = Mat::zeros(K,1,CV_32F);
    for(int i = 0; i < n; i++){
      Mat v = V(Rect(0,2*i,K,2)); float w = weight.fl(i);
      H += w*v.t()*v; g += w*v.t()*Mat(pts[i]);
    }
    solve(H,g,p,DECOMP_SVD);
  }this->clamp(c_factor);          //clamp resulting parameters
}

这段代码是根据之前得到的形状模型矫正初始化的pts特征点

这里写图片描述

    int K = V.cols; Mat H = Mat::zeros(K,K,CV_32F),g = Mat::zeros(K,1,CV_32F);
    for(int i = 0; i < n; i++){
      Mat v = V(Rect(0,2*i,K,2)); float w = weight.fl(i);
      H += w*v.t()*v; g += w*v.t()*Mat(pts[i]);
    }
    solve(H,g,p,DECOMP_SVD);

这段做的内容比上面进一步，使用上一帧的图片参考来估计p的值，而不是直接投影产生
感觉和首页说的那个博客不同，那边是说
这里写图片描述
我觉得这边已经不是指表情模式了，权重和那个协方差矩阵是一种对p的值的期望值的估计，也就是说根据形状模型得出的特征点位置和块匹配模型得出的特征点进行对比，如果对同一个特征点两个模型计算的位置接近，那么这个位置的置信度就高，权重就大，计算出各个点的权重从而估计这一帧特征点的最可能的投影值是多少。

回到这个函数应用的地方

  for(int i = 0; i < n; i++)weight.fl(i) = norm(pts[i] - peaks[i]);
      cv::sort(weight,weight_sort,CV_SORT_EVERY_COLUMN|CV_SORT_ASCENDING);
      double var = 1.4826*weight_sort.fl(n/2); if(var < 0.1)var = 0.1;
      pow(weight,2,weight); weight *= -0.5/(var*var); cv::exp(weight,weight); 

      //compute shape model parameters    
      smodel.calc_params(peaks,weight);

上面代码中double var = 1.4826*weight_sort.fl(n/2);是使用中值估计方差值的一种方法，可以认定var 是方差值
可以看出权重weight本身
这里写图片描述
这里pts是描述之前形状模型得到的特征点
peaks是描述使用上述特征点位置附近匹配得到的新特征点
自然weight的计算公式可以看成是一种类似概率的东西，两个模型得到的点距离越接近，那么这个点就越可能是特征点，反之自然越不可能是特征点。因为不可得知所有的权重加起来会等于1，所以这里的权重理解为概率的倍数
这里写图片描述

for (int i = 0; i < n; i++) {Mat v = V (Rect (0, 2*i, K, 2)); 
  float w = weight.fl (i);
  H += w*v.t ()*v; g += w*v.t ()*Mat (pts[i]);}
solve (H, g, p, DECOMP_SVD);

这里写图片描述
因为投影是由n个点一起组成的，我感觉这个会不会是投影参数的均值，w是概率而后面是第i个点投影值，把所有的概率和投影值累加就是均值。

下一段代码

this->clamp(c_factor);

这个就简单了，这个是把投影的向量直接和之前样本时计算的样本的投影向量的标准差就行对比，如果超出标准差的c_factor倍，就用这个c_factor乘以标准差还原点
这样的目的是至少几何点不会偏移的太厉害

void
shape_model::clamp(const float c)  //c*standard deviations box
{
//p是投影到形状空间上的坐标值;
  double scale = p.fl(0);
  for(int i = 0; i < e.rows; i++){
    if(e.fl(i) < 0)continue;//-1就是
    float v = c*sqrt(e.fl(i));
    if(fabs(p.fl(i)/scale) > v){
      if(p.fl(i) > 0)p.fl(i) =  v*scale;
      else           p.fl(i) = -v*scale;
    }
  }
}