C#中利用最小二乘法实现曲线拟合

最新推荐文章于 2024-08-31 08:58:30 发布

CodeMotion

最新推荐文章于 2024-08-31 08:58:30 发布

阅读量3k

点赞数 23

文章标签：最小二乘法算法机器学习

本文链接：https://blog.youkuaiyun.com/weixin_42293338/article/details/135927672

版权

一.说明

本文主要讲解利用最小二乘法解决曲线拟合的问题，并利用C#代码实现。重点在代码实现，原理简单介绍下，本文所有解释都以二次曲线举例。

二.简单介绍最小二乘法原理

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
在曲线拟合的应用场景中，相当于拟合的曲线后的方程利用给定x坐标计算出结果y1与给的y坐标的所有平方和最小即： $\sum_{i=1}^{n}[y(x_i)-y_i]^2$ 最小。

最终转化对系数a1 a2 a3求偏导，多次迭代后算出估算值。
偏导公式： $∂Q/∂a_j = 2\sum_{i=1}^{n}[y(x_i)-y_i]x^j$

1.对常数a3偏导： $∂Q/∂a_3 = 2\sum_{i=1}^{n}[(a_1x_i^2+a_2x_i+a_3)-y_i]=0$

2.对一次系数a2偏导： $∂Q/∂a_2 = 2\sum_{i=1}^{n}[(a_1x_i^2+a_2x_i+a_3)-y_i]x=0$

3.对二次系数a3偏导： $∂Q/∂a_1 = 2\sum_{i=1}^{n}[(a_1x_i^2+a_2x_i+a_3)-y_i]x^2=0$

由此推导出
$\sum_{i=1}^{n}y_i - a_1 \sum_{i=1}^{n}x_i^2-a_2 \sum_{i=1}^{n}x_i)/n$

$\sum_{i=1}^{n}y_ix_i - a_3\sum_{i=1}^{n}x_i-a_1 \sum_{i=1}^{n}x_i^3)/ \sum_{i=1}^{n}x_i^2$

$\sum_{i=1}^{n}y_ix_i^2 - a_3 \sum_{i=1}^{n}x_i^2-a_2 \sum_{i=1}^{n}x_i^3)/\sum_{i=1}^{n}x_i^4$

三.代码实现

代码中的a代表二次系数，b代表一次系数，c代表常数。
这里构造了x参数xarray[]，y参数yarray[]进行演示，最终结果也与我们构造的参数基本一致。
这里的z1,z2,z3用来评估该次运算精度是否达到我们的预期值，值越小计算时间越久。

        var xarray = new double[100];
        var yarray = new double[100];

        for (int i = 0; i < xarray.Length; i++)
        {
            xarray[i] = i;
            yarray[i] = 1.356*i*i+7.969 * i - 0.26;
        }

        double a, b, c, m1, m2, m3, z1, z2, z3;
        a = b = c = 0;
        double sumx = 0, sumx2 = 0, sumx3 = 0, sumx4 = 0, sumy = 0, sumxy = 0, sumx2y = 0;
        for (var i = 0; i < xarray.Length; i++)
        {
            sumx += xarray[i];
            sumy += yarray[i];
            sumx2 += Math.Pow(xarray[i], 2);
            sumxy += xarray[i] * yarray[i];
            sumx3 += Math.Pow(xarray[i], 3);
            sumx2y += Math.Pow(xarray[i], 2) * yarray[i];
            sumx4 += Math.Pow(xarray[i], 4);
        }
        do
        {
            m1 = a;
            a = (sumx2y - sumx3 * b - sumx2 * c) / sumx4;
            z1 = (a - m1) * (a - m1);
            m2 = b;
            b = (sumxy - sumx * c - sumx3 * a) / sumx2;
            z2 = (b - m2) * (b - m2);
            m3 = c;
            c = (sumy - sumx2 * a - sumx * b) / xarray.Length;
            z3 = (c - m3) * (c - m3);
        } while (z1 > 1e-13 || z2 > 1e-13 || z3 > 1e-13);

        Debug.WriteLine($"a:{a} b;{b} c:{c}");
    }