梯度下降法求解多元线性回归的参数

原创

于 2019-03-16 22:59:26 发布 · 3k 阅读

10 ·

CC 4.0 BY-SA版权

1、题目描述

利用最小二乘法和梯度下降法求解多元线性回归的参数，其中X、Y是待拟合的数据，X是自变量，Y是因变量。

2、解题思路

使用梯度下降法来求解。损失函数为：1/2（y - f(x)）^2 ，每进行一次迭代，先求出所有样本点的平均损失，然后损失函数对各个权重求偏导得到关于每个权重的梯度值，接着使用学习率和梯度值更新每个权重。这里的权重初始化不能为0，否则梯度不能更新。代码如下：

#include<iostream>
#include<string>
#include<vector>
using namespace std;

void LinearRegression() {
	/*
		需要拟合的模型为：y = a + bx0 + cx1,其中(a,b,c)是要求的参数
	*/
	vector<vector<float>> X({ {1,1},{2,2},{1,3},{1,6} });
	vector<float> Y({3.5,6.5,5.5,4.0});
	float learning_rate = 0.01;                             //学习率