机器学习 多元线性回归

线性回归:

x1为第一个特征,x2为第二个特征,也可以称为属性。y为真实值,h为预测值。

 h_{\theta }(x) = \theta _{0} + \theta_{1}x_{1} + \theta_{2}x_{2}

h(x) = \sum_{i=0}^{n}\theta_{i}x_{i} = \theta^{T}x

所以损失函数定义如下:

J(\theta) =\frac{1}{2} \sum_{i = 1}^{m}(h_{\theta}(x^{(i)}-y^{(i)}))^{2}

x^{(i)}表示第i个样本。

利用梯度下降进行参数更新:

\theta_{j} = \theta{j} -\alpha\frac{\partial }{\partial \theta_{j}}(J(\theta))

\frac{\partial}{\partial\theta_{j}}J(\theta) = \frac{\partial}{\partial\theta_{j}}\frac{1}{2}(h_{\theta}(x)-y)^{2}\\=(h_{\theta}(x)-y)\frac{\partial}{\partial\theta_{j}}(h_{\theta}(x)-y)\\=(h_{\theta}(x)-y)\frac{\partial}{\partial\theta_{j}}(\sum_{i=0}^{n}\theta_{i}x_{i}-y)\\=(h_{\theta}(x)-y)x_{j}

  • x_{i} 在此处代表的不是第i个样本,而是样本第i维的特征或属性。
  • \theta_{j}=\theta_{j}-\alpha(h_{​{\theta}}(x^{(i)})-y^{(i)})x^{(i)}_{j}表示的是第i个样本的第j维特征

参数更新有两个规则:

1、把m个样本对参数j的梯度分别求出来,然后求和。

                  \theta_{j} = \theta_{j}-\alpha\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})x^{(i)}_{j}

2、每次更新利用一个样本对参数j求梯度,然后循环m次,即将m个样本全部使用一遍。

                 \theta_{j}=\theta_{j}-\alpha(h_{​{\theta}}(x^{(i)})-y^{(i)})x^{(i)}_{j} \qquad for \ i \ in \ range(m)                  

import numpy as np
import matplotlib.pyplot as plt


#x = np.array([1, 1.3, 1.4, 2, 2.4, 3.6, 4, 6, 7, 10, 13, 18])
x = np.sort(10 * np.random.randn(30))
print(x)
m = x.shape[0]
x1 = x.reshape(1, m)
x2 = np.square(x).reshape(1, m)
x = x.reshape(1, m)

X = np.concatenate((x1, x2), axis=0)
y = 2 * x1 + 3 * x2 + 0.1 * np.random.normal(0, 1, m)
theta = np.random.randint(1, 2, 2).reshape(2, 1).astype(np.float32)
#学习率的设置非常重要
alpha = 0.00001
#正则
reg = 0.001
print(X.shape)
iters = 1
for k in range(iters):
    for i in range(m):
        for j in range(theta.shape[0]):
            #print(alpha*(np.dot(theta.T, X[:, i]) - y[:, i]))
            theta[j, :] -= (alpha * ((np.dot(theta.T, X[:, i]) - y[:, i]) * X[j, i]))
print(theta)
plt.subplot(2, 1, 1)
h_x = np.dot(theta.T, X)
print(y)
print(h_x)
plt.plot(x.reshape(m), y.reshape(m), '*',  label='y')
plt.plot(x.reshape(m), h_x.reshape(m), label='h_x')
plt.legend()
plt.show()

 

### 关于机器学习中的多元线性回归 #### 多元线性回归概述 多元线性回归是一种扩展了简单线性回归的方法,旨在利用多个自变量(特征)来预测因变量的结果。该方法试图找到一个最佳拟合的数据点分布的超平面,使得预测误差最小化[^3]。 #### 向量化与特征放缩的重要性 为了提高计算效率以及确保不同尺度上的特征能够公平竞争,在构建多元线性回归模型之前通常会对输入数据执行向量化操作,并对各个特征应用标准化或归一化处理。这一步骤对于保证梯度下降算法的有效性和加快收敛速度至关重要[^1]。 #### 学习率的选择及其影响 选择合适的学习率是成功实施基于梯度下降法求解参数估计的关键因素之一。过高的学习率可能导致迭代过程发散;而过低则会使训练时间变得异常漫长。因此,合理调整这一参数有助于获得更优性能的表现。 #### Python实现多元线性回归 下面展示了一个简单的Python代码片段,展示了如何使用`numpy`库手动编写多元线性回归函数: ```python import numpy as np def multivariate_linear_regression(X, y, learning_rate=0.01, iterations=1000): m = len(y) X_b = np.c_[np.ones((m, 1)), X] # add x0 = 1 to each instance theta = np.random.randn(X.shape[1]+1, 1) for iteration in range(iterations): gradients = (2/m)*X_b.T.dot(X_b.dot(theta)-y.reshape(-1, 1)) theta -= learning_rate * gradients return theta.flatten() ``` 此外,还可以借助成熟的第三方库如`scikit-learn`快速搭建起高效的多元线性回归模型,并且可以方便地调用内置工具来进行交叉验证、网格搜索等高级功能以优化最终效果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值