李宏毅机器学习p4 regression demo

本文探讨了机器学习中梯度下降法的参数优化策略,通过调整学习率和使用特制化学习率来改善模型收敛速度和稳定性。展示了如何在特定数据集上实现这一过程,并提供了详细的代码实现。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


import numpy as np
import matplotlib.pyplot as plt  # plt
#导入相应的包
 
x_data = [338, 333, 328, 207, 226, 25, 179, 60, 208, 606]
y_data = [640, 633,619, 393, 428, 27, 193, 66, 226, 1591]
 
x = np.arange(-200, -100, 1) # bias
y = np.arange(-5, 5, 0.1) # weight
Z = np.zeros((len(x), len(y)))
X,Y = np.meshgrid(x, y)
for i in range(len(x)):
    for j in range(len(y)):
        b = x[i]
        w = y[j]
        Z[j][i] = 0
        for n in range(len(x_data)):
            Z[j][i] = Z[j][i] + (y_data[n] - b - w*x_data[n])**2
        Z[j][i] = Z[j][i]/len(x_data)
 
# yadata = b + w*xdata
b = -120 # intial b
w = -4 # intial w
lr = 0.0000001 # learning rate
iteration = 100000
 
# store initial values for plotting
b_history = [b]
w_history = [w]
 
# iterations
for i in range(iteration):
 
    b_grad = 0.0
    w_grad = 0.0
    for n in range(len(x_data)):
        b_grad = b_grad - 2.0*(y_data[n] - b - w*x_data[n])*1.0
        w_grad = w_grad - 2.0*(y_data[n] - b - w*x_data[n])*x_data[n]
 
    # update parameters
    b = b - lr*b_grad
    w = w - lr*w_grad
 
    # store parameters for plotting
    b_history.append(b)
    w_history.append(w)
 
# plot the figure
plt.contourf(x, y, Z, 50, alpha=0.5, cmap=plt.get_cmap('jet'))
plt.plot([-188.4], [2.67], 'x', ms=12, markeredgewidth=3, color='orange')
plt.plot(b_history, w_history, 'o-', ms=3, lw=1.5, color='black')
plt.xlim(-200, -100)
plt.ylim(-5, 5)
plt.xlabel(r'$b$', fontsize=16)
plt.ylabel(r'$w$', fontsize=16)
plt.show()

lr调整为10倍之后 lr=0.000001

lr=0.00001,很糟糕,lr太大。

怎么办呢,给b和w特制化的lr:

初始化:

lr = 1

lr_b=0
lr_w=0

import numpy as np
import matplotlib.pyplot as plt  # plt
#导入相应的包
 
x_data = [338, 333, 328, 207, 226, 25, 179, 60, 208, 606]
y_data = [640, 633,619, 393, 428, 27, 193, 66, 226, 1591]
 
x = np.arange(-200, -100, 1) # bias
y = np.arange(-5, 5, 0.1) # weight
Z = np.zeros((len(x), len(y)))
X,Y = np.meshgrid(x, y)
for i in range(len(x)):
    for j in range(len(y)):
        b = x[i]
        w = y[j]
        Z[j][i] = 0
        for n in range(len(x_data)):
            Z[j][i] = Z[j][i] + (y_data[n] - b - w*x_data[n])**2
        Z[j][i] = Z[j][i]/len(x_data)
 
# yadata = b + w*xdata
b = -120 # intial b
w = -4 # intial w
lr = 1 # learning rate
iteration = 100000
 
# store initial values for plotting
b_history = [b]
w_history = [w]

lr_b=0
lr_w=0

# iterations
for i in range(iteration):
 
    b_grad = 0.0
    w_grad = 0.0
    for n in range(len(x_data)):
        b_grad = b_grad - 2.0*(y_data[n] - b - w*x_data[n])*1.0
        w_grad = w_grad - 2.0*(y_data[n] - b - w*x_data[n])*x_data[n]
    
    lr_b=lr_b+b_grad**2
    lr_w=lr_w+w_grad**2
    # update parameters
    b = b - lr/np.sqrt(lr_b)*b_grad
    w = w - lr/np.sqrt(lr_w)*w_grad
 
    # store parameters for plotting
    b_history.append(b)
    w_history.append(w)
 
# plot the figure
plt.contourf(x, y, Z, 50, alpha=0.5, cmap=plt.get_cmap('jet'))
plt.plot([-188.4], [2.67], 'x', ms=12, markeredgewidth=3, color='orange')
plt.plot(b_history, w_history, 'o-', ms=3, lw=1.5, color='black')
plt.xlim(-200, -100)
plt.ylim(-5, 5)
plt.xlabel(r'$b$', fontsize=16)
plt.ylabel(r'$w$', fontsize=16)
plt.show()

 

 

### 李宏毅机器学习中的回归笔记 #### 回归的应用场景 回归模型用于预测连续型变量,在实际应用中非常广泛。例如房价预测、股票价格走势分析等都是典型的回归问题实例[^2]。 #### 模型构建 对于线性回归而言,其基本形式为 \(y = w_1x + b\) ,其中\(w_1\)代表权重参数而\(b\)则是偏置项。当面对更复杂的数据分布情况时,则可能采用多项式回归或其他非线性的变换方式来提高拟合效果[^4]。 #### 函数优劣度评估 为了衡量所建立的回归模型的好坏程度,通常会引入损失函数这一概念。均方误差(Mean Squared Error, MSE)是最常用的评价指标之一,它通过计算真实值与预测值之间的平方差之和来进行量化描述。 #### 参数优化算法——梯度下降法 寻找最优解的过程即是对目标函数最小化的过程。在这个过程中,梯度下降扮演着至关重要的角色。该方法基于负梯度方向更新权值向量直至收敛至局部极小点附近停止迭代操作[^3]。 ```python import numpy as np def gradient_descent(x_data, y_true, learning_rate=0.01, iterations=1000): m_curr = b_curr = 0 n = len(x_data) for i in range(iterations): y_pred = m_curr * x_data + b_curr cost = (1/n) * sum([val**2 for val in (y_true-y_pred)]) md = -(2/n)*sum(x_data*(y_true-y_pred)) bd = -(2/n)*sum(y_true-y_pred) m_curr -= learning_rate * md b_curr -= learning_rate * bd return m_curr, b_curr, cost ``` #### 结果讨论 经过训练后的回归模型能够较好地捕捉到输入特征与输出标签间的映射关系,但在具体应用场景下还需考虑过拟合等问题的影响因素。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值