【机器学习 - 9】：关于梯度的调试

街三仔

于 2023-02-27 07:30:02 发布

阅读量213

点赞数 1

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签：机器学习 numpy python

本文链接：https://blog.youkuaiyun.com/Oh_Python/article/details/129234406

机器学习专栏收录该内容

10 篇文章

订阅专栏

文章介绍了如何调试梯度，通过在参数theta的两侧取微小变化来近似求导数。同时，展示了使用numpy实现梯度下降算法的过程，该算法用于优化模型参数。文章以随机生成的数据为例，应用了梯度调试函数dj_debug和梯度下降函数gradient_descent。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

关于梯度的调试

关于梯度的调试

调试方法，即求theta的方法不同，对于每一个theta，在其左右两边各取一个极小的值，然后两个值相减，求导数。
在这里插入图片描述

import numpy as np

X = np.random.random(size=(1000,10))
X_b = np.hstack([np.ones((len(X),1)), X])

true_theta = np.arange(1, 12, dtype='float')
y = X_b.dot(true_theta) + np.random.normal(size=len(X))

def j(theta,X_b,y):
    try:
        return np.sum((X_b.dot(theta)-y)**2)/len(X_b)
    except:
        return float('inf')

def dj_math(theta,X_b,y):
    return X_b.T.dot(X_b.dot(theta)-y)*2./len(X_b)

def dj_debug(theta,X_b,y):
    res=np.empty(len(theta))
    epsilon = 0.01
    for i in range(len(theta)):
        theta1 = theta.copy()
        theta2 = theta.copy()
        theta1[i] +=epsilon
        theta2[i] -=epsilon
        res[i] = (j(theta1,X_b,y)-j(theta2,X_b,y))/(2*epsilon)
    return res


def gradient_descent(dj,X_b,y,eta,initial_theta,n_iters=1e4,epsilon=1e-8):
    theta = initial_theta
    i_iter = 1
    while i_iter<n_iters:
        last_theta = theta
        theta =theta- eta*dj(theta,X_b,y)
        if abs(j(theta,X_b,y)-j(last_theta,X_b,y))<epsilon:
            break
        i_iter+=1
    return theta