机器学习基础知识（一）：梯度下降，L2,L1,L0范数

最新推荐文章于 2025-07-22 20:34:33 发布

原创

最新推荐文章于 2025-07-22 20:34:33 发布 · 9.3k 阅读

28 ·

CC 4.0 BY-SA版权

文章标签：

#梯度下降 #范数

机器学习

机器学习，让机器学习某种知识或规律的过程。

机器学习按照情景来分，可以分为监督学习，半监督学习，无监督学习，transfer learning，强化学习等；按照任务，可以分为回归，分类，结构性学习等；按照方法分，可以分为线性模型，非线性模型（深度学习，SVM,决策树，KNN）等。

泰勒展开式

泰勒公式是将一个在x=x0处具有n阶导数的函数f(x)利用关于(x-x0)的n次多项式来逼近函数的方法。
若函数f(x)在包含x0的某个闭区间[a,b]上具有n阶导数，且在开区间(a,b)上具有(n+1)阶导数，则对闭区间[a,b]上任意一点x，成立下式：

其中， $f^{(n)}$ 表示f(x)的n阶导数，等号后的多项式称为函数f(x)在x0处的泰勒展开式，剩余的Rn(x)是泰勒公式的余项，是(x-x0)n的高阶无穷小。

梯度下降

推导：

代码：

#!usr/bin/python3
# coding:utf-8
 
# BGD 批梯度下降代码实现
# SGD 随机梯度下降代码实现
import numpy as np
 
import random
 
 
def batchGradientDescent(x, y, theta, alpha, m, maxInteration):
    x_train = x.transpose()
    for i in range(0, maxInteration):
        hypothesis = np.dot(x, theta)
        # 损失函数
        loss = hypothesis - y
        # 下降梯度
        gradient = np.dot(x_train, loss) / m
        # 求导之后得到theta
        theta = theta - alpha * gradient
    return theta
 
 
def stochasticGradientDescent(x, y, theta, alpha, m, maxInteration):
    data = []
    for i in range(4):
        data.append(i)
    x_train = x.transpose()
    for i in range(0, maxInteration):
        hypothesis = np.dot(x, theta)
        # 损失函数
        loss = hypothesis - y
        # 选取一个随机数
        index = random.sample(data, 1)
        index1 = index[0]
        # 下降