机器学习入门(一): 机器学习入门和线性回归

最新推荐文章于 2023-06-23 15:34:01 发布
最新推荐文章于 2023-06-23 15:34:01 发布
阅读量391 收藏 2
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 机器学习笔记 文章标签： 机器学习 线性回归 逻辑回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bobchen1017/article/details/129123926
本文介绍了线性模型，包括线性回归、逻辑回归和softmax，以及有监督和无监督学习的基本概念。详细讲解了线性回归的最小二乘法推导和梯度下降法，包括批量、随机和小批量梯度下降的特点与优缺点。同时，讨论了数据预处理中的归一化对模型训练速度的影响，以及正则化在防止过拟合中的作用，如L1和L2正则化。最后提到了多项式回归作为优化策略之一。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 线性模型

  • 线性回归，逻辑回归，softmax都是属于线性模型，通过线性的前向传播和反向传播所得到的权重来对数据进行分类和回归。

2. 及其学习简单的回归术语及数学

2.1 有监督学习: 有标签和数据

  1. 分类：标签是离散值(带类别的)
  2. 回归: 标签是连续值

2.2 无监督学习

  • 没有标签的学习

2.3 术语: 真实值，预测值，误差，最优解，整体误差

  1. Actual Value: 真实值，一般使用y表示
  2. predicted value: 预测值，通过去数据和权重得到的结果
  3. Error: 误差，预测值和真实值的差距，一般用e表示
  4. Loss: 整体的误差通过损失函数计算得到，损失函数有很多种

2.4 矩阵的转置以及求导

在这里插入图片描述

2.5 模型的判断效果(Loss)

  1. MSE: 误差平方和, 趋近于0表示模型越拟合训练数据
  2. RNSE: MSE的平方根，作用同MSE
  3. R^2 取值范围(负无穷,1],值越大表示模型越拟合，最优解是1, 当模型预测为随机值的时候，有可能是负的，若预测值恒为样本期望，R^2 为0
  4. TSS： total Sum of Square,表示样本之间的差异情况，是伪方差的m倍 Sum[(y - y_mean)**2]
  5. RSS：残差平方和RSS，统计学上把数据点与它在回归直线上相应位置的差异称为残差，把每个残差平方之后加起来 称为残差平方和（相当于实际值与预测值之间差的平方之和）。它表示随机误差的效应。一组数据的残差平方和越小,其拟合程度越好。

3. 线性回归公式推导(最小二乘法)

3.1 最小二乘法不用训练直接就可以拿来做任务

在这里插入图片描述

3.2 误差的概念

在这里插入图片描述

3.3 误差是正态分布的，x 是误差，通过截距项把u = 0在这里插入图片描述

3.4 最小二乘法推导

  • 引入似然函数把累乘转换成累加问题，减少计算量，得到最终关注的函数
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

3.5 sklearn实现最小二乘法

在这里插入图片描述

3.6 最小二乘法的局限性

  1. 最小二乘法需要对矩阵求逆矩阵
  2. 如果数据量一大，对于计算会很痛苦，因为每一次推理都会涉及大量的矩阵计算，通过训练出一个theta就会很省事
  3. 这就是梯度下降法

4. 梯度下降法(理论)

4.1 梯度下降法

在这里插入图片描述

4.2 目标损失函数(LOSS)

在这里插入图片描述

4.3 梯度下降的公式

使用平方损失函数
在这里插入图片描述

4.4 批量梯度下降法(BGD)

使用全部数据做梯度下降法

  1. 优点: 迭代次数最少
  2. 缺点: 训练速度慢(一次使用了全部的数据)

4.5 随机梯度下降法

  1. 优点:
  • 在学习中加入了噪声，提高了泛化误差
  • 通过自己设置batch_size 决定使用多少数据去训练，加快了每一轮的迭代速度
  1. 缺点:
  • 不收敛，容易在最小值附近波动
  • 不能再一个样本中使用向量化学习，学习过程变得很慢
  • 某一个batch的样本不能够代表全部数据
  • 由于随机性的存在可能导致最终结果比BGD差
  • 优先选择SGD

4.6 小批量梯度下降法

在这里插入图片描述

4.7 局部损失函数

在这里插入图片描述
当某点离要预测的点越远，其权重越小，否则越大
在这里插入图片描述

5. 手撕梯度下降

5.1 代码总体思路

在这里插入图片描述

5.2 需要的超参数

class LR:
    def __init__(self,data=None,learning_rate=0.01,iter_max=200,batch_size=10):
        # 初始化模型超参数
        # learning_rate=0.001,学习率一般在0.001-0.1
        # iter_max=30,设置最大迭代次数 控制模型训练停止条件
        # batch_size=1   控制梯度下降法(随机梯度下降法，批量梯度下降法小批量梯度下降法)
        self.data = data
        self.learning_rate = learning_rate
        self.iter_max = iter_max
        self.batch_size = batch_size

5.3数据预处理

在这里插入图片描述

    def data_prosses(self):
        # 数据预处理
        # 扩充常数项维度
        data = np.array(self.data)
        # 数据标准化
        # 计算均值和标准差
        mean = np.mean(data[:,:-1],axis=0)
        std = np.std(data[:,:-1],axis=0)
        data[:,:-1] = (data[:,:-1]-mean)/std
        
        one = np.ones((data.shape[0],1))
        self.data = np.hstack((one,data))
        # 训练总样本数
        self.m = self.data.shape[0]
        # 特征数 包含偏置项
        self.n = self.data.shape[1]-1

5.4 定义损失函数

    def loss(self,y_predict,y_true):
        # 定义损失函数  回归模型  使用平方损失函数
        return np.sum((y_predict-y_true)**2)

5.5 定义梯度计算公式

是计算每一个batch的平均，我们的theta是一维度的

    def cal_grad(self,y_predict,y_true,train_data):
        # 计算梯度
        self.grad = np.zeros((self.n,1))
        for i in range(self.n):
            self.grad[i,0] = np.mean((y_predict-y_true)*train_data[:,i:i+1])
        return self.grad

5.4 训练模型思路

在这里插入图片描述

    def model(self,train_data):
        # 定义算法模型
        y  = np.dot(train_data,self.theta)
        return y
    
    def tarin(self):
        # 模型训练
        n = 0   # 记录参数更新次数
        all_loss = [] # 记录每一次更新后的损失值 
        # 1、数据预处理
        self.data_prosses()
        # 2、初始化模型参数theta
        self.theta = np.random.rand(self.n,1)
        # 3、前向传播 不断训练模型
        b_n = self.m//self.batch_size   # //向下取整
        while True:
            # 每训练完一轮数据 打乱数据
            np.random.shuffle(self.data)
            for i in range(b_n):
                train_data = self.data[i*self.batch_size:(i+1)*self.batch_size]
                # 调用算法模型得到预测结果
                predict_y = self.model(train_data[:,:-1])
                # 计算损失 调用损失函数
                loss = self.loss(predict_y,train_data[:,-1:])   # train_data[:,-1:]样本真实值
                all_loss.append(loss)
                # 计算梯度  
                self.cal_grad(predict_y,train_data[:,-1:],train_data)
                # 更新参数theta的值
                self.theta = self.theta - self.learning_rate*self.grad
                n += 1 
                print(f'迭代次数:{n}\t当前误差值:{loss}\t模型参数:{self.theta}')
            # 控制模型训练停止条件
            if self.iter_max<n:
                break
        self.draw(all_loss)
        # 保存模型参数
        with open('model_lr.pt','wb') as f:
            pickle.dump(self.theta,f)

5.5 画损失函数图

    @staticmethod
    def draw(all_loss):
        plt.plot(all_loss)
        plt.show()

5.6 实验总结以及易错点

在这里插入图片描述

5.7 完整版手撕线性回归代码

#coding=utf-8
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import pickle

# 设置随机种子  保证每次初始化化值相同
np.random.seed(4)

class LR:
    def __init__(self,data=None,learning_rate=0.01,iter_max=200,batch_size=10):
        # 初始化模型超参数
        # learning_rate=0.001,学习率一般在0.001-0.1
        # iter_max=30,设置最大迭代次数 控制模型训练停止条件
        # batch_size=1   控制梯度下降法(随机梯度下降法，批量梯度下降法小批量梯度下降法)
        self.data = data
        self.learning_rate = learning_rate
        self.iter_max = iter_max
        self.batch_size = batch_size
    
    def data_prosses(self):
        # 数据预处理
        # 扩充常数项维度
        data = np.array(self.data)
        # 数据标准化
        # 计算均值和标准差
        mean = np.mean(data[:,:-1],axis=0)
        std = np.std(data[:,:-1],axis=0)
        data[:,:-1] = (data[:,:-1]-mean)/std
        
        one = np.ones((data.shape[0],1))
        self.data = np.hstack((one,data))
        # 训练总样本数
        self.m = self.data.shape[0]
        # 特征数 包含偏置项
        self.n = self.data.shape[1]-1  
    
    def model(self,train_data):
        # 定义算法模型
        y  = np.dot(train_data,self.theta)
        return y
    
    def tarin(self):
        # 模型训练
        n = 0   # 记录参数更新次数
        all_loss = [] # 记录每一次更新后的损失值 
        # 1、数据预处理
        self.data_prosses()
        # 2、初始化模型参数theta
        self.theta = np.random.rand(self.n,1)
        # 3、前向传播 不断训练模型
        b_n = self.m//self.batch_size   # //向下取整
        while True:
            # 每训练完一轮数据 打乱数据
            np.random.shuffle(self.data)
            for i in range(b_n):
                train_data = self.data[i*self.batch_size:(i+1)*self.batch_size]
                # 调用算法模型得到预测结果
                predict_y = self.model(train_data[:,:-1])
                # 计算损失 调用损失函数
                loss = self.loss(predict_y,train_data[:,-1:])   # train_data[:,-1:]样本真实值
                all_loss.append(loss)
                # 计算梯度  
                self.cal_grad(predict_y,train_data[:,-1:],train_data)
                # 更新参数theta的值
                self.theta = self.theta - self.learning_rate*self.grad
                n += 1 
                print(f'迭代次数:{n}\t当前误差值:{loss}\t模型参数:{self.theta}')
            # 控制模型训练停止条件
            if self.iter_max<n:
                break
        self.draw(all_loss)
        # 保存模型参数
        with open('model_lr.pt','wb') as f:
            pickle.dump(self.theta,f)
    
    def loss(self,y_predict,y_true):
        # 定义损失函数  回归模型  使用平方损失函数
        return np.sum((y_predict-y_true)**2)
        
    def cal_grad(self,y_predict,y_true,train_data):
        # 计算梯度
        self.grad = np.zeros((self.n,1))
        for i in range(self.n):
            self.grad[i,0] = np.mean((y_predict-y_true)*train_data[:,i:i+1])
        return self.grad
            
    @staticmethod
    def draw(all_loss):
        plt.plot(all_loss)
        plt.show()
        

if __name__ == "__main__":
    # 读取训练数据
    data = pd.read_excel(r'lr.xlsx')
    lr = LR(data)
    lr.tarin()

6. 线性回归的优化1：对数据进行归一化

主要优势: 增加迭代速度

6.1 数据归一化的必要性

在这里插入图片描述

6.2 归一化后的速度明显增加

在这里插入图片描述

6.3 最大最小归一化

  1. 公式：
    在这里插入图片描述
  2. 代码展示
    在这里插入图片描述

6.4 Z_Score归一化

  1. 公式:
    在这里插入图片描述
  2. 代码展示：
    在这里插入图片描述

7. 线性回归优化2: 添加正则项

针对过拟合

7.1 正则项次

  1. 由于有些权重很大有些权重很小(权重的不均衡)导致了过拟合，模型越复杂，正则化项就越大
    在这里插入图片描述

7.2 L2(Ridge岭回归) 和 L1 正则（Lasso）

在这里插入图片描述

7.3 L1对比L2

在这里插入图片描述

7.3 Elasitic Net

L1 + L2

8. 线性回归优化3: 多项式回归

8.1 做多项式拓展的原因： 解决欠拟合

在这里插入图片描述

8.2 并不是阶数越高越好

在这里插入图片描述

8.3 简单案例展示

在这里插入图片描述
在这里插入图片描述

9. 通过一个比赛来练习学习的东西(天池大赛蒸汽预测的回归任务)

  1. 代码弄丢了，懒得写了，看看结果就好，反正代码很好写的
  2. 最终的最好的结果是弹性网络不带正则化的
    在这里插入图片描述
    在这里插入图片描述
[Python从零到壹] 十二.机器学习之回归分析万字总结全网首发（线性回归、多项式回归、逻辑回归）
杨秀璋的专栏
07-03 5万+
前一篇文章讲述了数据分析部分，主要普及网络数据分析的基本概念，讲述数据分析流程和相关技术，同时详细讲解Python提供的若干第三方数据分析库，包括Numpy、Pandas、Matplotlib、Sklearn等。本文介绍回归模型的原理知识，包括线性回归、多项式回归和逻辑回归，并详细介绍Python Sklearn机器学习库的LinearRegression和LogisticRegression算法及回归分析实例。进入基础文章，希望对您有所帮助。
深度学习之真实值，预测值和观测值之间的区别
To be a better man
04-10 1万+
预测值，模型的输出，模型训练以后得到的输出值。 观测值，就是模型的输入，如果是图像的话，就是模型摄像头通过图像传感器的输入。 真实值就是物理世界的值，是肉眼看到的，没有任何误差的。 ...
深度学习中常用的部分损失函数及其数学公式
weixin_45371989的博客
09-27 3871
记录了一些各类常用的损失函数及其数学公式，以便记忆。。
Lipschitz continuity
rauchy的博客
08-15 1万+
函数的连续性 连续函数 一个函数f在点x0x_0x0​处连续，如果lim⁡x→x0f(x)=f(x0)\lim \limits_{x \rightarrow x_0}f(x)=f(x_0)x→x0​lim​f(x)=f(x0​)。如果函数f对于区间C中的每一个点都连续，则函数f在区间C上连续。 可导函数的连续性 如果一函数是连续的，则称其为C0C^0C0函数 如果函数存在导函数，且导函数连...
NLP论文中出现的名词解释（不断更新）
ac不知深的博客
04-28 3353
目录前言Distantly supervised （远程监督）Axial Attention（轴向注意力）Focal Loss（局部损失函数）Knowledge Distillation（知识蒸馏）soft labels（软标签）hard labels（硬标签）distant labels（远距离标签）positive sample（正样本）negative sample（负样本） 前言 因为每次看论文遇到新的名词查了很久，好不容易找到/总结出其意思 过了很久记不清，或者笔记本找不到 于是就想着写在这里当做
损失函数（loss function）（基本介绍，作用，场景，特点，常见损失函数，代码示例）
热门推荐
weixin_45594172的博客
06-23 2万+
损失函数（loss function）（基本介绍，作用，场景，特点，常见损失函数，代码示例）
一文看尽深度学习中的15种损失函数
06-10 2255
在机器学习中，损失函数是代价函数的一部分，而代价函数则是目标函数的一种类型[1]。 Loss function，即损失函数：用于定义单个训练样本与真实值之间的误差； Cost function，即代价函数：用于定义单个批次/整个训练集样本与真实值之间的误差； Objective function，即目标函数：泛指任意可以被优化的函数。 损失函数是用于衡量模型所作出的预测离真实值（Ground Truth）之间的偏离程度。通常，我们都会最小化目标函数，最常用的算法便是“梯度下降法”（Gradient
机器学习入门：线性回归预测网店销售额实例
最新发布
05-25
提供一个关于预测网店销售额的线性回归数据集。 数据集用于线性回归模型构建，以预测网店销售额。 基于线性回归的网店销售额预测数据集。 用于线性回归分析的网店销售额预测数据集。 线性回归分析中用于预测网店销售...
《零起点 Python 机器学习快速入门》：复制的简易机器学习入门 Iris 数据集线性回归.zip
04-12
随着统计学的发展，统计学习在机器学习中占据了重要地位，支持向量机（SVM）、决策树和随机森林等算法的提出和发展，使得机器学习能够更好地处理分类、回归和聚类等任务。进入21世纪，深度学习成为机器学习领域的...
机器学习入门（线性回归）波士顿房价预测代码
03-16
波士顿房价预测是一个经典的机器学习实践案例，它不仅可以帮助我们理解线性回归模型的基本原理和实现方法，还能让我们学会如何处理实际问题中的数据。 波士顿房价预测的核心目标是使用线性回归模型来预测波士顿住宅...
神经网络拟合曲线及讨论
Iswayzw的博客
04-22 3446
神经网络拟合曲线以优化经验分享
回归预测模型评估指标（MSE、RMSE、MAE）
weixin_46837260的博客
04-07 1万+
回归预测模型准确性和预测性能的评估指标：均方误差（MSE）、均方根误差（RMSE）和平均绝对误差（MAE）。其计算公式及含义如下图所示： 其中，yt表示测试集中实际打分值，ytp表示模型输出的预测打分值，n表示测试集图片数据的总量。MSE、RMSE和MAE这三个指标的正常数值范围为0到正无穷，其值越小表示实际值与预测值之间的误差值越小，模型的预测效果越好。 ...
jupyter notebook pytorch_PyTorch 和 优化器
weixin_39990558的博客
11-20 237
这段话来自 非洲经济女学家 Dambisa Moyo 的《Dead Aid》❝种一棵树最好的时间是十年前，其次是现在。-- Dambisa Moyo❞❝只要你心里有信念，没有时间的差距，什么时候开始都可以。❞❝温馨提示：代码可能一行过长，可以左右滑动查看。❞这篇文章的主要内容会围绕着如何使用 「PyTorch」 的优化器来展开。同样地，在这一篇文章中优化的函数还是一个简单的一元二次函数。...
损失函数总结
a631103520的博客
08-22 495
1.损失函数是什么 损失函数（loss function）或代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。 2.回归损失函数 2.1平方误差损失 每个训练样本的平方误差损失(也称为L2L_2L2​ LossLossLoss)是实际值和预测值之差的平方： L=(y−f(x))2L=(y-f(x))^{2}L=(y−f(x))2 相应的损失函
常见损失函数
Dreamcreationman的博客
12-09 2569
常见损失函数 @(cs231n) 文章目录常见损失函数损失函数定义0-1损失函数(zero-one loss)绝对值损失函数(Absolute loss)log对数损失函数(Log Loss)平方损失函数(Square Loss)指数损失函数 (Exponential Loss)SVM损失函数（Hinge Loss）感知损失函数(perceptron Loss)交叉熵损失函数 (Cross-entropy loss function)Modified Huber Loss参考文献损失函数定义0-1损失函数(
常见损失函数总结（一）
xiaomeng29的博客
05-18 1841
在介绍常见损失函数之前，我想先就选择损失函数的意义做一下探讨，我认为损失函数应该从两个方面去进行考量： (1) 如果损失函数达到最优了，在多大程度上可以认为模型的性能是非常好的？这点是最基本的要求，如果即使损失函数达到了全局最优，模型性能仍然不能很好的工作（例如MSE对比MAE，即使找到了全局最优仍然不能获取很好的性能），那应该考虑换个模型或者损失函数。 (2) 损失函数是否可以到达最优点或者...
Local GAN
gzq0723的博客
04-23 796
点击蓝字关注我们扫码关注我们公众号: 计算机视觉战队扫码回复：LocalGAN，获取下载链接概述本次分享的文章主要两点贡献。首先引入了一个新的局部稀疏注意层（local sparse ...
机器学习中的损失函数分析
杨燕丹的博客
12-18 2万+
这里分析讨论了机器学习中分类与回归问题应用的几个经典、简单的损失函数。 在机器学习中，所有的机器学习算法都或多或少的依赖于对目标函数最大化或者最小化的过程，我们常常把最小化的函数称为损失函数，它主要用于衡量机器学习模型的预测能力。回归会预测给出一个数值结果而分类则会给出一个标签。最小二乘法是损失函数的一种优化方法。但是有些损失函数采用传统数学方法是很难求解最小值的，而机器学习中的反向传播算法...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值