机器学习 - 线性回归

最新推荐文章于 2025-06-26 23:29:23 发布

KeeJee

最新推荐文章于 2025-06-26 23:29:23 发布

阅读量3.1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：机器学习数据挖掘机器学习与数据挖掘文章标签：机器学习线性回归 lasso ridge 最小二乘

本文链接：https://blog.youkuaiyun.com/ZK_J1994/article/details/76013040

本文详细介绍了线性回归的原理与应用，包括标准线性回归、局部加权线性回归、Ridge回归和Lasso回归。通过均方误差最小化进行模型优化，并讨论了L1范数和L2范数对模型简化的影响。此外，还提到了回归结果的性能度量方法——皮尔逊相关系数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

线性回归简单地说就是给样本的每个特征回归出一个系数。线型模型推导过程：

http://download.youkuaiyun.com/detail/zk_j1994/9911445

1. 标准线性回归

标准线性回归主要包含三个步骤：均方误差，均方误差向量化，最小化均方误差。

1.1 均方误差

1.2 均方误差向量化

1.3 最小化均方误差

代码实现如下，数据来源于machine learning in action 第八章ex0.txt。

# -*- coding: utf-8 -*-
""" 标准线性回归
file: stand_LR.py
author: UniqueZ_
date: 2017-07-26
"""
import numpy as np
import utils

def stand_linearReg(train_x, train_y):
    """ 标准线性回归 """
    train_x = np.mat(train_x)
    train_y = np.mat(train_y.reshape(200,1))
    
    # 判断是否可逆
    if np.linalg.det(train_x.T * train_x) != 0:
        W = np.linalg.inv(train_x.T * train_x) * train_x.T * train_y
    else:
        raise(Excep