线性回归-对数几率回归与线性判别分析

最新推荐文章于 2025-01-23 19:43:42 发布
最新推荐文章于 2025-01-23 19:43:42 发布
阅读量431 收藏
点赞数
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43602449/article/details/118916877
版权

这次和上一次的内容类似，以西瓜书南瓜书为主结合统计学习方法与吴恩达机器学习，先做了一些手写的笔记，后面会精简整理成博客。
在这里插入图片描述

机器学习02_线性回归和对数回归
坚持写点什么吧
04-07 610
西瓜书笔记
《机器学习by周志华》学习笔记-线性模型-02对数几率回归与线性判别分析
vanilla698的博客
04-17 1234
上一节我们考虑了线性模型的回归学习，但是想要做分类任务就需要用到上文中的广义线性模型。当联系函数连续且充分光滑，考虑单调可微函数。多分类与二分类的线性判别分析（LDA）
线性判别分析（线性回归、对数几率回归、线性判别分析和广义线性判别分析）...
weixin_30872789的博客
12-27 788
基本形式 优点：线性模型形式简单、易于建模。 很多非线性模型是在线性模型的基础上通过引入层级结构或高维映射得到的。 权重矩阵直观表达了各个属性的重要性，因此具有良好解释性。 线性回归 1、线性回归介绍与离散属性转换为实数值 线性回归（linear regeression）试图学习一个线性模型以尽可能准确预测实值输出标记。 对于预测值本...
线性回归与对数几率(Logistic)回归的区别与联系
普通攻击往后拉的博客
03-31 5247
1 线性回归 线性回归其实就是高中讲过的那种回归，但是不同的是线性回归在神经网络这个学科里大多使用梯度下降来计算参数w,bw,bw,b，而高中讲的是使用最小二乘法。 线性回归想解决的问题也是回归问题，公式： y=wx+b y=wx+by=wx+b 也可以写成： hθ(x)=θx h_\theta(x) =\theta x hθ​(x)=θx 用图形表示的话： 如果更新方式使用梯度下降，其中损...
机器学习教程 之 线性模型：线性回归、对数几率回归、线性判别分析
冯良骏 的 博客
08-31 5647
常用的三个线性模型的原理及python实现——线性回归（Linear Regression）、对数几率回归（Logostic Regression）、线性判别分析（Linear Discriminant）。 这可能会是对线性模型介绍最全面的博客一、线性模型 （Linear Model） 二、线性回归 （Linear Regression） 三、对数几率回归（Logistic Regression
线性回归和对率回归
鱼奶奶的花园
04-20 2478
线性回归： 根据样本学习从x到y的映射关系，如y=W^T·x+b，利用这个映射关系对未知数据进行预估，因为y是连续实值，故为回归问题； ·损失函数：最小二乘；平方损失函数 ·正则化： L１正则化：　 Lasso回归；产生稀疏权值矩阵（指很多元素为0，只有少数是非零值的矩阵，也就是得到的线性回归模型大部分系数为0）；可用于特征选择，使模型在大量特征中只关注那些非...
浅析广义线性模型（举例线性回归和对数几率回归）
Blog of AndrewLioWu
03-11 1684
文章目录通用形式简介重要概念指数族分布线性回归简介正则化基扩展和核函数对数几率回归简介多分类策略[4]凸函数求解一些问题# 参考链接 通用形式 简介 ​ 广义线性模型（Generalized Linear Model），将线性模型通过联结函数（link function）联结线性预测值（linear prediction）（即线性模型的直接输出）和期望输出值（expected value）[1...
对数几率回归、逻辑回归
最新发布
Sodas的博客
01-23 1076
对数几率回归（Logistic Regression），又称逻辑回归，是一种用于解决分类问题的经典统计模型，尤其适合用于二分类问题。
小白学习机器学习---第三章：线性模型(2)：对数几率回归
hx14301009的博客
03-27 1684
上一节讨论了如何使用线性模型进行回归学习，通过最小二乘法可以很快求解各参数。但是如果要做的是分类任务，这时候，只需要找到一个单调可微函数将分类任务真实标记y与线性回归模型的预测值联系起来。将线性回归模型简写为：对数线性回归模型可以写成：本质上仍然是线性回归，只不过拟合的是非线性的ln函数了。 更一般地，考虑单调可微函数g(*),令，这个模型就叫做广义线性回归模型。对于二分类任务，输出标记  y∈{...
机器学习线性模型（对率回归，十折交叉，线性判别）
09-23
线性模型的概念包括线性回归、对数几率回归、线性判别分析和多分类学习等。 3.1 线性模型概念 线性模型是指模型的输出可以表示为输入的线性组合。线性模型的优点是易于解释和实现，但其缺点是对数据的假设较强，且...
向量自回归模型的理论方法及应用实例
11-07
详细讲解向量自回归的历史发展作用和实战应用，有着非常丰富的逻辑脉络和实战案例
机器学习（二）线性模型——线性回归、对数几率回归、线性判别分析
weixin_51547017的博客
04-10 2196
一、线性回归 线性回归（linear regression：试图学得一个线性模型以尽可能准确地预测实值输出标记。 1.最简单的形式：输入属性的数且只有一个， 最小二乘法：基于均方差误差最小化来进行模型的求解，在线性回归中，最小二乘法就是试图找到一条直线，使得样本到直线上的欧氏距离之和最小。 2.但是更一般的形式：输入的属性有多个 求解这个的过程称为“多元线性回归” 二、对数几率回归 在 一 中讲到使用线性模型进行回归学习，若要进行分类任务，应该怎样做呢？ 此时需要借助某些函数，将分类的任务的结果与回归得到的
【机器学习－西瓜书】三、线性回归；对数线性回归
热门推荐
人工智能技术学习与分享
08-24 1万+
墙裂推荐阅读：ｙ的衍生物 关键词：最小二乘法；正则化；对数线性回归； y的衍生物 3.1 基本形式 假设样本x有d个属性，线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数，即f(x)=w1x1+w2x2+⋅⋯+wdxd+bf(x)=w1x1+w2x2+⋅⋯+wdxd+bf(x)=w_{1}x_{1} + w_{2}x_{2}+\cdot \cdo...
机器学习基础 对率回归实现&线性判别分析
一夜星尘
03-27 584
对率回归实现 import numpy as np from numpy import linalg as LA import matplotlib.pyplot as plt def get_Data(): """ 数据获取 :return: """ data = np.array([[0.697,0.460,1],[0.774,0.376,1],[0.634,0.264,1],[0.608,0.318,1],[0.556,0.215,1], [0.403
年龄和收入对数的线性回归_Logistics回归——分析富士康的员工自杀
weixin_34496367的博客
01-06 958
Logistics回归logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。例如，探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率等。以胃癌病情分析为例，选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群必定具有不同的体征与生活方式等。因此因变量就为是否胃癌，值为“是”或“否”，自变量就可以包括很多了，如...
02-09 对数线性回归(波士顿房价预测)
小猿取经
02-26 881
文章目录对数线性回归(波士顿房价预测)导入模块获取数据训练模型可视化 对数线性回归(波士顿房价预测) 导入模块 import pandas as pd import numpy as np import matplotlib.pyplot as plt from matplotlib.font_manager import FontProperties from sklearn.linear_m...
《机器学习西瓜书》学习笔记——第三章_线性模型：对数几率回归（逻辑回归）
欢迎光临啊噗不是阿婆主的酒馆
10-07 1960
1.经典线性模型介绍 logistic回归算法描述： 2. 对数几率回归（logistic regression） Logistic回归目的是从特征学习出一个0/1分类模型，而这个模型是将特性的线性组合作为自变量，由于自变量的取值范围是负无穷到正无穷。因此，使用logistic函数（或称作sigmoid函数）将自变量映射到(0,1)上，映射后的值被认为是属于y=1的概率。 假设函数： 其中x...
Ch3.3 对数几率回归
Elvirangel的博客
11-18 1456
问题：编程实现对数几率回归，并给出西瓜数据集3.0a上的结果   方法一：使用sklearn实现对数几率回归 import numpy as np import matplotlib.pyplot as plt from sklearn import model_selection from sklearn.linear_model import LogisticRegression f...
sklearn自带数据集load_digits（手写数字识别）的线性与对数模型实现，并比较二者性能
huangxuesheng的博客
10-26 1万+
实验 1：线性模型实现 实验要求 (1)对问题进行简单描述并给出线性判别分析和对数几率回归解决分类问题的原理； (2)将问题相关数据集划分成训练集和测试集； (3)给出线性判别分析和对数几率回归解决手写数字识别问题的代码； (4)对训练后的模型进行交叉验证，进而对不同模型进行比较和评估； (5)实验报告除了姓名、专业、学号和班号之外，其他所有地方要求用手写（不允许打印）。 具体要求 （1）手写数字识别问题的数据可以通过如下方式生成： from sklearn.datasets import load_dig
用伪代码实现对数几率回归和线性判别分析算法
11-06
首先，让我们分别简要地介绍这两种常见的统计学习算法： 1. 对数几率回归 (Logistic Regression): 对数几率回归主要用于二分类问题，它将输入特征与概率关联起来。以下是简单的伪代码实现： ```python // 假设 X 是输入特征矩阵，y 是对应的二进制目标变量 function logistic_regression(X, y): // 初始化模型参数 w w = zeros(size(X[0])); // 正则化参数 λ lambda_ = 0.01 // 迭代优化过程（例如梯度下降） for epoch in range(max_epochs): // 预测概率 p(y=1|x) predictions = sigmoid(X * w) // 计算损失函数（交叉熵） loss = -mean(y * log(predictions) + (1 - y) * log(1 - predictions)) // 梯度更新 dw = (X.T @ (predictions - y)) / X.shape[0] + lambda_ * w // 更新权重 w -= learning_rate * dw return w ``` 其中 `sigmoid` 函数用于计算预测值的概率。 2. 线性判别分析 (Linear Discriminant Analysis, LDA): LDA是一种降维技术，尤其适用于高维数据，目的是最大化类别间的方差同时最小化类内方差。以下是简单描述： ```python function lda(X_train, y_train, X_test): // 计算类均值 class_means = [mean(X[y == i]) for i in unique(y_train)] // 计算类协方差矩阵 within_class_covariances = [] for class_idx, mean in enumerate(class_means): within_class_covariances.append(covariance(X_train[y_train == class_idx], demeaned=True)) // 计算总样本协方差矩阵 pooled_covariance = covariance(X_train, demeaned=True) // 计算W矩阵（投影到低维空间的方向） W = inv(pooled_covariance) - inv(within_class_covariances).sum(axis=0) // 应用LDA变换 X_train_lda = X_train @ W X_test_lda = X_test @ W return X_train_lda, X_test_lda ``` 注意：以上都是简化版本，实际应用中可能需要处理更多细节如数据预处理、异常值检查等。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值