吃瓜教程-Task02

原创 已于 2023-07-25 10:34:14 修改 · 899 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

于 2023-07-25 10:14:10 首次发布
文章介绍了回归分析的几种类型，包括一元和多元线性回归，以及对数几率回归。线性回归通过最小化残差平方和来求解模型，梯度下降和牛顿法是常用的优化算法。对数几率回归是基于极大似然估计和信息论的二分类模型，其损失函数与sigmoid函数相关。此外，还提到了线性判别分析，这是一种考虑类别信息的监督降维方法。

目录

一元线性回归

多元线性回归

对数几率回归

二分类线性判别分析

一元线性回归

上图是正交回归示例图

它试图找到一个正交拟合线，使得实际观测值在拟合线上的投影和预测值之间的残差平方和最小化。

上图是线性回归示例图 

为了能进行数学运算，样本中的非数值类属性都需要进行数值化。对于存在“序”关系的属性，可通过连续化将其转化为带有相对大小关系的连续值；对于不存在“序”关系的属性，可根据属性取值将其拆解为多个属性

“min”和“arg min”的区别 

前者输出目标函数的最小值，而后者输出使得目标函数达到最小值时的参数取值。
闭市解
闭式解是指可以通过具体的表达式解出待解参数
梯度下降法
梯度下降法利用“梯度指向的方向是函数值增大速度最快的方向”这一特性，每次迭代时朝着梯度的反方向进行，进而实现函数值越迭代越小

 牛顿法

牛顿法的迭代公式：

 拟牛顿法

牛顿法每次迭代时需要求解海森矩阵的逆矩阵，该步骤的计算量很大，所以将求解海森矩阵的逆矩阵改成求解计算量更低的近似逆矩阵，称为拟牛顿法。

 线性回归

目标是最小化观测值和预测值之间的残差平方和。最小二乘法也就是最小化均方误差。

多种类型的回归

最小二乘法 ：基于均方误差最小化来进行模型求解的方法

损失函数 

 求使得这个式子值最小的w与b的值

极大似然估计

最低0.47元/天 解锁文章
学习记录之数学表达式（4）
m0_53096519的博客
05-07 1532
本节介绍了min、argmin、累加、累乘与积分。
Task1 吃瓜教程-西瓜书 第1-2章
zaishaoyi的专栏
06-15 277
如果有多个假设与观察一致，则选择最简单的那个考虑二分类： 从结果看出，总误差与学习算法无关。对于任意两个学习算法,他们的期望性能相同。这就是NFL（没有免费的午餐原理） ROC全称是“受试者工作特征”(Receiver Operating Characteristic)。机器学习中，根据学习器的预测结果对样例进行排序，按此顺序逐个把样本作为正例进行预测，每次计算出两个重要量的值，分别作为横、纵坐标作图，就得到了ROC曲线。纵轴(真正例率) 横轴(假正例率) AUC（Area Under ROC Curve
数学表达式: 从恐惧到单挑 (7. min 与 argmin)
minfanphd的博客
07-26 1万+
5. min 与 argmin min 和 argmin 在机器学习中常用. max 和 argmax 同理. 5.1 min min 是 minimal 的缩写, 用于获得集合中的最小值. 如: min⁡{3,1,9,8}=1\min \{3, 1, 9, 8\} = 1min{3,1,9,8}=1. 源码: \min {3, 1, 9, 8} = 1, 即 \min 是定义好的一种符号. min 可以与向量/矩阵配合使用. 如: 给定向量 x=[3,1,9,8]\mathbf{x} = [3,
NumPy argmin()函数详解
最新发布
经天纬地，格物致理
10-13 1203
在数据分析、图像处理或机器学习任务中，常常需要找到数组或矩阵中最小值的位置。NumPy 提供的 argmin() 函数就能帮我们完成。本文将系统介绍 argmin() 的作用、用法、常见坑点，以及与 argmax() 的关系。
latex argmin、min这类的中下标
沃·夏澈德的博客
10-14 1万+
PyTorch：torch.max、min、argmax、argmin
Flag_ing的博客
10-17 4154
1、torch.max 函数定义： torch.max(input, dim, max=None, max_indices=None) -> (Tensor, LongTensor) 作用：找出给定tensor的指定维度dim上的上的最大值，并返回最大值在该维度上的位置索引。 应用举例： 例1——返回相应维度上的最大值 import torch a = torch.randint(2, 10,(6,4)) # 创建shape为6*4，值为[2,10]的随机整数的tensor
latex：argmaxmin 和 argminmin的写法
DeniuHe的博客
06-09 466
arg max min
精选资源
【DW组队学习—吃瓜教程】task2：概览西瓜书+南瓜书第3章
07-19
【DW组队学习—吃瓜教程】task2：概览西瓜书+南瓜书第3章是针对机器学习领域的深入学习任务，旨在通过分享和交流学习笔记来增进对相关知识的理解。这一章节的学习主要聚焦于两本重要的教材——《西瓜书》（即《统计...
吃瓜教程task02 第3章 线性模型
qq_31254785的博客
05-16 623
第三章 线性模型 2022/5/16 雾切凉宫 至3.2节/视频P3 文章目录第三章 线性模型3.1 基本形式3.2 线性回归P2 一元线性回归P2.1 最小二乘法P2.2 极大似然估计误差ε极大似然估计解法P2.3 求解w和bP2.4 机器学习三要素P3 多元线性回归P3.1 由最小二乘法导出w 3.1 基本形式 线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数，即 f(x)=w1x1+w2x2+……+wdxd+b f(x)=w_1x_1+w_2x_2+……+w_dx_d
（机器学习周志华 西瓜书 南瓜书）吃瓜教程 Task02
橘子冰的博客
07-19 629
目录第三章线形模型3.1基本形式3.3对数几率回归3.5 多分类学习 第三章线形模型 3.1基本形式 解读：计算不同特征xi的权重，加上截距b，训练出线形模型 为什么要加上截距？举例：如果只有x1 x2， 那不加截距，不论怎么改变它们俩的权重，得到的直线 y 都只会绕着原点旋转。这样拟合数据的能力是有限的。而加上截距b以后，这跟直线就能上下移动了，能更灵活进行拟合。 3.3对数几率回归 进行二分类任务的时候经常看到这个sigmoid函数，就是形状像s的函数。分类如图所示：红色是单位跃阶函数，黑色是对数几率
ARGMIN/ARGMAX 函数：与 MIN/MAX 函数的输入相同，只是输出顺序不同：索引为 1，min/max 为 2。 适用于矩阵。-matlab开发
05-29
与 MIN/MAX 函数的输入相同，唯一不同的是输出顺序：索引为 1，min/max 为 2。 适用于矩阵。
argmin是什么意思
chen的博客
10-14 2万+
举个简单的例子，考虑一个函数 f(x)，其中 x 是实数。如果 f(x) 在 x = 3 时取得最小值，那么。经常用于描述需要找到某个函数的最小值时，所需的自变量的值。是一个数学术语，用于表示一个函数在其定义域中取得最小值的参数值（自变量的值），而不是最小值本身。表示函数的自变量（通常是一个实数或向量），当输入到该函数后，使函数取得最小值的自变量的值。的名称来源于 “argument of the minimum”，意思是最小值的参数。这表示当 x = 3 时，函数 f(x) 的值最小。
np.min()和np.argmin()函数用法
qq_43511299的博客
03-27 4979
np.min()函数用于返回列表中的最小值 np.argmin()函数用于返回一维列表最小值索引或多维列表展平之后的最小值索引 import numpy as np lst1=[1,100,56,78,0] lst2=[[100,4,5],[3,5,7],[5,0,6]] print("lst列表中的最小值是:") print(np.min(lst1)) print("lst1列表中最小值的索引是：") print(np.argmin(lst1)) print("lst2列表中最小值的索引是：") prin
数学中常见的arg min，arg max是什么意思
热门推荐
JayMining的博客
10-02 23万+
arg    是变元（即自变量argument）的英文缩写。 arg min 就是使后面这个式子达到最小值时的变量的取值 arg max 就是使后面这个式子达到最大值时的变量的取值 例如 函数F(x,y): arg  min F(x,y)就是指当F(x,y)取得最小值时，变量x,y的取值 arg  max F(x,y)就是指当F(x,y)取得最大值时，变量x,y的取值
数学中的argmin与argmax
潜行者的博客
12-06 1654
arg 是变元（即自变量argument）的英文缩写。 arg min 就是使后面这个式子达到最小值时的变量的取值 arg max 就是使后面这个式子达到最大值时的变量的取值 例如 函数F(x,y): arg min F(x,y)就是指当F(x,y)取得最小值时，变量x,y的取值 arg max F(x,y)就是指当F(x,y)取得最大值时，变量x,y的取值 ...
数学中arg min是什么意思
liweiminlining的专栏
03-08 8248
数学中arg min是什么意思
argmin ，argmax函数
Slow-slicing的博客
05-12 7万+
在数学中，ARG MAX（或ARGMAX）代表最大值，即给定参数的点集，给定表达式的值达到其最大值：换一种说法，是f（x）具有最大值M的x的值的集合。例如，如果f（x）是1- | x |，那么它在x = 0时达到其最大值1并且仅在那里， 所以..等价地，如果M是f的最大值，那么arg max是最大值的水平集如果最大值达到一个值，那么一个将该点称为arg max，这意味着我们将arg max定义为一...
argmax 与 max 的区别
番茄锅涮代码
04-10 2万+
y=f(t) 就是一般的函数形式 y=max f(t) ：y是f(t)函数的最大值 y=argmax f(t) ：y是f(t)函数取到最大值时的参数t 比如有 f（t）=t^2 ； t的取值范围{0,1,2}，那么： y=max f(t)=4； y=argmax f(t)=2； ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值