python学习-Logistic回归与Softmax回归

原创 已于 2023-10-29 23:02:27 修改 · 180 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #学习 #回归

于 2023-10-29 21:18:24 首次发布
本文介绍了将文本样本转化为向量的词袋模型，探讨了模型性能评估的混淆矩阵，以及在二分类和多分类问题中使用的微策略、宏策略和加权策略。重点讲解了逻辑斯蒂回归及其在多分类中的softmax函数扩展，包括梯度下降过程和损失函数计算。以Iris数据集为例，展示了多分类问题的处理方法。

图像分类数据集有CIFAR-10、ImageNet

应用：情感分类

关键：将样本x从文本形式转为向量形式 词袋模型（Bag-of-Words，BoW）

模型性能的评估指标

混淆矩阵（confusion matrix）

对于二分类问题，根据每一个样本的真实标签𝒚 和预测标签𝒚 ෝ的差异，可以 得到一个2*2的矩阵

对于多分类（N）问题，可以得到一个N*N的矩阵

二分类评价指标

三分类评价指标

micro策略

指把所有的类放在一起算，即所 有类的TP加和，再除以所有类的 TP和FP的加和。因此， micro方 法下的precision和recall都等 于accuracy。

macro策略

先分别求出每个类的precision再算术平均

Weighted策略

weighted算法不再是取算术平均, 而是 乘以该类在总样本数中的占比作

最低0.47元/天 解锁文章
AI人工智能中的数学基础原理与Python实战：Logistic回归与Softmax回归算法
AI天才研究院
12-08 262
1.背景介绍 人工智能（Artificial Intelligence，AI）是计算机科学的一个分支，研究如何让计算机模拟人类的智能。人工智能的一个重要分支是机器学习（Machine Learning），它研究如何让计算机从数据中学习，以便进行预测和决策。机器学习的一个重要技术是回归分析（Regression Analysis），它用于预测连续型变量的
[log_softmax]——深度学习中的一种激活函数
.
03-23 3721
具体来说，在模型训练过程中，[log_softmax]可以被当作是损失函数的一部分，用于计算预测值与真实值之间的距离。在深度学习中，我们需要将神经网络的输出转化为预测结果，而由于输出值并非总是代表着概率，因此我们需要使用激活函数将其转化为概率值。总结来说，[log_softmax]是深度学习中非常重要的一种激活函数，它通过运算将神经网络的输出值转化为概率值，进而用于模型训练和评估中。在深度学习中，激活函数是非常重要的组成部分之一，而[log_softmax]就是其中的一种。
pytorch中log_softmax的实现
说文科技，做有态度的研究。
12-18 1万+
pytorch中的log_softmax 是怎么实现的？让你以后不再担心函数实现。
【总结】PyTorch多分类log_softmax、softmax的中文手册
江南蜡笔小新
04-01 4742
【总结】PyTorch多分类log_softmax、softmax的区别与联系 log_softmax、softmax在F和nn中存在，在此主要介绍nn 1.softmax torch.nn.functional.softmax (Python function, in torch.nn.functional) torch.nn.Softmax (Python class, in torch.n...
Pytorch中易混淆的损失函数与激活函数【softmax, log_softmax, NLLLoss, CrossEntropy】
qq_43456497的博客
05-24 1938
softmax：将一个数值序列映射到概率空间（每个元素分布并且所有和为1）：在softmax的基础上取对数NLLLoss：对log_softmax与one-hot进行计算：衡量两个概率分布的差别（交叉熵）在分类问题中，CrossEntropy等价于log_softmax 结合 nll_loss。
Pytorch中Softmax和LogSoftmax
学无止境、积少成多、厚积薄发
09-24 2242
1.Softmax函数常用的用法是指定参数dim就可以： （1）dim=0：对每一列的所有元素进行softmax运算，并使得每一列所有元素和为1。 （2）dim=1：对每一行的所有元素进行softmax运算，并使得每一行所有元素和为1。 2.LogSoftmax其实就是对softmax的结果进行log，即Log(Softmax(x)) # -*- coding: utf-8 -*- """ Created on Thu Sep 24 14:05:17 2020 @author: zqq """ impo
Pytorch详解NLLLoss和CrossEntropyLoss、以及softmax和log_softmax
vincent_duan的专栏
09-02 2924
数据 import torch import torch.nn.functional as F import numpy as np # 随机新建3个样例数据，每个样例数据包含4个属性特征 input = torch.randn(3,4) tensor([[ 0.0054, -0.8030, -0.5758, -0.6518], [-0.5518, 0.3904, 0.5296, 0.4973], [ 0.1608, 0.5822, 0.9536, -0.3173
机器学习-Logistic回归
12-25
Logistic回归是机器学习中的一种基础且重要的分类算法，它主要用来解决二分类问题。尽管它的名字中带有“回归”，但实际上是用于分类任务，因为其输出是离散的类别值，比如0或1，代表两个不同的类别。在本资料包中，...
精选资源
【机器学习】线性回归（最小二乘法or梯度下降法）、多项式回归、logistic回归、softmax回归.zip
06-10
在机器学习领域，线性回归、多项式回归、逻辑回归和softmax回归是四种常见的模型，它们各有特点并广泛应用于各种预测和分类问题。本压缩包包含相关代码和数据集，帮助学习者深入理解这些概念。 1. **线性回归**： ...
精选资源
基于pytorch的logistic与softmax回归模型python代码
12-11
在深度学习领域，Logistic回归和Softmax回归是两种基础但非常重要的模型。它们通常用于分类问题，尤其是二分类和多分类任务。PyTorch是一个流行的深度学习框架，以其灵活性和易用性受到广泛欢迎。下面我们将深入探讨...
【PYG】处理Cora数据集分类任务使用的几个函数log_softmax，nll_loss和argmax
Never Give Up
07-02 1443
log-softmax 操作的主要作用是在多分类问题中计算模型的输出概率分布，并且在使用负对数似然损失（negative log-likelihood loss，通常用于分类任务）时特别有用。对于分类任务，这一步是必要的，因为模型的输出通常是每个类别的对数概率分布，我们需要从中选出概率最大的类别作为预测结果。这表示模型预测第一个样本的类别为1，第二个样本的类别为2，第三个样本的类别为1。通过这种方式，我们可以从模型的输出中提取每个样本的预测类别，用于后续的评估或其他处理。对于二维张量（例如批处理的数据），
探究logsoftmax的计算细节
tricoffee
01-22 1579
import torch import numpy as np import torch.nn.functional as F import math from functools import reduce exp = math.exp log = math.log #设置实验数据 input = torch.tensor([[2.5, -0.5, 0.1], ...
Pytorch中Softmax和LogSoftmax的使用
黄笳倞的博客
05-02 1万+
目录 一、函数解释 二、代码示例 三、整体代码 一、函数解释 1.Softmax函数常用的用法是指定参数dim就可以： （1）dim=0：对每一列的所有元素进行softmax运算，并使得每一列所有元素和为1。 （2）dim=1：对每一行的所有元素进行softmax运算，并使得每一行所有元素和为1。 class Softmax(Module): r"""Applies th...
机器学习：Softmax回归（Python）
2302_78896863的博客
01-31 679
Softmax回归（多分类）
python 实现的 softmax regression
最新发布
ID246783的博客
09-13 863
很简单的模型，就只有一层DenselayerDense \;layerDenselayerdef accuracy(output, label): # 计算拟合的准确度return nd.mean(output.argmax(axis = 1) == label).asscalar() # argmax是把每一列的最大概率的index返回出来 然后和label比较是否相同 最后所有求个meanacc = 0.这里的softmaxcrosse。
log_softmax
jacke121的专栏
02-19 7187
参考：https://blog.csdn.net/qq_28418387/article/details/95918829 Pytorch中Softmax、Log_Softmax、NLLLoss以及CrossEntropyLoss的关系与区别详解 原创AI学渣 最后发布于2019-07-14 22:17:11 阅读数 683 收藏 展开 最近看了一些Pytorch的代码，代码中使用了Log_S.........
Pytorch中Softmax、Log_Softmax、NLLLoss以及CrossEntropyLoss的关系与区别详解
热门推荐
NeilPy的博客
07-14 2万+
最近看了一些Pytorch的代码，代码中使用了Log_Softmax方法，Loss函数使用了NLLLoss，作为深度学习新手，便上网查了一些资料，将相关知识总结记录以下。 本文主要参考了这篇文章，在此基础上加入了一些自己的理解。 Softmax 我们知道softmax激活函数的计算方式是对输入的每个元素值x求以自然常数e为底的指数，然后再分别除以他们的和，其计算公式如下： Softmax(xi)=...
python:logistic,softmax函数
night李的博客
08-05 1万+
在学习时，经常会遇到分类的问题，简单的讲：分类就是设定一个阈值，将你想分类的对象与这个阈值进行比较，根据结果来进行决定分类。 最简单的分类函数是阶跃函数（简单粗暴） 但问题在于，这模型不够光滑，阶跃点从0到1突变，阶跃点难以处理，分类的效果也就那样。 logistic函数：一种常见的S形函数，它是皮埃尔·弗朗索瓦·韦吕勒在1844或1845年在研究它与人口增长的关系时命名的。（生物课上经常
深度学习基础（一） —— softmax 及 logsoftmax
人工智能
03-15 1万+
softmax：重新定义了多层神经网络的输出层（output layer），注意仅和输出层有关系，和其他层无关。 softmax function，也称为 normalized exponential（指数族分布的观点）； 1. softmax 我们知道在神经网络的前馈（feedforward）的过程中，输出层的输入（input）为：  zLj=∑kwLjk⋅aL−
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

愚公移山山不移

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值