从信息论角度理解Softmax

最新推荐文章于 2024-07-28 11:34:28 发布
原创 最新推荐文章于 2024-07-28 11:34:28 发布 · 905 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

博客提到原本记录在OneNote上的内容，直接以截图形式呈现，但未提及具体信息技术相关内容。

本来写在one note上，直接截图了
这里写图片描述

Attention优化｜2w字原理&图解: 从Online-Softmax到FlashAttention V1/V2/V3
强化学习曾小健
05-25 4708
本文通过原理分析和图解的方式，通俗易懂地FlashAttention系列算法。FlashAttention V1/V2在LLM领域的应用已经非常广泛，相关的论文也反复读了几遍。FA1和FA2论文非常经典，都推荐读一下（不过FA2论文中公式错误不少本文大约1.8w字，包括以下内容：0x07 分布式训推使用FlashAttention0x09 FlashAttention中MQA/GQA以及Causal Mask处理。
softmax改造：ArcFace
zcm0126的博客
05-24 981
1. Softmax 如果有n类，则权重w为n个向量组成的矩阵。 Θ\ThetaΘ是特征向量x与对应权重向量wiw_iwi​之间的角度。在softmax中，只需要Θ1<Θ2\Theta _{1}<\Theta _{2}Θ1​<Θ2​即可判定x属于第1类。 2. L-Softmax 首次提出angular margin的思想。对softmax进行改造，引入角度间隔系数m。m是一个大于1的数，需要在m∗Θ1<Θ2m*\Theta _{1}<\Theta _{2}m∗Θ1​&lt
从数学分析的角度来看Softmax
weixin_30243533的博客
01-13 218
作者：无影随想时间：2016年1月。出处：https://zhaokv.com/machine_learning/2016/01/softmax-calculous-perspective.html声明：版权所有，转载请注明出处 Softmax是机器学习中最常用的输出函数之一，网上有很多资料介绍它是什么以及它的用法，但却没有资料来介绍它背后的原理。本文首先简单地介绍一下Softmax，...
信息论主要概念的理解
weixin_37136725的博客
01-16 1093
目录(?)[-] 前言交叉熵损失函数交叉熵损失函数的求导 前言交叉熵损失函数交叉熵损失函数的求导 前言 说明：本文只讨论Logistic回归的交叉熵，对Softmax回归的交叉熵类似。  首先，我们二话不说，先放出交叉熵的公式：  J(θ)=−1m∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i))), 以
从概率密度函数角度理解Sigmoid与SoftMax函数
Planes_Walker的博客
04-15 2138
概率密度函数 随机变量： 随机变量是取值有多种可能并且取每个值都有一个概率的变量。分为离散型与连续型。 离散型随机变量： 取值为有限个或者无限可列个（无限可列是指可以对变量进行编号，整数集是典型的无限可列）。 描述离散型随机变量的概率分布的工具是概率分布表，它由随机变量取每个值的概率p(x = xi )= pi依次排列组成。它满足： 所以在某些情况下，可以假定一个分布，...
An Information-Theoretic View for Deep Learning（从信息论的视角看深度学习）
SrdLaplace的博客
08-12 917
An Information-Theoretic View for Deep Learning 作者：Jingwei Zhang, Tongliang Liu, Dacheng Tao The University of Sydney, NSW, Australia 发布时间：3 May 2018 1. Abstract and Introduction Deep Learning ...
信息论入门探索
漫步量化
02-08 813
Overview 需要了解信息论。秉着大牛+历史这两条学习主线。调研一下有哪些学习资料。 入门 Visual Information Theory, by Christopher Colah. It’s a website, not a book. A First Course in Information Theory; Yeung, Raymond W. 2002 Network Information Theory; Abbas El Gamal, Young-Han Kim Informat..
softmax变种论文汇总
03-19
5. **A-Softmax**（Angular Softmax）：与AMSoftmax类似，A-Softmax同样增加了类别之间的角度间隔，但其设计更关注角度而不是距离，适用于环形空间中的特征学习，如人脸识别和姿态估计。 6. **SphereFace**：Sphere...
softmax交叉熵损失函数深入理解（二）
m0_61363749的博客
08-11 9133
前期博文提到经过两步smooth化之后，我们将一个难以收敛的函数逐步改造成了softmax交叉熵损失函数，解决了原始的目标函数难以优化的问题。Softmax 交叉熵损失函数是目前最常用的分类损失函数，本博文继续学习Softmax 交叉熵损失函数的改进，详细的理论参考论文《基于深度学习的人脸认证方法研究》，这篇论文真的太棒了，是我见过最优秀的专门针对损失函数进行深入研究的杰作。...
角度Softmax损失在开集人脸识别中的特征学习
资源摘要信息:"角度Softmax（A-Softmax）损失是一种面向开集人脸识别任务的深度学习优化方法，旨在通过增强特征的角度判别性来实现更具鲁棒性的身份识别能力。在传统的闭集人脸识别中，测试样本的身份均出现在训练...
图解Attention优化: 从Online-Softmax到FlashAttention V1/V2/V3
最新发布
lqfarmer的博客
07-28 1465
本文首先从Online-Softmax的角度切入，由浅入深地讲解了3-pass Safe-Softmax、2-pass Online-Softmax以及1-pass FlashAttention的原理；然后，进一步详细讲解了FlashAttention-1和FlashAttention-2算法中各自的优化点、FlashAttention IO复杂度分析以及适用场景、FlashAttention在分布式训推中的应用；
信息论小结
hello_JeremyWang的博客
08-07 494
本节主要讲解了信息论里面的一些基础概念。更详细的可以参考（https://zhuanlan.zhihu.com/p/26551798或者https://zhuanlan.zhihu.com/p/36192699或者https://www.zhihu.com/question/304499706/answer/544609335） 1. 熵 熵是很常见的概念，也是决策树里面的基础。它可以衡量事件的不确定性。比如，抛一枚有均匀正反面的硬币，和掷一个均匀六面的骰子，哪一种试验的不确定性更强一点呢？ 熵的定义是：对
softmax分类器推导
sinoaidi的博客
02-05 5762
本文主要讲解的是关于softmax函数的推导过程
信息论原理与计算机视觉的进展
AI天才研究院
01-05 564
1.背景介绍 计算机视觉(Computer Vision)是人工智能领域的一个重要分支，其主要研究如何让计算机理解和处理人类世界中的视觉信息。信息论(Information Theory)则是一门研究信息的数学学科，它为计算机视觉提供了一种理论框架，帮助我们更好地理解和解决计算机视觉中的问题。在本文中，我们将探讨信息论原理与计算机视觉的进展，包括背景介绍、核心概念与联系、核心算法原理和具体操作步...
arcface的前世今生
qq_55796594的博客
07-08 5099
ArcFace/InsightFace（弧度）是伦敦帝国理工学院邓建康等在2018.01发表，在SphereFace基础上改进了对特征向量归一化和加性角度间隔，提高了类间可分性同时加强类内紧度和类间差异。 论文链接：ArcFace: Additive Angular Margin Loss for Deep Face RecognitionLFW上99.83%，YTF上98.02%作为基于 softmax 改进的损失函数，arcface loss 的出现不是一簇而就的，在 arcface loss 之前有大
分享：互信息在对比学习中的应用
莫彩的博客
11-13 2933
对比学习常见的loss，但是为什么是这样？比如softmax或者lr这样的模型，其问题假设与目标存在清晰的推导关系。即，为什么使用这样的激活，这样的loss函数，最终我们都能在GLM理论中找到依据。正例比较近，负例比较远，那这个呢（refer DGI;2019 ICLR）？
为什么Softmax的输出可以用来估计后验概率？
田问渠Carlnait的博客
08-14 2060
信息论学科中有一个 Maximum Entropy（最大熵）的概念，也可以推导出Softmax。简单说信息论中定义了一个最大熵。指数簇分布的最大熵等价于其指数形式的最大似然界。二项式的最大熵解等价于二项式指数形式(sigmoid)的最大似然，多项式分布的最大熵等价于多项式分布指数形式(softmax)的最大似然，因此为什么用sigmoid函数，那是因为指数簇分布最大熵的特性的必然性。假设分布求解最...
机器学习（四）从信息论交叉熵的角度看softmax/逻辑回归损失
BryantLJ学习的地方
03-10 6494
机器学习中会常见到softmaxLoss，逻辑回归损失（或者叫交叉熵损失），这两种损失的来源可以由两方面考虑，一方面可以看做是来源于概率论中的极大似然估计，此部分可参见机器学习（二），另一方面可以看做是来源于信息论中的交叉熵损失。 本文主要从信息论中交叉熵的角度来解读这两种损失的由来。softmax损失与逻辑回归损失的来源交叉熵的定义信息量：事件X=x0的信息量为I(X0)=−log(p(x0))
从信息论的角度理解极大似然法
jteng的专栏
11-06 2925
极大似然估计是一种概率论在统计学中的应用，建立在极大似然原理的基础上，极大似然原理的直观解释是：一个随机试验如有若干个可能的结果A、B、C、…，若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大，那么就取参数估计，使A出现的概率最大。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值