为什么注意力公式中要进行scaling

最新推荐文章于 2025-12-23 20:57:50 发布
原创 最新推荐文章于 2025-12-23 20:57:50 发布 · 174 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能 #大模型

部署运行你感兴趣的模型镜像

 

梯度爆炸指的是在反向传播过程中，梯度值（即损失函数对参数的偏导数）变得异常大，导致参数更新的步长过大，模型无法收敛。

scaling后进行softmax操作可以使得输入的数据的分布变得更好，你可以想象下softmax的公式，数值会进入敏感区间，防止梯度消失，让模型能够更容易训练。

您可能感兴趣的与本文相关的镜像

Yolo-v8.3

Yolo-v8.3

Yolo

YOLO（You Only Look Once）是一种流行的物体检测和图像分割模型，由华盛顿大学的Joseph Redmon 和Ali Farhadi 开发。 YOLO 于2015 年推出，因其高速和高精度而广受欢迎

【知识点】Transformer自注意力计算为什么要除以√q_k 进行Scaling？
q742971636的博客
05-15 182
在 Scaled Dot-Product Attention 中，除以 $\sqrt{d_k}$ 的核心目的是通过调整点积结果的方差为1，避免输入到 softmax 的值过大导致梯度消失。假设查询向量 $Q$ 和键向量 $K$ 的每个元素是独立同分布的随机变量，均值为 0，方差为 1，点积 $Q \cdot K$ 的方差为 $d_k$。将点积结果除以 $\sqrt{d_k}$ 后，方差被归一化为 1。这种缩放操作不仅避免了 softmax 输入值过大导致的梯度消失问题，还使得不同维度的注意力分数分布一致，从
CV领域 交叉注意力(Cross Attention)中QKV的含义理解
清晨的光明
03-27 7941
再用Key向量的维度进行scaling，即将计算得到的相似度矩阵维度，：将重要特征的强弱程度权重系数矩阵施加到图像特征上，得到最终的。：Q和K相乘，对应Query和Key进行点积运算，得到的是。（2）Q：告诉attention需要关注哪些重要特征。，即Q中任一元素与K的每个元素相似度权重之和都为1；，这个系数矩阵代表在图像特征上。（1）K=V：图像的全局特征。（重要特征是Q所提供的）。：对相似度权重矩阵进行。
【置信度校准】几种经典概率校准方法（Platt scaling、 histogram binning、 isotonic regression、 temperature scaling）
ROYOLE'S
09-27 9911
1. Platt scaling Platt scaling本质上是对模型sigmoid输出的分数做概率变化。在此基础上引入了两个参数a， b，假设输入样本为$X_i$，模型输出分数为$f(X_i)$，则最终输出概率计算公式变为 a, b参数优化通过最大化似然函数（最小化对数损失函数）的方法可以求得 2. histogram binning 对于所有输出未校准预测概率$p_i$，将其划分成$M$个bin，对于每个bin设置一个校准分数$theta_m$，如果预测概率$p_i$若如区间$.
transformer中的attention为什么scaled
ltochange的博客
08-27 572
transformer中的attention为什么scaled 简单的说是为了上attention得到的权值更加均匀一点。在数量级较大时，softmax将几乎全部的概率分布都分配给了最大值对应的标签。 详见 transformer中的attention为什么scaled 如果本身就想获得差距较大的attention值，可以不用scaled。例如在这个ner任务里面 ...
[NLP]——Transformer中的attention为什么要做scale？
jokerxsy的博客
04-30 5776
前言 说起Transformer的self-attention，很容易想到下面的公式： Attention(Q,K,V)=softmax(QKT/dk)VAttention(Q,K,V) = softmax(QK^T/\sqrt{d_k})VAttention(Q,K,V)=softmax(QKT/dk​​)V 假设X是输入，分别经过WQW_QWQ​、WKW_KWK​和WVW_VWV​映射得到QQQ、KKK和VVV，【dkd_kdk​=Q.size(-1)=K.size(-1)】，通过QQQ和KKK的dot
Attention 的计算公式中为什么要除以根号k ?
强化学习曾小健
01-18 990
苏神曾经试图求解了一些常用分布的最佳scale值，感兴趣的可以看下：https://spaces.ac.cn/archives/9812。这个问题在《AttentionisAllYouNeed》的原始论文中是给出了一个粗略的答案的。只有一个值为1的元素，其他都为0的话，反向传播的梯度会变为0,也就是最大值softmax后的值为1，其他值则为0。从上一节的第一步的证明，可以发现，scale的值为。归一化成了一个均值为0，方差为1的向量。
什么是scaling laws？
智能守恒_HengAI
02-16 2360
Scaling Laws 由 OpenAI 在 2020 年的论文《Scaling Laws for Neural Language Models》中首次系统提出，通过实验发现语言模型的性能（如测试损失）与模型参数规模、训练数据量、计算量之间存在幂律关系（Power Law）。Scaling Laws 是大模型时代的“导航图”，揭示了规模扩展对性能提升的重要性，但也需结合数据质量、架构创新和实际约束综合考量。未来的突破可能来自对缩放规律的更精细理解（如稀疏模型、多模态扩展），而非单纯追求参数量的增长。
MLA实现及其推理上的十倍提速——逐行解读DeepSeek V2中多头潜在注意力MLA的源码(图、公式、代码逐一对应)
热门推荐
结构之法 算法之道
02-10 1万+
想来也是巧，最近deepseek实在是太火了，就连BAT这类大厂全部宣布接入deepseek，更不用说一系列国企、车企等各行各业的传统行业、企业都纷纷接入deepseek与此同时，也有很多公司、开发者对本地部署deepseek的诉求居高不下，我们也服务了一些B端客户，本文也提供了一些本地部署的方法结果，在网上看KTransformers资料的时候，无意中看到一篇帖子《DeepSeek-V2 高性能推理 (1)：通过矩阵吸收十倍提速 MLA 算子》，让我关注到了DeepSeek-V2对MLA的实现。
Attention为什么要除以根号d
qq_50988647的博客
06-09 2733
我们知道，attention结构中注意力得分的计算公式为，其中分别表示及其维度，那么为什么在计算score的时候要除以呢？这个问题比较考验各位同学的数学功底，我将从自己理解的角度进行分析，欢迎大家评论指正。
精选资源
CS324课程大模型中的Scaling Law(规模法则)课件
03-20
这意味着，在给定计算量C的情况下，模型的性能主要由模型参数量N和数据集大小D决定，而与模型的具体结构如层数、深度或注意力头的数量等关系不大。换句话说，只要保持计算量不变，通过调整模型参数量和数据集大小就...
[AI算法] 什么事RoPE scaling
头狼博客
06-01 1314
RopeScaling技术通过频率缩放扩展Transformer模型上下文长度，其中Dynamic NTK-Aware Scaling和YaRN是主流方法。Dynamic NTK基于神经切核理论动态调整RoPE频率参数
CVPR2020-注意力尺度用于人群密度估计 | Attention Scaling for Crowd Counting
weixin_42096202的博客
06-22 3371
与白翔组的分尺度预测人群密度有点类似。感觉还是挺有效的，这种思想是否可以借鉴到其他领域中去呢？ 论文地址：http://openaccess.thecvf.com/content_CVPR_2020/papers/Jiang_Attention_Scaling_for_Crowd_Counting_CVPR_2020_paper.pdf Abstract： 基于卷积神经网络（CNN）的方法通常通过输出人群密度将人群计数作为回归任务。他们学习图像内容和人群密度分布之间的映射。尽管取得了令人鼓舞的结果，但.
01.需要了解的五种机器学习类型
AI算法蒋同学的博客
12-18 701
ML 是计算机科学、[数据科学]和[人工智能] (AI) 的子集，它使系统能够从数据中学习和改进，而无需额外的编程干预。ML 模型不依赖用于性能优化的显示指令，而是采用算法和统计模型，以根据数据模式和推论来部署任务。换句话说，ML 利用输入数据来预测输出，并随着新数据的出现不断更新输出。例如，在零售网站上，机器学习算法通过根据购买历史提出建议来影响消费者的购买决策。
【Python学习打卡-Day23】从重复到重用：用Pipeline和ColumnTransformer重构你的机器学习工作流
2301_76812716的博客
12-18 678
文章摘要 本文介绍了如何使用Scikit-learn的Pipeline工具优化机器学习工作流。Pipeline通过将数据预处理和模型训练封装成流水线，带来三大优势：代码简洁、防止数据泄露和简化超参数搜索。文章对比了传统手工预处理与Pipeline自动化处理的区别，详细讲解了转换器(Transformer)和估计器(Estimator)的核心概念，并以信贷违约数据集为例，展示了如何用ColumnTransformer对不同类型特征进行针对性处理，最终构建完整的Pipeline流程。这种工程化方法显著提升了代码
生成对抗网络（GAN）：从博弈到创造的艺术
最新发布
AI 音频小牛的博客
12-23 582
特性自编码器（AE）变分自编码器（VAE）生成对抗网络（GAN）核心思想压缩重建概率生成对抗博弈训练目标最小化重建误差最大化ELBO极小极大博弈生成方式解码器重建从先验分布采样解码从噪声生成图像质量模糊，细节丢失较模糊，多样性有限清晰，逼真训练稳定性非常稳定稳定不稳定潜在空间无结构结构化（高斯）无显式结构可解释性中等高低评估难度容易（重建误差）中等（ELBO）困难（无明确指标）主要应用降维，去噪数据生成，表示学习高质量生成，风格迁移。
08.什么是监督学习？
AI算法蒋同学的博客
12-20 726
摘要： 监督学习是一种机器学习方法，通过标记数据集训练模型，使其识别输入与输出间的关系，从而预测新数据的结果。训练过程依赖真实标签数据（人工标注或测量获得），利用梯度下降等优化算法调整参数，并通过损失函数评估准确性。监督学习分为分类（如SVM、决策树）和回归（如线性回归）任务，广泛应用于图像识别、垃圾邮件分类等领域。与无监督学习不同，监督学习需要标记数据指导模型训练，以实现高精度预测。其他学习方法还包括半监督、自监督和强化学习。
机器学习题目总结（二）
weixin_69884785的博客
12-18 932
机器学习题目总结（二）（持续更新~） 六.支持向量机 1.选择题 2.简答题 3.计算题 4.设计机器学习方案 七.贝叶斯分类器 1.选择题 2.简答题 3.计算题 八.集成学习 1.选择题 2.简答题 3.计算题 九.聚类 1.选择题 2.简答题 3.计算题 十.降维和特征提取 1.选择题 2.简答题 3.计算题
机器学习-线性判别函数
ArtoriaLili的博客
12-18 142
设定判别函数形式，用样本集确定参数，使用准则函数，表达分类器应该满足的要求，这些准则的最优并不一定于错误率最小相一致：次优分类器。理论上可以证明，PCA在数据单个高斯分布是最佳的，有利于与表示数据，在分类问题中，不同类别的分布不能相同。简单来说这节就是线性分类器，从基于概率密度估计的分类器设计到直接基于样本的直接分类器设计；首先选定判别函数类和一定的目标，利用样本集确定出函数类中的某些未知参数，使所选的准则最好。PCA的核心思想是方差最大+相互正交，两个均值之间的距离，和两个标准差。一、直接确定判别函数。
机器学习-非线性分类器 ANN
ArtoriaLili的博客
12-19 490
反向传播模型也称作b-p模型，是一种用于前向多层的反向传播学习算法，他可以对组成前向多层网络的各人工神经元之间的连接权值进行不断的修改，从而使前向多层网络能够将输入他的信号变成所期望的输出信息，因此被称作学习方法。因此bp的网络结果是一个前向多层网络。首先把连接权和阈值初始化为较小的非零随机数，然后把有n个连接权值的输入送入网络，经加权运算处理，得到的输出如果与所期望的输出有较大的差别，就对连接权值参数按照某种算法进行自动调整，经过多次反复，直到所得到的输出与所期望的输出间的差别满足要求为止。
se通道注意力公式
03-08
subsequently scaling original features accordingly before passing forward into subsequent stages of computation graph construction[^2]. Through this approach, SE networks effectively enhance model ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值