面试题-手撕稳定版softmax

最新推荐文章于 2025-01-14 11:53:07 发布

zhaoyqcsdn

最新推荐文章于 2025-01-14 11:53:07 发布

阅读量849

点赞数 8

CC 4.0 BY-SA版权

分类专栏：面试文章标签：算法 c++ 笔记经验分享面试

本文链接：https://blog.youkuaiyun.com/zhaoyqcsdn/article/details/135665597

软件开发中，实现一个稳定版本的softmax函数，需要考虑数值稳定性的问题。由于指数运算可能会产生非常大的值，导致计算不稳定，因此需要使用一些技巧来处理。在C++中，可以通过以下方式实现一个稳定的softmax函数：

#include <iostream>
#include <cmath>
#include <vector>

// 实现一个稳定版本的softmax函数
std::vector<double> stableSoftmax(const std::vector<double>& input) {
   
   
    std::vector<double> re

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

zhaoyqcsdn

关注关注

8
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

手撕Softmax以及Cross Entropy Loss求导

weixin_43646592的博客

09-20

502

大模型面试必考问题（二）

weixin_43891607的博客

11-05

787

在推理阶段：主要通过解码参数T（温度），以及topK，topP来实现；而topK和topP是beam search的采样参数，topK是个数阈值，topP是概率阈值；以上参数都可能对结果多样性产生影响。从技术上来讲，幻觉的根本原因是传统的解码算法会在每个采样步骤引入均匀随机性。但业界一般将幻觉从效果上又分为三类：特定知识幻觉，逻辑关系幻觉，干扰幻觉。针对不同类型的幻觉问题，我们可以选择特定的方法。在训练阶段：具体的解码算法及其参数会影响多样性，比如beam search算法中beam大小的选择。

参与评论您还未登录，请先登录后发表或查看评论

Softmax， stable softmax, cross entropy loss

THE XING

03-20

693

1.softmax 公式： python： def softmax(X): exps = np.exp(X) return exps / np.sum(exps) 对于softmax理解，就是一种平滑的归一化。假如我们使用线性的归一化，就很均匀，softmax相当于给比较大的数值大的权重，比如python里面： plt.plot(range(1, 20), np...

算法面试准备 - 手撕系列第一期 - Softmax

m0_62030579的博客

01-14

1699

算法面试准备 - 手撕系列第一期 - Softmax

深度学习一 —— 手撕softmax

weixin_43662553的博客

05-25

1113

深度学习一 —— 手撕softmax

009、softmax单层神经网络手撕

here we are的博客

10-08

579

逻辑很简单，但值得学习的是代码的严密框架结构与可视化的功能。

深度学习自学2.0

咬树羊的博客

03-10

1563

深度学习总结

别人的面经（算法方向）

一个AI程序媛的成长之路

08-31

1460

总结了一些算法大神们的面经，希望对大家有用。以后还会继续添加整理。

深度学习实践2：手撕softmax函数

white_0629的博客

08-31

418

这段代码是一个简单的基于PyTorch的Fashion-MNIST分类模型训练过程。下面对代码进行逐行解释。

机器学习必刷题-手撕推导篇(3)：FM与softmax

u012416259的博客

08-03

643

本系列文章对常见的机器学习面试题进行了搜集、分类和整理，主要包括”手撕推导篇“、“模型比较篇”、“工程经验篇”以及“基础概念篇”等多个板块，旨在帮助广大算法工作者能够从容应对求职面试！推导FM (1) 线性拟合(LR) 缺点：线性拟合无法自动表示特征的相互组合，组合特征都是通过人工特征工程加入的，费时费力。 (2) Poly2 在LR基础上，加入任意两个特征之间的关系其中，wij是fe...

手撕CNN卷积神经网络原理（一）

debby233的博客

08-16

2524

我们常见的比较简单的神经网络如下图所示对于该神经网络，有以下感念1.输入层（input layer），可以理解为数学中线性函数 y=kx+b 中的若干个x2.权重w（weights）：可以理解为数学中线性函数 y=kx+b 中的 k3.偏执量b（bias）：可以理解为数学中线性函数 y=kx+b 中的 b4.a：可以理解为数学中线性函数 y=kx+b 中的y，但这个y不是该节点输出的结果。...

机器学习手撕代码（6）人工神经网络

CYS_zxcvbnm的博客

02-15

835

机器学习手撕代码（6）人工神经网络本篇分享一下人工神经网络的代码，ann.py为人工神经网络模型的代码，nn.py为手写实现的神经网络框架代码，utils.py中为可视化结果的工具。 dataset见本系列第0篇。 nn.py import numpy as np class Module: def __init__(self): pass def __call__(self, *args, **kwargs): pass class Lin

Python 华为面试手撕代码 + 八股文，机器学习参数调节，损失函数，激活函数，线程、进程和协程

L_goodboy的博客

05-30

6778

Python 华为面试手撕代码 + 八股文，机器学习参数调节，损失函数，激活函数，线程、进程和协程

图片速览 FlashAttention+Softmax的安全计算形式（暂记）

ResumeProject的博客

08-21

499

加快PyTorch对GPT-2的关注。FlashAttention不读写大号𝑁 ×𝑁 注意力矩阵到HBM，导致注意力计算的7.6倍加速。Jax上继承了Numpy计算加速，XLA加速，JIT编译，自动微分等，以下代码不用自己实现cuda函数。作者在附录B中给出了反向传播的推导。

FlashAttention计算过程梳理

胖胖大海的博客

10-17

1440

其中，全连接层和根据注意力权重的加权求和其实都是通过矩阵乘法实现的，所以分块计算可以通过矩阵的分块乘法来实现。由于softmax的分母部分需要计算全局元素的求和，分块之后只能计算局部的和，导致softmax的分块计算变得复杂。现在softmax的分母已经被更新成了全局的结果，现在就要把分子也更新成全局的结果就行了。关于第 6 步的公式是怎么得到的，我们把第 6 步的公式拆解为两部分，现在我们计算到了第二块数据。，继续迭代下去，直到完成所有数据块的计算，这样就得到了全局的softmax结果。

softmax算法详解

热门推荐

星辰的博客

03-09

1万+

softmax简介在机器学习尤其是深度学习中，softmax是个非常常用而且比较重要的函数，尤其在多分类的场景中使用广泛。他把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1。 2.softmax函数的数学形式定义可以看到，softmax函数解决了从一个原始的n维向量，向一个n维的概率分布映射的问题。那么在多分类问题中，假设分类数是n，模型希望预测的就是某样本在n个分类上的概率分布。如果用深度学习模型进行建模，那么最后输出层的形式是由n个神经元组成的，再把n个神经元

大模型相关代码1 -- 注意力机制【手撕基础模型】

GS2333的博客

06-27

609

【代码】大模型相关代码1 -- 注意力机制【手撕基础模型】

softmax函数及其代码实现

李乾文的博客

10-18

6190

前面我们把sigmoid函数引入逻辑回归中，用于解决是或否的二分类问题。但存在局限性，如果预测结果有多种类别，那怎么处理呢？首先，我们很容易想到，如果计算结果是各种类别的概率，那就好了。比如说，总共有三个类别A、B、C，我们通过函数计算，类别A的概率为0.1、B的概率为0.6、C的概率为0.3，那么我们就大概率认定预测结果为B。这就是softmax函数要做的事。

sigmoid与softmax的区别与联系

weixin_38646522的博客

05-10

1442

Softmax与Sigmoid有哪些区别与联系？ 1. Sigmoid函数 SigmoidSigmoidSigmoid函数也叫LogisticLogisticLogistic函数，将输入值压缩到(0,1)(0,1)(0,1)区间之中，其函数表达式为： Sigmoid(x)=11+e−x Sigmoid(x) =\frac{1}{1+e^{-x}} Sigmoid(x)=1+e−x1 函数图像如图所示：其求导之后的表达式为： Sigmoid⁡′(x)=Sigmoid⁡(x)⋅(1−Sigmoid⁡(x)

A-Softmax、AM-Softmax、AAM-Softmax