softmax 带 tempreture 参数

最新推荐文章于 2025-03-20 20:01:18 发布
最新推荐文章于 2025-03-20 20:01:18 发布
阅读量2.3k 收藏
点赞数
分类专栏： 机器学习 Python TensorFlow 文章标签： tensorflow softmax tempreture
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jasonzzj/article/details/60468647
版权 
# 在tensorflow中这样用，其他的库均类似～
softInput = tf.matmul(output, Wl_h_l) + Bl_h_l
softmax = tf.nn.softmax(softInput / tempreture)





                

        

    

  



    


                



	

		

			

				
					
分类任务常用激活函数之nn.Softmax函数参数dim理解（Pytorch）

				
			

			

				

					NorthSmile的博客
				

				

					08-29
					
					4387
					
				

			

		

		

			
				
2）dim=1表示该操作将在输入张量的第1维进行计算，而此张量第1维长度为3，故计算实际是沿着第1维方向，将整个张量划分为2×4个切片，每个切片包含三个元素，并分别对每个切片进行softmax计算，使得这三个元素和为1.3）dim=2表示该操作将在输入张量的第2维进行计算，而此张量第2维长度为4，故计算实际是沿着第2维方向，将整个张量划分为2×3个切片，每个切片包含四个元素，并分别对每个切片进行softmax计算，使得这四个元素和为1.该函数使得输入中所有数值变为。.........

			
		

	



                

            
              



	

		

			

				
					
深度学习基础知识干货 | Softmax中温度（temperature）参数

				
			

			

				

					5年+算法工程师，分享人工智能前沿技术，与自己的工程经验，欢迎订阅关注。
				

				

					01-09
					
					3218
					
				

			

		

		

			
				
在Softmax中，温度（temperature）的作用是调整模型的输出分布的“平热程度”或“软硬程度”。因此，通过调整温度参数，可以在Softmax中平衡模型的“软硬”输出，从而影响模型的鲁棒性和泛化能力。

			
		

	



              


  
              

                


	

		

			

				
					
具有温度系数（Temperature）的Softmax函数

				
			

			

				

					Harry的博客
				

				

					04-06
					
					4891
					
				

			

		

		

			
				
softmax 函数是一种激活函数，通常用作神经网络最后一层的输出函数。该函数是两个以上变量的逻辑函数的推广。Softmax 将实数向量作为输入，并将其归一化为概率分布。softmax函数的输出是与输入具有相同维度的向量，每个元素的范围为0到1。并且所有元素的总和等于1。

			
		

	





	

		

			

				
					
Softmax温度调节与注意力缩放：深度神经网络中的平滑艺术

					
最新发布

				
			

			

				

					crazyjinks的博客
				

				

					03-20
					
					1062
					
				

			

		

		

			
				
在深度学习的精密机械中，有些细微的调整机制往往被视为理所当然，却实际上蕴含着深刻的数学洞察和巧妙的工程智慧。今天，我们将探讨两个看似独立却本质相通的机制：生成模型中的温度参数与Transformer注意力机制中的缩放因子。这两个设计都围绕着同一个核心概念——softmax分布的平滑控制。

			
		

	



		

			
		



	

		

			

				
					
确定增强学习中Softmax函数的最佳温度参数

				
			

			

				

					04-02
				

			

		

		

			
				
确定增强学习中Softmax函数的最佳温度参数

			
		

	





	

		

			

				
					
softmax之温度系数

				
			

			

				

					进一步有进一步的欢喜~
				

				

					06-09
					
					3247
					
				

			

		

		

			
				
相对于 argmax 这种直接取最大的「hardmax」，softmax 采用更温和的方式，将正确类别的概率一定程度地突显出来。而引入温度系数的本质目的，就是让 softmax 的 soft 程度变成可以调节的超参。

			
		

	





	

		

			

				
					
Softmax Temperature

				
			

			

				

					handsomeboysk的博客
				

				

					11-17
					
					1253
					
				

			

		

		

			
				
Softmax 函数通常用于多类分类问题中，将一个实数向量（未归一化的 logits）转化为一个概率分布。Pyiexp⁡logiti∑jexp⁡logitjPyi​∑j​explogitj​explogiti​​logitilogiti​是第iii个类别的得分（logit），这些值通常是神经网络的输出。exp⁡⋅exp⋅是指数函数，用于将 logits 映射到正数。

			
		

	





	

		

			

				
					
Pytorch torch.nn.Softmax的dim参数

				
			

			

				

					m0_50951713的博客
				

				

					06-13
					
					804
					
				

			

		

		

			
				
Pytorch torch.nn.Softmax的dim参数

			
		

	





	

		

			

				
					
softmax 加温度系数 tempreture

				
			

			

				

					SinAlone的博客
				

				

					09-08
					
					1334
					
				

			

		

		

			
				
softmax with tempreture

			
		

	





	

		

			

				
					
谈谈softmax中常出现的温度系数 T (τ)

					
热门推荐

				
			

			

				

					要相信光
				

				

					03-16
					
					2万+
					
				

			

		

		

			
				
浅谈Softmax出现的温度系数T

			
		

	





	

		

			

				
					
softmax函数推导

				
			

			

				

					01-01
				

			

		

		

			
				
softmax函数的详细推导过程，看完了就知道softmax怎么来的为什么这么弄。

			
		

	





	

		

			

				
					
SoftMax温度系数temperature parameter

				
			

			

				

					VIEO
				

				

					08-01
					
					1万+
					
				

			

		

		

			
				
深度学习中的temperature parameter是什么
问题来源
在google的论文《Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations》中看到这个公式:

对于这个t很好奇。 先简单介绍一下这篇论文，用双塔做推荐，左侧是user特征，右侧是item特征，然后通过DNN之后得到对应向量，再求向量内积得到一个数表示二者相关程度，计算出user和正类item和负类item的相关程度的数值之后，再通过s

			
		

	





	

		

			

				
					
大模型微调的“温度”参数，原来影响的是 softmax

				
			

			

				

					AI与算法都要通俗易懂
				

				

					12-14
					
					4846
					
				

			

		

		

			
				
然后，softmax 函数将这些分数转换为概率(上面的链接查看具体过程)，转换的过程就会使得分数较高的词的概率更高，而分数较低的词的概率更低，从而模型选择概率更高的单词作为输出。之前介绍过 softmax 这个函数，它的作用是将原始数据归一化到 0-1 之间的概率分布，并且拉开输入数据之间的差距，让大的数据概率变得更大，小的数据概率变得更小。上图展示了这个过程：在低温度下(黄色)，softmax 输出的概率函数更加尖锐，意味着高分数的词语概率会更高，而低分数的词语概率会更低。今天就一起来了解一下吧。

			
		

	





	

		

			

				
					
Softmax函数 + 为什么用temperature?

				
			

			

				

					qq_45913945的博客
				

				

					11-20
					
					713
					
				

			

		

		

			
				
Sigmod函数是Softmax函数的一个特例，Sigmod函数只能用于预测值为0或1的二元分类。Softmax是一种激活函数，它可以将一个数值向量归一化为一个概率分布向量，且各个概率之和为1。将(−∞,+∞)范围内的数值映射成为一个(0,1)区间的数值，一个(0,1)区间的数值恰好可以用来表示概率。softmax函数的输出是与输入具有相同维度的向量，每个元素的范围为0到1。

			
		

	





	

		

			

				
					
07浅谈大语言模型可调节参数tempreture

				
			

			

				

					记录个人日常所学所思
				

				

					07-07
					
					1462
					
				

			

		

		

			
				
浅谈大语言模型输出随机性参数temperature

			
		

	





	

		

			

				
					
机器学习笔记 temperature+Softmax

				
			

			

				

					qq_40206371的博客
				

				

					06-27
					
					2728
					
				

			

		

		

			
				
带temperature的Softmax，用公式描述，可以表示为直观感受一下


不难发现，t越大，各个类之间的差距越小，结果越“平滑”；t越小，各个类之间的差距越大，结果越“尖锐”。个人觉得可以在一定程度上类比成强化学习的ε-greedy，如果temperature设置得比较大，那么各个类之间的差别不大，就有很大概率选到不同的类，获得了一定的exploration空间；如果temperature设置得比较小，那么概率最大的类 得到的结果数值会“鹤立鸡群”，那么基本上选择的就是这个类了。所以我们可以设置 t

			
		

	





	

		

			

				
					
大模型中常见的名词：token、temperature、top-p、top-k

				
			

			

				

					hahaha_1112的博客
				

				

					08-19
					
					1573
					
				

			

		

		

			
				
Token是文本处理的基本单位。控制生成文本的随机性和多样性。Top-p和Top-k是两种常见的采样方法，用于控制生成模型的输出，前者基于累积概率，后者基于固定的候选数量。

			
		

	





	

		

			

				
					
torch.nn.softmax(dim),理解Softmax分类器

				
			

			

				

					weixin_46568462的博客
				

				

					11-17
					
					3393
					
				

			

		

		

			
				
例如一列数组[1,2,3,4,5,6,7,8,9,10],代入到softamx计算公式之中，我们可以从公式中看出元素的数值越大，softmax算出的值也就越大，对应在图像处理中也就是概率越大。dim=2时，对应维度数值为4，因此每次只有4个元素进行Softmax计算。dim=0时，对应维度数值为2，因此每次只有两个元素进行Softmax计算。dim=1时，对应维度数值为3，因此每次只有3个元素进行Softmax计算。上述两式子合成一个: nn.Softmax(dim=2)(a)

			
		

	





	

		

			

				
					
softmax回归参数调优

				
			

			

				

					12-29
				

			

		

		

			
				
### Softmax Regression Parameter Tuning Best Practices

Softmax回归是一种用于多分类问题的广义线性模型。为了优化其性能，可以采取多种策略来调整参数。

#### 数据预处理的重要性
确保输入特征被标准化或归一化对于提升softmax回归的表现至关重要。这有助于梯度下降算法更有效地找到全局最小值[^3]。当特征处于相似尺度时，权重更新更加稳定和平滑，从而加快收敛速度并改善最终精度。

#### 正则化技术的应用
引入正则项能够有效防止过拟合现象的发生。L2正则化（Ridge）通过向损失函数添加平方后的权值系数之和作为惩罚因子；而L1正则化（Lasso）则是利用绝对值形式的罚项。适当选择λ(正则化强度)，可以在保持泛化能力的同时抑制不必要的复杂度增长[^1]。

#### 学习率的选择与调度器设置
合理设定初始学习速率α，并采用动态调整方案如逐步衰减法(step decay)、指数衰减(exponential decay)或是自适应方法(adagrad/adadelta/adam等)，可显著促进训练过程中的稳定性及效率。这些高级优化器不仅考虑到了历史梯度信息，还能够在不同维度间自动平衡步长大小，进而达到更好的效果[^2]。

#### 批量大小(batch size)考量
批量大小决定了每次迭代所使用的样本数量。较小batch size虽然增加了噪声干扰但有利于跳出局部极小点；较大batch size则能带来更为精确的方向估计却可能陷入鞍点难以逃脱。实践中往往需要依据具体应用场景灵活选取合适的范围进行实验比较。

```python
import torch.optim as optim

# 定义Adam优化器及其超参配置
optimizer = optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-5)

# 设定学习率调度器
scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=7, gamma=0.1)
```

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值