softmax 带 tempreture 参数

最新推荐文章于 2024-11-20 10:29:24 发布
原创 最新推荐文章于 2024-11-20 10:29:24 发布 · 2.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#tensorflow #softmax #tempreture

本文介绍如何在TensorFlow中实现带有温度参数的Softmax层。通过矩阵运算完成从输出到概率分布的转换，温度参数可以调节输出分布的平滑度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

# 在tensorflow中这样用，其他的库均类似～
softInput = tf.matmul(output, Wl_h_l) + Bl_h_l
softmax = tf.nn.softmax(softInput / tempreture)


                

        

    

    
  



    



                



	

		

			

				
					
分类任务常用激活函数之nn.Softmax函数参数dim理解（Pytorch）

				
			

			

				

					NorthSmile的博客
				

				

					08-29
					
					4453
					
				

			

		

		

			
				
2）dim=1表示该操作将在输入张量的第1维进行计算，而此张量第1维长度为3，故计算实际是沿着第1维方向，将整个张量划分为2×4个切片，每个切片包含三个元素，并分别对每个切片进行softmax计算，使得这三个元素和为1.3）dim=2表示该操作将在输入张量的第2维进行计算，而此张量第2维长度为4，故计算实际是沿着第2维方向，将整个张量划分为2×3个切片，每个切片包含四个元素，并分别对每个切片进行softmax计算，使得这四个元素和为1.该函数使得输入中所有数值变为。.........

			
		

	



                

            
              



	

		

			

				
					
深度学习基础知识干货 | Softmax中温度（temperature）参数

				
			

			

				

					5年+算法工程师，分享人工智能前沿技术，与自己的工程经验，欢迎订阅关注。
				

				

					01-09
					
					3393
					
				

			

		

		

			
				
在Softmax中，温度（temperature）的作用是调整模型的输出分布的“平热程度”或“软硬程度”。因此，通过调整温度参数，可以在Softmax中平衡模型的“软硬”输出，从而影响模型的鲁棒性和泛化能力。

			
		

	



              


  
              

                


	

		

			

				
					
具有温度系数（Temperature）的Softmax函数

				
			

			

				

					Harry的博客
				

				

					04-06
					
					5599
					
				

			

		

		

			
				
softmax 函数是一种激活函数，通常用作神经网络最后一层的输出函数。该函数是两个以上变量的逻辑函数的推广。Softmax 将实数向量作为输入，并将其归一化为概率分布。softmax函数的输出是与输入具有相同维度的向量，每个元素的范围为0到1。并且所有元素的总和等于1。

			
		

	





	

		

			

				
					
确定增强学习中Softmax函数的最佳温度参数

				
			

			

				

					04-02
				

			

		

		

			
				
确定增强学习中Softmax函数的最佳温度参数

			
		

	



		

			
		



	

		

			

				
					
softmax之温度系数

				
			

			

				

					进一步有进一步的欢喜~
				

				

					06-09
					
					3403
					
				

			

		

		

			
				
相对于 argmax 这种直接取最大的「hardmax」，softmax 采用更温和的方式，将正确类别的概率一定程度地突显出来。而引入温度系数的本质目的，就是让 softmax 的 soft 程度变成可以调节的超参。

			
		

	





	

		

			

				
					
Softmax Temperature

				
			

			

				

					handsomeboysk的博客
				

				

					11-17
					
					1374
					
				

			

		

		

			
				
Softmax 函数通常用于多类分类问题中，将一个实数向量（未归一化的 logits）转化为一个概率分布。Pyiexp⁡logiti∑jexp⁡logitjPyi​∑j​explogitj​explogiti​​logitilogiti​是第iii个类别的得分（logit），这些值通常是神经网络的输出。exp⁡⋅exp⋅是指数函数，用于将 logits 映射到正数。

			
		

	





	

		

			

				
					
Pytorch torch.nn.Softmax的dim参数

				
			

			

				

					m0_50951713的博客
				

				

					06-13
					
					838
					
				

			

		

		

			
				
Pytorch torch.nn.Softmax的dim参数

			
		

	





	

		

			

				
					
softmax 加温度系数 tempreture

				
			

			

				

					SinAlone的博客
				

				

					09-08
					
					1388
					
				

			

		

		

			
				
softmax with tempreture

			
		

	





	

		

			

				
					
大模型微调的“温度”参数，原来影响的是 softmax

				
			

			

				

					AI与算法都要通俗易懂
				

				

					12-14
					
					5276
					
				

			

		

		

			
				
然后，softmax 函数将这些分数转换为概率(上面的链接查看具体过程)，转换的过程就会使得分数较高的词的概率更高，而分数较低的词的概率更低，从而模型选择概率更高的单词作为输出。之前介绍过 softmax 这个函数，它的作用是将原始数据归一化到 0-1 之间的概率分布，并且拉开输入数据之间的差距，让大的数据概率变得更大，小的数据概率变得更小。上图展示了这个过程：在低温度下(黄色)，softmax 输出的概率函数更加尖锐，意味着高分数的词语概率会更高，而低分数的词语概率会更低。今天就一起来了解一下吧。

			
		

	





	

		

			

				
					
softmax函数推导

				
			

			

				

					01-01
				

			

		

		

			
				
softmax函数的详细推导过程，看完了就知道softmax怎么来的为什么这么弄。

			
		

	





	

		

			

				
					
谈谈softmax中常出现的温度系数 T (τ)

					
热门推荐

				
			

			

				

					要相信光
				

				

					03-16
					
					2万+
					
				

			

		

		

			
				
浅谈Softmax出现的温度系数T

			
		

	





	

		

			

				
					
SoftMax温度系数temperature parameter

				
			

			

				

					VIEO
				

				

					08-01
					
					1万+
					
				

			

		

		

			
				
深度学习中的temperature parameter是什么
问题来源
在google的论文《Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations》中看到这个公式:

对于这个t很好奇。 先简单介绍一下这篇论文，用双塔做推荐，左侧是user特征，右侧是item特征，然后通过DNN之后得到对应向量，再求向量内积得到一个数表示二者相关程度，计算出user和正类item和负类item的相关程度的数值之后，再通过s

			
		

	





	

		

			

				
					
Softmax函数 + 为什么用temperature?

				
			

			

				

					qq_45913945的博客
				

				

					11-20
					
					781
					
				

			

		

		

			
				
Sigmod函数是Softmax函数的一个特例，Sigmod函数只能用于预测值为0或1的二元分类。Softmax是一种激活函数，它可以将一个数值向量归一化为一个概率分布向量，且各个概率之和为1。将(−∞,+∞)范围内的数值映射成为一个(0,1)区间的数值，一个(0,1)区间的数值恰好可以用来表示概率。softmax函数的输出是与输入具有相同维度的向量，每个元素的范围为0到1。

			
		

	





	

		

			

				
					
07浅谈大语言模型可调节参数tempreture

				
			

			

				

					记录个人日常所学所思
				

				

					07-07
					
					1717
					
				

			

		

		

			
				
浅谈大语言模型输出随机性参数temperature

			
		

	





	

		

			

				
					
机器学习笔记 temperature+Softmax

				
			

			

				

					qq_40206371的博客
				

				

					06-27
					
					2862
					
				

			

		

		

			
				
带temperature的Softmax，用公式描述，可以表示为直观感受一下


不难发现，t越大，各个类之间的差距越小，结果越“平滑”；t越小，各个类之间的差距越大，结果越“尖锐”。个人觉得可以在一定程度上类比成强化学习的ε-greedy，如果temperature设置得比较大，那么各个类之间的差别不大，就有很大概率选到不同的类，获得了一定的exploration空间；如果temperature设置得比较小，那么概率最大的类 得到的结果数值会“鹤立鸡群”，那么基本上选择的就是这个类了。所以我们可以设置 t

			
		

	





	

		

			

				
					
大模型中常见的名词：token、temperature、top-p、top-k

				
			

			

				

					hahaha_1112的博客
				

				

					08-19
					
					1767
					
				

			

		

		

			
				
Token是文本处理的基本单位。控制生成文本的随机性和多样性。Top-p和Top-k是两种常见的采样方法，用于控制生成模型的输出，前者基于累积概率，后者基于固定的候选数量。

			
		

	





	

		

			

				
					
torch.nn.softmax(dim),理解Softmax分类器

				
			

			

				

					weixin_46568462的博客
				

				

					11-17
					
					3409
					
				

			

		

		

			
				
例如一列数组[1,2,3,4,5,6,7,8,9,10],代入到softamx计算公式之中，我们可以从公式中看出元素的数值越大，softmax算出的值也就越大，对应在图像处理中也就是概率越大。dim=2时，对应维度数值为4，因此每次只有4个元素进行Softmax计算。dim=0时，对应维度数值为2，因此每次只有两个元素进行Softmax计算。dim=1时，对应维度数值为3，因此每次只有3个元素进行Softmax计算。上述两式子合成一个: nn.Softmax(dim=2)(a)

			
		

	





	

		

			

				
					
深度学习模型不确定性方法对比

				
			

			

				

					Paper weekly
				

				

					02-10
					
					1万+
					
				

			

		

		

			
				
©PaperWeekly 原创 ·作者｜崔克楠学校｜上海交通大学博士生研究方向｜异构信息网络、推荐系统本文以 NeurIPS 2019 的 Can You Trust Your Mod...

			
		

	





	

		

			

				
					
softmax中温度参数如何改变分布

					
最新发布

				
			

			

				

					03-14
				

			

		

		

			
				
例如，写出带有温度参数的softmax公式：  $$ P(y=i) = \frac{e^{z_i / T}}{\sum_{j=1}^C e^{z_j / T}} $$  然后说明当T变化时，概率分布如何变化，并结合引用中的内容，比如温度降低导致概率差距增大，loss变小，而...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值