Pytorch 之torch.nn进阶第1关：正则化

已于 2024-10-20 15:44:35 修改
阅读量1.8k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： educoder人工智能答案 文章标签： 深度学习 pytorch 神经网络
于 2022-10-05 09:46:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hacker_zrq/article/details/127166959
本博客介绍了Pytorch中BatchNorm和InstanceNorm的正则化原理及应用，通过实例展示了如何在神经网络中使用这两种正则化方法，并提供了编程要求和测试说明。

有偿提供CS的人工智能/网络空间安全方向的大学生课程设计、算法设计、项目设计的思路及实现指导；竞赛PPT、项目申报书等撰写润色等。 

经过“ Pytorch 之 torch.nn初探“ 实训的学习，想必同学们对torch.nn有了一个初步的认识。接下来，本实训将介绍更多内容帮助同学们运用神经网络的特性。

任务描述

本关任务：

本关提供了一个Variable 类型的变量input，要求利用BatchNorm1d创建一个4维的 带有学习参数的正则化量 m，并输出其weight和bias。

相关知识

正则化项即罚函数，该项对模型向量进行“惩罚”，从而避免单纯最小二乘问题的过拟合问题。在本节中，我们将介绍正则化方面的知识，这有助于预防过拟合的问题的产生。

首先，先引入我们要使用的包

 

     
 
  1. import torch
    2.  
 
  2. import torch.nn
    3.  
 
  3. from torch.autograd import Variable
    4.  

 

BatchNorm
 
 </
 
 
  
  
 
   BatchNorm 
   描述 
  



                

        

    

  


        

                

                  

                  

                  了解本专栏
                  
                  
                    
                  订阅专栏 解锁全文
                   
                  
                    
                    超级会员免费看
                  
                

            
            
            
        


    



                



	

		

			

				
					
Pytorch 之torch.nn进阶--第1关：正则化

				
			

			

				

					Martin-share的博客
				

				

					01-17
					
					1301
					
				

			

		

		

			
				
Pytorch 之torch.nn进阶--第1关：正则化

			
		

	



                

            
              



	

		

			

				
					
Pytorch 之torch.nn进阶专题

				
			

			

				

					Junds0的博客
				

				

					03-06
					
					1319
					
				

			

		

		

			
				
第1关：正则化
本关提供了一个Variable 类型的变量input，要求利用BatchNorm1d创建一个4维的 带有学习参数的正则化量 m，并输出其weight和bias。
import torch
import torch.nn as nn
from torch.autograd import Variable
input = Variable(torch.Tensor([[1,2,3,4],[5,6,7,8]]))
#/************** Begin **************/
# 创

			
		

	



              


  
              

                


	

		

			

				
					
05-(第二课)第一周作业：深度学习的实用层面

				
			

			

				

					琪琪的博客
				

				

					01-15
					
					1757
					
				

			

		

		

			
				
1. Initalization

 




1.1 神经网络模型

You will use a 3-layer neural network (already implemented for you). Here are the initialization methods you will experiment with:  (你将使用一个三层神经网络(不包含输入层). 下面的初始化方法将

			
		

	





	

		

			

				
					
Pytorch学习笔记十六：正则化

				
			

			

				

					Dear_learner的博客
				

				

					05-03
					
					7674
					
				

			

		

		

			
				
一、weight decay（权值衰减）
正则化（regularization）：减小方差的策略。
那什么是方差呢？
误差 = 偏差 + 方差 + 噪声
偏差：度量了学习算法的期望预测与真实结果之间的偏离程度，即刻画了学习算法的拟合能力；
方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；
噪声：表达了当前任务上任何学习算法所能达到的期望泛化误差的下届。
可从下图来理解：


...

			
		

	



		

			
		



	

		

			

				
					
头歌-Pytorch 之torch.nn进阶

				
			

			

				

					qq_54195994的博客
				

				

					10-22
					
					1562
					
				

			

		

		

			
				
【代码】Pytorch 之torch.nn进阶。

			
		

	





	

		

			

				
					
头歌Pytorch 之torch.nn进阶参考答案

				
			

			

				

					hs2254406096的博客
				

				

					06-03
					
					2121
					
				

			

		

		

			
				
自测能通过

			
		

	





	

		

			

				
					
Pytorch 之torch.nn初探 第1关：torch.nn.Module

				
			

			

				

					admin的博客
				

				

					10-04
					
					2998
					
				

			

		

		

			
				
神经网络可以使用torch.nn包构建。nn.Linearnn.Conv1dnn.Conv2dnn.Conv3dnn.Sigmoidnn.Tanhnn.ReLUnn.LSTMnn.GRUnn.Dropoutnn.MSELossnn.NLLLoss这些类的实例将具有一个内置的__call__函数，可通过图层运行输入。

			
		

	





	

		

			

				
					
深度学习pytorch——正则化（持续更新）

				
			

			

				

					2201_76139143的博客
				

				

					03-29
					
					1932
					
				

			

		

		

			
				
由于Sigmoid函数在两边存在梯度趋于零的特性，这种特性会使梯度长久得不到更新，造成梯度离散的现象，如何处理这一种现象？压缩数据使数据位于Sigmoid梯度不趋于0区间，即批量正则化（Batch Norm ）（图-1）。

			
		

	





	

		

			

				
					
pytorch中的正则化方法

				
			

			

				

					nstarLDS的博客
				

				

					03-24
					
					4755
					
				

			

		

		

			
				
基础简介
正则化的含义：其实正则化就是减小方差的策略。那么什么是方差，为什么要减小方差？这里首先要提到误差的本质。
误差可以分解为偏差，方差以及噪声之和，具体如何分解可参考个人之前写的这篇笔记最后部分的推导。三者的意义可描述如下：

偏差：度量了学习算法的期望预测结果与真实结果的偏离程度，刻画了学习算法本身的拟合能力
方差：度量了同样大小的训练集的变动所导致的学习性能的变化，刻画了数据扰动造成的影...

			
		

	





	

		

			

				
					
【Pytorch】torch.nn.functional.normalize 的正则化

				
			

			

				

					anshiquanshu的专栏
				

				

					03-10
					
					2349
					
				

			

		

		

			
				
本质
torch.nn.functional.normalize(input,p=2,dim=1,eps=1e-12,out=None)



本质上就是按照某个维度计算范数，p表示计算p范数（等于2就是2范数），dim计算范数的维度（这里为1，一般就是通道数那个维度）

官方参考
官方api：https://pytorch.org/docs/stable/nn.html#normalize

源码：


def normalize(input, p=2, dim=1, eps=1e-12, ou...

			
		

	





	

		

			

				
					
pytorch基础(九)-正则化

				
			

			

				

					靓仔沾点健忘症，写给时间下游的自己
				

				

					01-04
					
					817
					
				

			

		

		

			
				
过拟合即训练后的权重为高方差，正则化的目的就是减小权重的方差

			
		

	





	

		

			

				
					
PyTorch学习笔记之torch.nn

				
			

			

				

					格物致知的专栏 [音视频编解码 网络协议 计算机视觉 计算机图形学 图像理解 语音识别 机器学习 模拟电路 传感器]
				

				

					04-14
					
					697
					
				

			

		

		

			
				
这里主要概括性地讲解一下torch.nn中的几个函数的含义。

nn.Flatten() - 顾名思义，就是将张量的几个维度变成一维的，有点类似于matlab中的reshape函数。该函数一般后跟一个nn.Linear()即全连接层。

nn.Linear() - 用于构造一个全连接层，第三个参数bias默认为True，表示会学习一个附加的偏置。

nn.Conv2d() - 表示2维卷积，参数依次为输入通道，输出通道，卷积核尺寸，步长，填充。卷积前后会发生通道和特征尺度的改变。

nn.ReLU() - 

			
		

	





	

		

			

				
					
第1关：正则表达式 - Scala

				
			

			

				

					m0_51550513的博客
				

				

					04-24
					
					371
					
				

			

		

		

			
				
【代码】第1关：正则表达式 - Scala。

			
		

	





	

		

			

				
					
Pytorch 之torch.nn初探第3关：非线性--Nonlinearities

				
			

			

				

					admin的博客
				

				

					10-05
					
					1230
					
				

			

		

		

			
				
在实际应用中，非线性模型往往比线性模型更加适用，而torch.nn中也提供了许多非线性模型供大家使用。让我们一起来看一看吧！

			
		

	





	

		

			

				
					
Torch 论文复现：卷积网络正则化 DropBlock

				
			

			

				

					荷碧TongZJ 的水文
				

				

					07-02
					
					1421
					
				

			

		

		

			
				
DropBlock是一种类似于dropout的简单方法，它与dropout的主要区别在于，它从层的特征图中抹除连续区域，而不是抹除独立的随机单元。在论文中，最优的超参数是block_size=7,keep_prob=0.9，但实际使用时仍需要根据Loss的变化情况做出调整。从实验结果可以看到，ResNet-50在使用了DropBlock后在验证集上的准确率有一定的提升。类似地，DropBlock通过随机地置零网络的响应，实现了通道之间的解耦，缓解了网络的过拟合现象。......

			
		

	





	

		

			

				
					
PyTorch学习笔记（二）——torch.nn解析

				
			

			

				

					Candyerer的博客
				

				

					01-27
					
					3171
					
				

			

		

		

			
				
PyTorch提供了方便漂亮的类和模块，来帮助我们创建和训练神经网络，例如 torch.nn, torch.optim 等。
为了更好地理解这些模块的功能和原理，我们在手动搭建的神经网络上，逐步添加这些模块，以显示每部分模块的功能，以及每部分是如何让代码更加灵活简洁的。
1、手动搭建神经网络
使用MNIST数据集，该数据集共有50000个图片，每一图片大小为2828，储存在长度为2828=784的扁平行。
#定义权重和偏执值,需要requires_grad=True，以便自动计算梯度，完成反馈
weight

			
		

	





	

		

			

				
					
Pytorch 之torch.nn初探

				
			

			

				

					Junds0的博客
				

				

					03-06
					
					3112
					
				

			

		

		

			
				
第1关：torch.nn.Module
本关要求利用nn.Linear()声明一个线性模型 l，并构建一个变量 net 由三个l序列构成。
import torch
import torch.nn as nn
from torch.autograd import Variable
#/********** Begin *********/
#声明一个in_features=2,out_features=3的线性模型 l并输出
l = nn.Linear(2, 2)
print(l)
#变量 net 由三个l

			
		

	





	

		

			

				
					
Pytorch学习笔记——正则化

				
			

			

				

					weixin_50765519的博客
				

				

					07-20
					
					1054
					
				

			

		

		

			
				
优化器正则化在深度学习中扮演着重要角色，可以有效防止模型过拟合。L2正则化是最常用的方法，通过在损失函数中添加权重参数平方和的惩罚项，使权重参数保持较小值。L1正则化则通过惩罚权重参数的绝对值和，实现特征选择。选择合适的正则化方法和正则化系数，可以显著提升模型的性能。

			
		

	





	

		

			

				
					
头歌python之torch.nn进阶正则化

					
最新发布

				
			

			

				

					03-01
				

			

		

		

			
				
### PyTorch `torch.nn` 中的高级正则化技术  在构建深度学习模型时，防止过拟合是一个重要目标。为此，除了权重衰减（L2 正则化）之外，还有多种方法可以实现更复杂的正则化策略。  #### 1. Dropout 层的应用  ...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
ad_m1n

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值