Pytorch 之torch.nn进阶第1关：正则化

已于 2024-10-20 15:44:35 修改
阅读量1.6k 收藏 1
点赞数
分类专栏： educoder人工智能答案 文章标签： 深度学习 pytorch 神经网络
于 2022-10-05 09:46:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hacker_zrq/article/details/127166959
版权
本博客介绍了Pytorch中BatchNorm和InstanceNorm的正则化原理及应用，通过实例展示了如何在神经网络中使用这两种正则化方法，并提供了编程要求和测试说明。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

有偿提供CS的人工智能/网络空间安全方向的大学生课程设计、算法设计、项目设计的思路及实现指导；竞赛PPT、项目申报书等撰写润色等。 

经过“ Pytorch 之 torch.nn初探“ 实训的学习，想必同学们对torch.nn有了一个初步的认识。接下来，本实训将介绍更多内容帮助同学们运用神经网络的特性。

任务描述

本关任务：

本关提供了一个Variable 类型的变量input，要求利用BatchNorm1d创建一个4维的 带有学习参数的正则化量 m，并输出其weight和bias。

相关知识

正则化项即罚函数，该项对模型向量进行“惩罚”，从而避免单纯最小二乘问题的过拟合问题。在本节中，我们将介绍正则化方面的知识，这有助于预防过拟合的问题的产生。

首先，先引入我们要使用的包

 

    
 
  1. import torch
    2. 
 
  2. import torch.nn
    3. 
 
  3. from torch.autograd import Variable
    4. 

 

BatchNorm
 


                

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        


    



                



	

		

			

				
					
Pytorch 之torch.nn进阶专题

				
			

			

				

					Junds0的博客
				

				

					03-06
					
					1264
					
				

			

		

		

			
				
第1关：正则化
本关提供了一个Variable 类型的变量input，要求利用BatchNorm1d创建一个4维的 带有学习参数的正则化量 m，并输出其weight和bias。
import torch
import torch.nn as nn
from torch.autograd import Variable
input = Variable(torch.Tensor([[1,2,3,4],[5,6,7,8]]))
#/************** Begin **************/
# 创

			
		

	



                

            
              



	

		

			

				
					
Pytorch 之torch.nn进阶--第1关：正则化

				
			

			

				

					Martin-share的博客
				

				

					01-17
					
					1216
					
				

			

		

		

			
				
Pytorch 之torch.nn进阶--第1关：正则化

			
		

	



              


  
              

                


	

		

			

				
					
【深度学习:理论篇】--Pytorch进阶教程

				
			

			

				

					我是个好人呀，O(∩_∩)O
				

				

					04-09
					
					1226
					
				

			

		

		

			
				
输入图像是单通道，conv1 kenrnel size=5*5，输出通道 6# conv2 kernel size=5*5, 输出通道 16# 全连接层# max-pooling 采用一个 (2,2) 的滑动窗口# 核(kernel)大小是方形的话，可仅定义一个数字，如 (2,2) 用 2 即可return x# 除了 batch 维度外的所有维度print(net)

			
		

	





	

		

			

				
					
头歌-Pytorch 之torch.nn进阶

				
			

			

				

					qq_54195994的博客
				

				

					10-22
					
					1329
					
				

			

		

		

			
				
【代码】Pytorch 之torch.nn进阶。

			
		

	



		

			
		



	

		

			

				
					
头歌Pytorch 之torch.nn进阶参考答案

				
			

			

				

					hs2254406096的博客
				

				

					06-03
					
					1850
					
				

			

		

		

			
				
自测能通过

			
		

	





	

		

			

				
					
Pytorch学习笔记十六：正则化

				
			

			

				

					Dear_learner的博客
				

				

					05-03
					
					7581
					
				

			

		

		

			
				
一、weight decay（权值衰减）
正则化（regularization）：减小方差的策略。
那什么是方差呢？
误差 = 偏差 + 方差 + 噪声
偏差：度量了学习算法的期望预测与真实结果之间的偏离程度，即刻画了学习算法的拟合能力；
方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；
噪声：表达了当前任务上任何学习算法所能达到的期望泛化误差的下届。
可从下图来理解：


...

			
		

	





	

		

			

				
					
【深度学习|Pytorch框架学习之torch.nn库1】torch.nn库包含层、损失函数、优化算法以及用于梯度计算和自动求导的工具...

				
			

			

				

					985小水博的摸鱼日常
				

				

					12-03
					
					1001
					
				

			

		

		

			
				
【深度学习|Pytorch框架学习之torch.nn库1】torch.nn库包含层、损失函数、优化算法以及用于梯度计算和自动求导的工具...

			
		

	





	

		

			

				
					
机器学习库 | PyTorch：torch.nn

					
最新发布

				
			

			

				

					记录风老师成长的个人博客
				

				

					05-08
					
					522
					
				

			

		

		

			
				
需安装torchinfo库# 定义网络nn.ReLU(),# 实例化网络# 显示模型摘要SimpleNetnn.init控制权重初始化策略# 定义网络# 自定义初始化init.xavier_normal_(self.fc.weight) # Xavier初始化init.constant_(self.fc.bias, 0.1) # 偏置初始化为0.1# 实例化网络# 查看参数print("权重初始化值:", net.fc.weight)

			
		

	





	

		

			

				
					
Pytorch 之torch.nn初探 第1关：torch.nn.Module

				
			

			

				

					admin的博客
				

				

					10-04
					
					2783
					
				

			

		

		

			
				
神经网络可以使用torch.nn包构建。nn.Linearnn.Conv1dnn.Conv2dnn.Conv3dnn.Sigmoidnn.Tanhnn.ReLUnn.LSTMnn.GRUnn.Dropoutnn.MSELossnn.NLLLoss这些类的实例将具有一个内置的__call__函数，可通过图层运行输入。

			
		

	





	

		

			

				
					
深度学习pytorch——正则化（持续更新）

				
			

			

				

					2201_76139143的博客
				

				

					03-29
					
					1879
					
				

			

		

		

			
				
由于Sigmoid函数在两边存在梯度趋于零的特性，这种特性会使梯度长久得不到更新，造成梯度离散的现象，如何处理这一种现象？压缩数据使数据位于Sigmoid梯度不趋于0区间，即批量正则化（Batch Norm ）（图-1）。

			
		

	





	

		

			

				
					
pytorch中的正则化方法

				
			

			

				

					nstarLDS的博客
				

				

					03-24
					
					4724
					
				

			

		

		

			
				
基础简介
正则化的含义：其实正则化就是减小方差的策略。那么什么是方差，为什么要减小方差？这里首先要提到误差的本质。
误差可以分解为偏差，方差以及噪声之和，具体如何分解可参考个人之前写的这篇笔记最后部分的推导。三者的意义可描述如下：

偏差：度量了学习算法的期望预测结果与真实结果的偏离程度，刻画了学习算法本身的拟合能力
方差：度量了同样大小的训练集的变动所导致的学习性能的变化，刻画了数据扰动造成的影...

			
		

	





	

		

			

				
					
【Pytorch】torch.nn.functional.normalize 的正则化

				
			

			

				

					anshiquanshu的专栏
				

				

					03-10
					
					2274
					
				

			

		

		

			
				
本质
torch.nn.functional.normalize(input,p=2,dim=1,eps=1e-12,out=None)



本质上就是按照某个维度计算范数，p表示计算p范数（等于2就是2范数），dim计算范数的维度（这里为1，一般就是通道数那个维度）

官方参考
官方api：https://pytorch.org/docs/stable/nn.html#normalize

源码：


def normalize(input, p=2, dim=1, eps=1e-12, ou...

			
		

	





	

		

			

				
					
pytorch基础(九)-正则化

				
			

			

				

					靓仔沾点健忘症，写给时间下游的自己
				

				

					01-04
					
					756
					
				

			

		

		

			
				
过拟合即训练后的权重为高方差，正则化的目的就是减小权重的方差

			
		

	





	

		

			

				
					
PyTorch学习笔记之torch.nn

				
			

			

				

					格物致知的专栏 [音视频编解码 网络协议 计算机视觉 计算机图形学 图像理解 语音识别 机器学习 模拟电路 传感器]
				

				

					04-14
					
					663
					
				

			

		

		

			
				
这里主要概括性地讲解一下torch.nn中的几个函数的含义。

nn.Flatten() - 顾名思义，就是将张量的几个维度变成一维的，有点类似于matlab中的reshape函数。该函数一般后跟一个nn.Linear()即全连接层。

nn.Linear() - 用于构造一个全连接层，第三个参数bias默认为True，表示会学习一个附加的偏置。

nn.Conv2d() - 表示2维卷积，参数依次为输入通道，输出通道，卷积核尺寸，步长，填充。卷积前后会发生通道和特征尺度的改变。

nn.ReLU() - 

			
		

	





	

		

			

				
					
第1关：正则表达式 - Scala

				
			

			

				

					m0_51550513的博客
				

				

					04-24
					
					289
					
				

			

		

		

			
				
【代码】第1关：正则表达式 - Scala。

			
		

	





	

		

			

				
					
Pytorch 之torch.nn初探第3关：非线性--Nonlinearities

				
			

			

				

					admin的博客
				

				

					10-05
					
					1186
					
				

			

		

		

			
				
在实际应用中，非线性模型往往比线性模型更加适用，而torch.nn中也提供了许多非线性模型供大家使用。让我们一起来看一看吧！

			
		

	





	

		

			

				
					
Torch 论文复现：卷积网络正则化 DropBlock

				
			

			

				

					荷碧TongZJ 的水文
				

				

					07-02
					
					1345
					
				

			

		

		

			
				
DropBlock是一种类似于dropout的简单方法，它与dropout的主要区别在于，它从层的特征图中抹除连续区域，而不是抹除独立的随机单元。在论文中，最优的超参数是block_size=7,keep_prob=0.9，但实际使用时仍需要根据Loss的变化情况做出调整。从实验结果可以看到，ResNet-50在使用了DropBlock后在验证集上的准确率有一定的提升。类似地，DropBlock通过随机地置零网络的响应，实现了通道之间的解耦，缓解了网络的过拟合现象。......

			
		

	





	

		

			

				
					
PyTorch学习笔记（二）——torch.nn解析

				
			

			

				

					Candyerer的博客
				

				

					01-27
					
					3087
					
				

			

		

		

			
				
PyTorch提供了方便漂亮的类和模块，来帮助我们创建和训练神经网络，例如 torch.nn, torch.optim 等。
为了更好地理解这些模块的功能和原理，我们在手动搭建的神经网络上，逐步添加这些模块，以显示每部分模块的功能，以及每部分是如何让代码更加灵活简洁的。
1、手动搭建神经网络
使用MNIST数据集，该数据集共有50000个图片，每一图片大小为2828，储存在长度为2828=784的扁平行。
#定义权重和偏执值,需要requires_grad=True，以便自动计算梯度，完成反馈
weight

			
		

	





	

		

			

				
					
Pytorch 之torch.nn初探

				
			

			

				

					Junds0的博客
				

				

					03-06
					
					3005
					
				

			

		

		

			
				
第1关：torch.nn.Module
本关要求利用nn.Linear()声明一个线性模型 l，并构建一个变量 net 由三个l序列构成。
import torch
import torch.nn as nn
from torch.autograd import Variable
#/********** Begin *********/
#声明一个in_features=2,out_features=3的线性模型 l并输出
l = nn.Linear(2, 2)
print(l)
#变量 net 由三个l

			
		

	





	

		

			

				
					
Pytorch 之torch.nn进阶

				
			

			

				

					12-26
				

			

		

		

			
				
### PyTorch `torch.nn` 高级用法

#### 自定义层实现
除了内置的标准神经网络组件外，PyTorch允许开发者创建自定义层来满足特定需求。通过继承`nn.Module`类并重写其中的方法可以轻松构建新的功能模块。

```python
import torch
from torch import nn

class CustomLayer(nn.Module):
    def __init__(self, input_features, output_features):
        super(CustomLayer, self).__init__()
        self.linear = nn.Linear(input_features, output_features)

    def forward(self, x):
        return torch.relu(self.linear(x))
```

此代码片段展示了如何定义一个新的线性变换加ReLU激活函数组合而成的简单定制化层[^1]。

#### 动态计算图支持
得益于PyTorch动态计算图机制，在训练过程中可以根据输入数据调整模型结构而无需重新编译整个程序。这使得实验更加灵活高效。

对于复杂的条件逻辑处理场景尤为有用：

```python
def dynamic_forward(x):
    if sum(x).item() >= 0:
        branch_a = nn.Sequential(
            nn.Conv2d(3, 64, kernel_size=7),
            nn.ReLU(),
            nn.MaxPool2d(kernel_size=2)
        )
        out = branch_a(x)
    else:
        branch_b = nn.Sequential(
            nn.Conv2d(3, 128, kernel_size=5),
            nn.ReLU(),
            nn.AvgPool2d(kernel_size=2)
        )
        out = branch_b(x)
    
    return out
```

上述例子中根据输入特征总和决定采用不同卷积分支路径。

#### 参数共享技巧
有时希望某些部分权重在整个网络内被多个地方共同使用，这时可以通过直接赋值方式实现在不同位置间共享参数。

下面的例子说明了两个全连接层之间共享相同的权值矩阵W:

```python
shared_linear = nn.Linear(in_features=100, out_features=50)

model_with_shared_params = nn.Sequential(
    shared_linear,
    nn.ReLU(),
    shared_linear,  # Reuse the same layer instance here.
    nn.Sigmoid()
)
```

这种做法有助于减少内存占用以及加速收敛过程。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
ad_m1n

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值