Pytorch实战——知识点记录（二）

原创 已于 2022-03-31 18:00:17 修改 · 2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch

于 2022-03-31 17:42:29 首次发布

Pytorch构建神经网络记录

1.Typical Loss
-mean squere error(MSE) 均方误差
在这里插入图片描述在这里插入图片描述
pytorch中求mean squere error的梯度有两种方式：
在这里插入图片描述
backward( )函数（这个更方便）
torch.autograd.grad()函数用法示例
-cross entropy loss

在这里插入图片描述
-Entropy 熵
在这里插入图片描述
-cross entropy 交叉熵
cross entropy的值记为H(p,q)：
在这里插入图片描述在这里插入图片描述
对于one-hot encoding，entropy=0，cross entropy = entropy+KL Divergence = 0+KL Divergence = KL Divergence.
在这里插入图片描述对于分类问题为什么不使用MSE而使用cross entropy
在这里插入图片描述
.cross_entropy()函数=softmax操作+log操作+nll_loss操作

2.链式法则


                

                
                
        

    



  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
PyTorch深度学习实战（2）——PyTorch基础

				
			

			

				

					盼小辉丶的博客
				

				

					06-04
					
					5万+
					
				

			

		

		

			
				
PyTorch 是广泛应用于机器学习领域中的强大开源框架，因其易用性和高效性备受青睐。在本节中，将介绍使用 PyTorch 构建神经网络的基础知识。首先了解 PyTorch 的核心数据类型——张量对象。然后，我们将深入研究用于张量对象的各种操作。PyTorch 提供了许多帮助构建神经网络的高级方法及组件，并提供了利用 GPU 更快地训练神经网络的张量对象。

			
		

	



                

            
              



	

		

			

				
					
PyTorch强化学习实战（1）——强化学习环境配置与PyTorch基础

					
热门推荐

				
			

			

				

					盼小辉丶的博客
				

				

					05-29
					
					15万+
					
				

			

		

		

			
				
工欲善其事，必先利其器。为了更专注于学习强化学习的思想，而不必关注其底层的计算细节，我们首先搭建相关强化学习环境，包括 PyTorch 和 Gym，其中 PyTorch 是我们将要使用的主要深度学习框架，Gym 则提供了用于各种强化学习模拟和任务的环境。除此之外，本文还介绍了一些 PyTorch 的基础知识，以及 Gym 环境的使用方法，为之后的强化学习实战奠定基础。

			
		

	



              


  
              

                


	

		

			

				
					
pytorch中的MSELoss函数

				
			

			

				

					橘露源的博客
				

				

					11-28
					
					3万+
					
				

			

		

		

			
				
基本概念
均方误差（mean square error, MSE），是反应估计量与被估计量之间差异程度的一种度量，设ttt是根据子样确定的总体参数θ\thetaθ的一个估计量，(θ−t)2(\theta-t)^{2}(θ−t)2的数学期望，称为估计量ttt的均方误差。
pytorch中MSELoss函数介绍
torch.nn.MSELoss(size_average=True,reduce=Tru...

			
		

	





	

		

			

				
					
torch.nn.MSELoss()

				
			

			

				

					Python领域优质萌新学习笔记
				

				

					04-02
					
					1753
					
				

			

		

		

			
				
如果我们用一个估计量来预测一个未知参数或变量的值，那么MSE可以告诉我们这个估计量的偏差和方差的大小。通常情况下，我们会希望估计量既有较小的偏差又有较小的方差，使得估计结果更加准确可靠。它可以用于回归问题中，衡量模型预测值与真实值之间的差距。在深度学习中，我们使用MSE作为损失函数，目的也是让模型的预测值与真实值越接近越好。通过反向传播算法，我们可以优化模型的参数，使得MSE最小化，从而提高模型的预测精度。数学原理： 均方误差是指每个样本的预测值与真实值之间差的平方的均值。是第i个样本的真实值，

			
		

	



		

			
		



	

		

			

				
					
Pytorch深度学习实战

					
最新发布

				
			

			

				

					m0_59777389的博客
				

				

					10-24
					
					1069
					
				

			

		

		

			
				
本文介绍了PyTorch深度学习框架的基本使用方法和神经网络训练原理。主要内容包括：1. PyTorch张量与NumPy数组的转换方法及语法对比；2. 神经网络训练的核心过程（前向传播、反向传播、参数更新）及关键概念（batch_size、epochs）；3. 数据集处理技巧（类型转换、GPU加载、划分方法）；4. 神经网络搭建指南（层数设置、激活函数选择）及不同任务（分类/回归）的输出层设计；5. 两种梯度下降实现（批量/小批量）的代码示例。文章重点讲解了如何正确选择激活函数和损失函数，并提供了模型训练评

			
		

	





	

		

			

				
					
Pytorch学习笔记——损失函数的综合运用

				
			

			

				

					weixin_50765519的博客
				

				

					07-19
					
					1244
					
				

			

		

		

			
				
结合之前的知识，构建一个简单的CNN模型来分类CIFAR-10数据集中的图像。输入和目标张量分别是。

			
		

	





	

		

			

				
					
pytorch 入门学习 MSE

				
			

			

				

					weixin_41281151的博客
				

				

					08-24
					
					615
					
				

			

		

		

			
				
《PyTorch深度学习实践》完结合集-线性模型

import  numpy as np
import matplotlib.pyplot as plt

x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]

def forward(x):
    return x*w

def loss(x,y):
    y_pred = forward(x)
    return (y_pred - y) * (y_pred - y)

w_list = []
mse_lis

			
		

	





	

		

			

				
					
【pytorch损失函数（4）】nn.MSELoss,（Mean Squared Error，MSE） 均方误差（MSE）（squared L2 norm，平方L2范数）。它也被称为L2 Loss。

				
			

			

				

					Hali_Botebie的博客
				

				

					05-06
					
					4316
					
				

			

		

		

			
				
它也被称为L2 Loss。上图为均方误差函数图，其中目标真值为 100，预测范围在-10000 到 10000 之间，均方 误差损失（Y 轴）在预测值（X 轴）=100 处有最小值，范围为 0~∞。可以看出梯度都与sigmoid函数的梯度有关，如下图所示，sigmoid函数在两端的梯度均接近0，这导致反向传播的梯度也很小，这就这就不利于网络训练，这就是梯度消失问题。导数变化，不稳定，尤其是在早期阶段（损失越大，导数越大），随着导数越来越小， 训练速度变得越来越慢。

			
		

	





	

		

			

				
					
Pytorch实战——知识点记录（一）

				
			

			

				

					he的博客
				

				

					03-26
					
					2036
					
				

			

		

		

			
				
Pytorch知识点记录
1.dim、size、shape的区别：link
2.Tensor()和FloatTensor()里面的参数是现成的list数据或者shape，而tensor()【小写的t】参数是现成的数据如list数据。
Tensor()默认等于FloatTensor()，这个默认值也可以修改。
3.rand()函数，如a=torch.rand(3,3),初始化一个3行3列的张量，每个元素值都在[0, 1]区间。要想取[0,10]区间，应使用10*torch.rand(d1,d2)，randin

			
		

	





	

		

			

          精选资源
				
					
深度强化学习极简入门与Pytorch实战

				
			

			

				

					05-05
				

			

		

		

			
				
分享视频教程——《深度强化学习极简入门与Pytorch实战》，视频+源码+课件下载！   强化学习作为行为主义人工智能学派的典型代表，近几年与深度神经网络相结合形成的深度强化学习(DRL)，达到了令人惊叹的智能水平：...

			
		

	





	

		

			

				
					
pytorch tensor mse

				
			

			

				

					weixin_37079346的博客
				

				

					08-19
					
					119
					
				

			

		

		

			
				
我整理的一些关于【PyTorch】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/Hpqqk2使用 PyTorch 计算均方误差（MSE）
均方误差（Mean Squared Error, MSE）是机器学习中常用的损失函数，尤其在回归任务中广泛应用。它通过计算预测值与真实值...

			
		

	





	

		

			

				
					
【PyTorch】MSELoss的详细理解（含源代码）

				
			

			

				

					wzk4869的博客
				

				

					11-24
					
					1万+
					
				

			

		

		

			
				
【PyTorch】MSELoss的详细理解（含源代码）

			
		

	





	

		

			

				
					
详解Pytorch中的torch.nn.MSELoss函，包括对每个参数的分析！

				
			

			

				

					信小海
				

				

					12-10
					
					2万+
					
				

			

		

		

			
				
详解Pytorch中的torch.nn.MSELoss函数，包括对每个参数的分析！

			
		

	





	

		

			

				
					
pytorch  nn.MSELoss()

				
			

			

				

					weixin_37804469的博客
				

				

					04-09
					
					756
					
				

			

		

		

			
				
CLASS torch.nn.MSELoss(size_average=None, reduce=None, reduction=‘mean’)
MSE : Means Square Error


参考文献:
https://pytorch.org/docs/stable/nn.html#torch.nn.MSELoss



			
		

	





	

		

			

				
					
5深度学习Pytorch-神经网络--参数初始化、损失函数（MAE、MSE、交叉熵损失）、梯度下降及其优化算法（Momentum、Adagrad、RMSprop、Adam）

				
			

			

				

					2202_75674969的博客
				

				

					08-11
					
					570
					
				

			

		

		

			
				
全零初始化

二、随机初始化
1. 均匀分布初始化


原理：从均匀分布  U[-a, a]  中采样权重公式：
W∼U[−1nin,1nin]
W \sim U\left[-\frac{1}{\sqrt{n_{\text{in}}}}, \frac{1}{\sqrt{n_{\text{in}}}}\right]
W∼U[−nin​​1​,nin​​1​]
其中  n_in 是输入神经元数特点：

2. 正态分布初始化


原理：从高斯分布采样公式：
σ=0.01（常用小方差避免激活值饱和）
\sigma 

			
		

	





	

		

			

				
					
机器学习常用损失函数小结

				
			

			

				

					zandaoguang的博客
				

				

					02-16
					
					680
					
				

			

		

		

			
				
作者：王桂波转载自：https://zhuanlan.zhihu.com/p/77686118整理：HealthAI上一篇文章我们看到了目标函数，损失函数，和代价函数的区别。在该部分我们...

			
		

	





	

		

			

				
					
Pytorch基础（九）——损失函数

				
			

			

				

					baidu_35536188的博客
				

				

					12-19
					
					2608
					
				

			

		

		

			
				
一、概念
损失函数在深度学习领域是用来计算搭建模型预测的输出值和真实值之间的误差。
具体实现过程：在一个批次（batch）前向传播完成后，得到预测值，然后损失函数计算出预测值和真实值之间的差值，反向传播去更新权值和偏置等参数，以降低差值，不断向真实值接近，最终得到效果良好的模型。
常见的损失函数包括：MSE（均方差, 也可以叫L2Loss），Cross Entropy Loss（交叉熵），L1 Loss（L1平均绝对值误差），Smooth L1 Loss(平滑的L1 loss)，BCELoss (Binar

			
		

	





	

		

			

				
					
【pytorch】pytorch学习笔记（续2）

				
			

			

				

					小白冲鸭的博客
				

				

					01-26
					
					1037
					
				

			

		

		

			
				
（2）如果设置了p.backward(retain_grad=True)，那么执行完该语句后再执行p.backward()就不会报错了，但如果第三次执行p.backward()而第二次p.backward()中没有设置retain_grad=True，那么第三次执行会报错。：1.X,Y=np.meshgrid(x,y):把x和y的范围传进去，就会生成两张图片，每张图片上相同位置的两个点拼在一起，就会形成一个坐标（x，y）。注意：w.norm()返回的是L2范数，w.grad.norm()返回的是。

			
		

	





	

		

			

				
					
Pytorch（笔记7损失函数类型）

				
			

			

				

					zsy54577的博客
				

				

					07-05
					
					1692
					
				

			

		

		

			
				
beta=1.0是PyTorch中SmoothL1Loss的默认值。这个值的选择是基于经验和实践的，旨在在L1损失和L2损失之间找到一个平衡点，以便在大多数情况下都能获得良好的性能。调整beta的值可以改变损失函数对误差的敏感度。较小的beta值会使损失函数在误差较小时更加接近L2损失，从而在原点附近更加平滑；较大的beta值则会使损失函数更早地过渡到L1损失的形式，从而减少对大误差的惩罚。

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值