Pytorch 及 numpy 常用函数_个人记录不断加入

在写网络初始设置的,设置以后,之后创建的tensor都默认为该形式,cpu或者gpu,类型

torch.set_default_tensor_type()

 可选参数:'torch.cuda.FloatTensor'、 'torch.FloatTensor'

--------------------------------------------

1、在你使用固定大小的图像进行训练的时候设置为True,加快训练速度

import torch.backends.cudnn as cudnn
cudnn.benchmark = True

 上采样:

1、nn.ConvTranspose2d

逆卷积

(in_channels, out_channels, kernel_size, stride=1,padding=0,output_padding=0, groups=1, bias=True, dilation=1, padding_mode='zeros'):

2、nn.Upsample

  已经有新的了下面的3

源码提示:warnings.warn("nn.functional.upsample is deprecated. Use nn.functional.interpolate instead.")

3、torch.nn.functional.interpolate(in,, size=size2, scale_factor=2, mode='nearest')

因为可以输入尺寸,所以这个可以解决单数在下采样上采样与原feature结合尺度不一的问题

input, size=None, scale_factor=Non
### 使用 NumpyPyTorch 实现梯度下降算法 #### Numpy 版本的梯度下降实现 Numpy 是一种强大的数值计算库,在机器学习领域广泛用于矩阵运算。下面是一个简单的线性回归例子,展示如何利用 Numpy 来执行梯度下降。 ```python import numpy as np def compute_error_for_line_given_points(b, m, points): totalError = 0 for i in range(0, len(points)): x = points[i, 0] y = points[i, 1] totalError += (y - (m * x + b)) ** 2 return totalError / float(len(points)) def step_gradient(b_current, m_current, points, learning_rate): b_gradient = 0 m_gradient = 0 N = float(len(points)) for i in range(0, len(points)): x = points[i, 0] y = points[i, 1] b_gradient += -(2/N) * (y - ((m_current * x) + b_current)) m_gradient += -(2/N) * x * (y - ((m_current * x) + b_current)) new_b = b_current - (learning_rate * b_gradient) new_m = m_current - (learning_rate * m_gradient) return [new_b, new_m] def gradient_descent_runner(points, starting_b, starting_m, learning_rate, num_iterations): b = starting_b m = starting_m for i in range(num_iterations): b, m = step_gradient(b, m, np.array(points), learning_rate) return [b, m] points = np.genfromtxt('data.csv', delimiter=',') learning_rate = 0.0001 initial_b = 0 initial_m = 0 num_iterations = 1000 [b, m] = gradient_descent_runner(points, initial_b, initial_m, learning_rate, num_iterations) print(f"最佳拟合线: 斜率 {m}, 截距 {b}") ``` 此代码片段展示了基于均方误差(MSE)作为代价函数的一维线性回归模型的学习过程[^1]。 #### PyTorch 版本的梯度下降实现 PyTorch 提供了一个自动求导机制 `autograd` ,这使得编写神经网络变得非常方便。下面是同样的线性回归问题在 PyTorch 中的解决方式: ```python import torch import torch.nn.functional as F from torch.autograd import Variable dtype = torch.float device = torch.device("cpu") # 创建一些假数据集 x_data = Variable(torch.tensor([[1.0], [2.0], [3.0]]).type(dtype)) y_data = Variable(torch.tensor([[2.0], [4.0], [6.0]]).type(dtype)) class Model(torch.nn.Module): def __init__(self): super(Model, self).__init__() self.linear = torch.nn.Linear(1, 1) def forward(self, x): y_pred = self.linear(x) return y_pred model = Model() criterion = torch.nn.MSELoss(size_average=False) optimizer = torch.optim.SGD(model.parameters(), lr=0.01) for epoch in range(500): model.train() # Forward pass: Compute predicted y by passing x to the model pred_y = model(x_data) loss = criterion(pred_y, y_data) optimizer.zero_grad() # 清除之前的梯度 # Backward pass and updates weights. loss.backward(retain_graph=True) optimizer.step() if (epoch+1) % 50 == 0: print(f'Epoch[{epoch+1}/500], Loss: {loss.item():.4f}') predicted = model.forward(torch.tensor([[4.0]])).item() print(f'预测值为{predicted}') ``` 这段代码创建了一个单层线性模型,并使用随机梯度下降(SGD)来进行参数更新。这里的关键在于 PyTorch 的 `backward()` 函数会自动生成反向传播所需的梯度信息[^2]。 #### 比较两者的区别 - **易用性和灵活性**: PyTorch 自带了许多工具简化了开发流程,特别是对于构建复杂的深度学习架构来说更为友好;而 Numpy 则更适合于快速原型设计以及理解底层原理。 - **性能差异**: 对于大规模的数据集和复杂模型而言,GPU 加速下的 PyTorch 性能远超仅依赖 CPU 运算的 Numpy 方案。 - **自动化程度**: PyTorch 支持动态图结构(`autograd`),这意味着它可以在运行时调整图形拓扑结构,这对于某些特定类型的模型非常重要。相比之下,Numpy 不具备这样的特性,所有的操作都需要手动编码完成[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值