pytorch学习笔记1 - loss max

这篇博客介绍了PyTorch中的loss函数,包括其参数如weight、size_average、ignore_index和reduce的使用。同时,文章还详细讲解了如何进行max操作,指出max函数可以返回最大值及其对应的索引,可以根据第二个参数按列或行求最大值。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. loss函数

https://pytorch.org/docs/stable/nn.html#loss-functions

torch.nn.CrossEntropyLoss(weight=None, size_average=True, ignore_index=-100, reduce=True)

参数:
weight (Tensor, optional) – a manual rescaling weight given to each class. If given, has to be a Tensor of size C
size_average (bool, optional) : False - sum of mibi-batch; True - average of mibi-batch.
ignore_index (int, optional) – 是否忽略某特定index对gradient的贡献,size_average = True, 忽略指定index目标的loss.
reduce (bool, optional) – False - 返回单个样本的loss, True - 按照size_average设定来计算loss

2. max

torch.max
### 关于 PyTorch 中与“土堆”相关的实现 在 PyTorch 的学习资源中,“小土堆”的教程是一个非常受欢迎的教学系列,尤其是在 B 站上发布的《PyTorch 学习笔记》[^1]。该系列涵盖了从基础到高级的各种主题,适合初学者快速入门并深入理解 PyTorch。 #### 一、核心概念解析 1. **数据预处理** 使用 `transforms.ToTensor()` 可以轻松地将 PIL 图像或 NumPy 数组转换为 PyTorch 能够处理的张量类型。这是构建深度学习模型的第一步,通常用于加载和准备训练数据集。 2. **自定义模型结构** 继承 `nn.Module` 是构建神经网络的核心方法之一[^2]。通过这种方式,开发者能够灵活设计自己的模型架构,并利用框架内置的功能完成参数管理和其他操作。 3. **环境配置技巧** 如果您使用 Anaconda 创建新的 Python 环境,则可以通过命令行激活目标环境后运行特定包安装指令来设置 Jupyter Notebook 支持[^3]。例如: ```bash conda activate your_env_name conda install nb_conda ``` 4. **CUDA 功能检测** 利用 `torch.cuda.is_available()` 函数可以判断当前设备是否支持 GPU 加速计算[^4]。此函数返回布尔值 True 或 False 表明硬件兼容情况以及驱动程序状态正常与否。 #### 二、实际案例演示——手写数字识别 MNIST 数据集分类器 以下是基于上述理论知识编写的一个简单示例代码片段: ```python import torch from torchvision import datasets, transforms from torch.utils.data import DataLoader import torch.nn as nn import torch.optim as optim # 定义超参数 batch_size = 64 learning_rate = 0.01 epochs = 5 # 数据变换规则 transform = transforms.Compose([ transforms.ToTensor(), # 将图片转成 Tensor 并缩放到 [0,1] 区间 ]) # 下载 MNIST 数据集 train_dataset = datasets.MNIST(root='./data', train=True, transform=transform, download=True) test_dataset = datasets.MNIST(root='./data', train=False, transform=transform) # 构建 Data Loader train_loader = DataLoader(dataset=train_dataset, batch_size=batch_size, shuffle=True) test_loader = DataLoader(dataset=test_dataset, batch_size=batch_size, shuffle=False) # 自定义 CNN 模型 class SimpleCNN(nn.Module): # 继承 nn.Module 基类 def __init__(self): super(SimpleCNN, self).__init__() self.conv_layer = nn.Sequential( nn.Conv2d(1, 10, kernel_size=5), nn.MaxPool2d(2), nn.ReLU(), nn.Conv2d(10, 20, kernel_size=5), nn.Dropout2d(), nn.MaxPool2d(2), nn.ReLU() ) self.fc_layer = nn.Linear(320, 10) # 输出层有十个类别 def forward(self, x): out = self.conv_layer(x) out = out.view(-1, 320) # 展平 tensor out = self.fc_layer(out) return out model = SimpleCNN() if torch.cuda.is_available(): # 若存在可用 CUDA 设备则迁移至 GPU 上执行运算 model = model.cuda() criterion = nn.CrossEntropyLoss() # 设置损失函数 optimizer = optim.SGD(model.parameters(), lr=learning_rate) # 配置优化算法 for epoch in range(epochs): total_loss = 0 correct_predictions = 0 for data, target in train_loader: if torch.cuda.is_available(): data, target = data.cuda(), target.cuda() optimizer.zero_grad() # 清零梯度缓存 output = model(data) # 正向传播过程 loss = criterion(output, target) # 计算误差 loss.backward() # 执行反向传播更新权重 optimizer.step() # 应用梯度下降调整参数 _, predicted = torch.max(output, dim=1) total_loss += loss.item()*data.size(0) correct_predictions += (predicted == target).sum().item() avg_loss = total_loss / len(train_loader.dataset) accuracy = correct_predictions / len(train_loader.dataset)*100. print(f'Epoch {epoch+1}/{epochs}, Loss: {avg_loss:.4f}, Accuracy: {accuracy:.2f}%') print('Training completed.') ``` 以上脚本展示了如何运用 PyTorch 来解决经典的图像分类问题,其中涉及到了多个重要组件的应用场景。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值