pytorch 基础知识

最新推荐文章于 2025-12-21 23:24:54 发布
原创 最新推荐文章于 2025-12-21 23:24:54 发布 · 610 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #人工智能 #python

部署运行你感兴趣的模型镜像

手撸代码：https://zhuanlan.zhihu.com/p/666471085?utm_id=0

1.1dropout

在这里插入图片描述

1.2 pytorch中gather和scatter_区别

在这里插入图片描述

1.3 pytorch中torch.Tensor()和torch.tensor()的相同点和区别

在这里插入图片描述

1.4 pytorch中train和eval有什么不同

(1). model.train()——训练时候启用
启用 BatchNormalization 和 Dropout，将BatchNormalization和Dropout置为True
(2). model.eval()——验证和测试时候启用
不启用 BatchNormalization 和 Dropout，将BatchNormalization和Dropout置为False

train模式会计算梯度，eval模式不会计算梯度。

1.5 减小模型内存的方法？

模型剪枝、模型蒸馏、模型量化、模型结构优化

您可能感兴趣的与本文相关的镜像

PyTorch 2.6

PyTorch 2.6

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

【PyTorch学习】PyTorch基础知识
12-21
【PyTorch学习】PyTorch基础知识 PyTorch是一个由Facebook开发的开源深度学习框架，它是基于Python的，提供了一种动态计算图机制。PyTorch起源于Torch7，但利用Python的便利性和丰富的生态系统，使得它更适合科研和...
精选资源
PyTorch基础知识
01-20
PyTorch 基础知识 PyTorch 是一个基于 Python 的机器学习框架，由 Facebook 的人工智能实验室 (FAIR) 开发。PyTorch 提供了动态计算图、自动微分和模块化设计等特点，广泛应用于深度学习和机器学习领域。 1. 张量...
pytorch基础知识（个人学习记录分享）
2303_79710813的博客
05-01 2427
张量（tensor）表示一个数值组成的数组，这个数组可能有多个维度，它是pytorch中最基本的数据结构。dataset,timeout=0,在实践中，主要修改的参数以下标为橙色num_workers是用来指定多进程读取数据时的进程数目的参数。在使用多进程读取数据时，系统会启动多个进程来并行读取数据，加快数据读取的速度。通过设置num_workers参数，我们可以控制启动的进程数目，从而对系统资源的利用进行优化，避免资源的浪费或者过载。
精选资源
pytorch 基础知识2.0
01-20
PyTorch 基础知识2.0 PyTorch 是一个基于 Python 的机器学习框架，广泛应用于深度学习和人工智能领域。下面是 PyTorch 基础知识2.0 中的知识点： 1. torch.mean() torch.mean() 函数用于计算 tensor 的均值。在...
pytorch基础知识学习
myqueen_way的博客
05-19 1066
介绍了基于pytorch的深度学习，介绍了pytorch表示的数据类型和数据的初始化方式，每一种数据类型的初始化方式均有例子说明，小白也能看懂标量表示一个维度为0的Tensor，采用如下的方式进行初始化：初始化一个数字为1的标量#查看标量的形状a.shape #输出的结果为torch.Size([])#使用len（）函数查看len(a.shape) #结果为0#使用size()函数查看a.size(). #结果为torch.Size([])维度为一的张量#初始化。
解决 PyTorch 中 torch.meshgrid 的警告问题
加斯顿工程师的博客
12-17 54
本文介绍了在 PyTorch 2.9.1+cu130 中使用 torch.meshgrid 时出现的警告问题，指出未来版本将强制要求显式指定 indexing 参数，并提供了具体的修复方法。
【使用PyTorch构建与微调ResNet模型：完整指南】
Ven%的博客
12-20 21
ResNet通过残差连接解决了深度神经网络的训练难题，已经成为计算机视觉任务的基准模型。PyTorch提供了便捷的API来使用和微调ResNet模型。在实际应用中，根据数据集大小和任务特性选择合适的微调策略至关重要。通过合理的微调，可以在少量数据上获得优秀的性能，大大节省训练时间和计算资源。记住，微调是一门艺术而不是科学，需要根据具体任务进行多次实验和调整。希望这篇指南能帮助你成功应用ResNet解决实际问题！
pytorch-CycleGAN-and-pix2pix学习
m0_58182797的博客
12-17 309
安装torch vision安装其他依赖。
PyTorch MultiStepLR：指定间隔学习率衰减的原理、API、参数详解、实战
最新发布
qq_62634342的博客
12-21 416
PyTorch的MultiStepLR是一种灵活的学习率衰减策略，允许在自定义的epoch节点（milestones）上衰减学习率，而非固定间隔。相比StepLR的等距衰减，MultiStepLR通过milestones参数可精确控制衰减时机，适用于复杂训练场景。其API包括optimizer绑定、严格递增的milestones列表和衰减系数gamma。典型应用包括ResNet等经典模型训练，在预设epoch点（如30/60/90）按gamma比例降低学习率。使用时需注意调用顺序（先optimize
【python | pytorch | warehouse】python库scipy与scikit-learn库不兼容？
十二_的博客
12-20 460
摘要 文章分析了Python科学计算环境中常见的scipy与scikit-learn版本兼容性问题，重点讨论了二进制兼容性错误的解决方案。当出现"_qhull"相关错误时，建议优先重建环境而非修复。作者详细比较了pip和conda的依赖管理机制，指出conda在科学计算领域更可靠，因其能全面检查C/C++二进制库兼容性等底层问题。文章提供了最佳实践：先用conda安装核心科学包（如numpy、scipy），仅在conda无包时使用pip补充。此外，还解释了conda中remove与uni
基于PyTorch的深度学习——迁移学习2
Wis4e的博客
12-20 86
接下来，下载预训练模型，冻结模型参数使得反向传播时不更新，修改最后一层输出类别（512x1000改成512x10）现在将迁移学习的特征提取应用于CIFAR-10。
Lora模型微调
糖葫芦君的博客
12-21 665
大量实证研究表明：大模型在微调过程中，权重增量矩阵 ΔW 具有显著的低内在秩（low intrinsic rank）。这意味着，尽管 ΔW 是一个高维矩阵（例如 4096×4096），其有效信息却集中在少数几个主成分上。在 LoRA 中，矩阵 W 是模型的权重矩阵。而在传统的微调中，W 会直接进行调整，但在 LoRA 中，核心思想是将原始的权重矩阵 W 被分解为两个较小的低秩矩阵：A 和 B。这两个矩阵的乘积（A * B）就是对权重矩阵的调整部分：ΔW = A × B。
AdaGrad 深度解析：从数学原理到 PyTorch 实现，为什么它在稠密问题中“学不动”？
qq_62634342的博客
12-16 970
AdaGrad是一种自适应学习率优化算法，通过为每个参数独立调整学习率来提升稀疏数据（如NLP、推荐系统）的训练效果。其核心机制是：基于历史梯度平方和的累加（G_t）自动缩放学习率，高频更新参数获得较小学习率，稀疏参数保持较大学习率。PyTorch实现采用公式 w_t+1 = w_t - lr/(sqrt(G_t)+eps)*g_t（注意eps在根号外），与理论公式存在差异。实验显示，在连续优化问题中，AdaGrad会因学习率过早衰减而表现不佳，这反映了其设计假设（梯度幅
【强化学习实验】- Actor-Critic
weixin_43522964的博客
12-17 413
基于cart-pole环境，实验AC算法的效果，并于策略梯度比较。
基于PyTorch的深度学习——迁移学习3
Wis4e的博客
12-20 99
翻转猫还是猫，不会改变其类别。随机裁剪有两种方式，一种是对图像在随机位置进行截取，可传入裁剪大小，使用的函数为：torhvision.transforms.RandomCrop()，另外一种是在中心，按比例裁剪，函数为：torchvision.transforms.CenterCrop()。除了形状变化外，颜色变化又是另外一种增强方式，其可以设置亮度变化、对比度变化和颜色变化等，在torchvision中主要是用torchvision.transforms.ColorJitter()来实现的。
DAY38 Dataset和DataLoader
2501_94080453的博客
12-16 312
下载cifar数据集并获取其中一张图片。
【python | pytorch | 】.报错怎么找到问题所在？
十二_的博客
12-20 286
摘要：文章通过分析Python报错栈（Traceback）演示了如何定位SciPy和Sklearn的版本冲突问题。关键线索包括：调用链显示Sklearn依赖SciPy，最终报错指向SciPy底层C接口签名错误。这表明SciPy编译时使用的Numpy/C库版本与当前环境不匹配。解决方法是同时重装三者，确保版本兼容。该案例不仅展示了具体错误排查过程，更传授了通过报错信息定位依赖冲突的通用方法。（149字）
使用pytorch进行batch_size分批训练，并使用adam+lbfgs算法——波士顿房价预测
qq_36980284的博客
12-16 239
本文介绍了使用PyTorch进行波士顿房价预测的神经网络实现方法。研究采用了混合优化策略：前30%训练周期使用Adam优化器进行小批量训练(batch_size=64)，后70%周期切换为LBFGS优化器进行全批量训练。实验结果显示，这种混合优化方法能有效降低损失值(MSE)。研究还对比了整批次训练与分批次训练的效果，发现分批训练能带来更好的性能表现。代码实现包括数据加载、标准化处理、神经网络模型定义(三层全连接结构)以及混合优化训练过程，并通过可视化展示了训练损失的变化趋势。
【python| pytorch】卸载py库，手动法
十二_的博客
12-20 138
手动删除Python包是可行的，甚至比pip uninstall更彻底。标准操作是： 关闭Python进程 进入site-packages目录 删除目标包文件夹及对应的.dist-info文件夹 特别注意删除numpy、scipy、sklearn等包及其元数据 完成后再重新安装 这种方法能清除残留文件，确保安装环境完全干净。但操作前建议备份，并确认删除正确的文件。
pytorch基础知识
03-15
### PyTorch基础教程入门指南 PyTorch 是一种功能强大的开源机器学习框架，广泛应用于深度学习领域。以下是关于 PyTorch 的基础知识及其核心概念。 #### 1. PyTorch 基本语法 PyTorch 提供了许多类似于 NumPy 的操作方法，但它支持 GPU 加速和自动求导机制。以下是一些基本操作： - **创建张量 (Tensor)** 张量是 PyTorch 中最基本的数据结构，可以看作多维数组。 ```python import torch # 创建一个全为1的2x2张量 x = torch.ones(2, 2) print(x) # 输出 [[1., 1.], [1., 1.]] ``` - **张量与 NumPy 数组之间的转换** PyTorch 支持无缝地将张量与 NumPy 数组互相转换[^3]。 ```python a = torch.ones(5) b = a.numpy() # 转换为NumPy数组 c = torch.from_numpy(b) # 将NumPy数组转回张量 ``` #### 2. 自动求导机制 (Autograd) PyTorch 的 `autograd` 模块能够实现动态计算图并自动生成梯度。这是构建和训练神经网络的关键特性之一[^1]。 - 设置 `requires_grad=True` 来跟踪张量的操作以便后续计算梯度。 ```python x = torch.ones(2, 2, requires_grad=True) y = x + 2 z = y * y * 3 out = z.mean() # 反向传播 out.backward() # 查看梯度 print(x.grad) # 输出梯度矩阵 ``` #### 3. 构建神经网络 在 PyTorch 中，可以通过继承 `nn.Module` 类来定义自己的神经网络架构。 - 定义简单的前馈神经网络： ```python import torch.nn as nn import torch.nn.functional as F class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.fc1 = nn.Linear(784, 128) # 输入层到隐藏层 self.fc2 = nn.Linear(128, 10) # 隐藏层到输出层 def forward(self, x): x = F.relu(self.fc1(x)) x = self.fc2(x) return x net = Net() print(net) ``` #### 4. 数据处理 PyTorch 提供了丰富的工具用于加载和预处理数据集。`torchvision.datasets` 模块包含了多个常用的真实世界数据集，例如 CIFAR、FashionMNIST 等[^4]。 - 下载 FashionMNIST 数据集： ```python from torchvision import datasets, transforms transform = transforms.ToTensor() training_data = datasets.FashionMNIST( root="data", train=True, download=True, transform=transform ) test_data = datasets.FashionMNIST( root="data", train=False, download=True, transform=transform ) ``` #### 5. 训练过程概述 完整的训练流程通常包括以下几个部分： - 初始化模型参数； - 定义损失函数（如交叉熵损失）； - 使用优化器更新权重（如 SGD 或 Adam）； - 进行多次迭代直到收敛。 ```python import torch.optim as optim criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(net.parameters(), lr=0.01) for epoch in range(10): # 多次遍历整个数据集... running_loss = 0.0 for i, data in enumerate(training_data, 0): inputs, labels = data optimizer.zero_grad() # 清零梯度缓存 outputs = net(inputs.view(-1, 784)) # 前向传递 loss = criterion(outputs, labels) # 计算损失 loss.backward() # 后向传递 optimizer.step() # 更新参数 running_loss += loss.item() ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Zack_Liu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值