最近在看pytorch的东西,于是想问一下deepseek,让其描述完整过程,果然不失所望。
Q:怎么用pytorch训练一个模型,并跑起来。
A:(下面的文章是ds回答,我用的元宝满血版)
使用PyTorch训练并运行一个模型的完整流程可分为以下步骤,结合多篇实践指南整理而成:
一、环境搭建
- 安装PyTorch
pip install torch torchvision torchaudio # CPU版本
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117 # GPU版本(需CUDA)
验证安装:
import torch
print(torch.__version__, torch.cuda.is_available())
# 输出版本及GPU是否可用
- 虚拟环境(可选) 推荐使用Miniconda管理环境:
conda create -n pytorch_env python=3.10
conda activate pytorch_env
二、数据准备
- 数据集加载 使用内置数据集(如MNIST)或自定义数据集:
from torchvision import datasets, transforms
transform = transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.5,), (0.5,)) # 图像归一化
])
train_data = datasets.MNIST(root='./data', train=True, download=True, transform=transform)
test_data = datasets.MNIST(root='./data', train=False, transform=transform)
- 数据分批(DataLoader)
from torch.utils.data import DataLoader
train_loader = DataLoader(train_data, batch_size=64, shuffle=True)
test_loader = DataLoader(test_data, batch_size=64, shuffle=False)
三、模型定义
继承nn.Module构建自定义模型:
import torch.nn as nn
class SimpleNN(nn.Module):
def __init__(self):
super().__init__()
self.fc1 = nn.Linear(28*28, 128) # 输入层到隐藏层
self.fc2 = nn.Linear(128, 10) # 隐藏层到输出层
def forward(self, x):
x = x.view(-1, 28*28) # 展平图像
x = torch.relu(self.fc1(x))
x = self.fc2(x)
return x
model = SimpleNN()
四、损失函数与优化器
criterion = nn.CrossEntropyLoss() # 分类任务常用交叉熵损失
optimizer = torch.optim.Adam(model.parameters(), lr=0.001) # Adam优化器
五、训练循环
device = torch.device("cuda" if torch.cuda.is_available() else"cpu")
model.to(device) # 将模型移至GPU(若有)
for epoch in range(10):
model.train()
for inputs, labels in train_loader:
inputs, labels = inputs.to(device), labels.to(device)
optimizer.zero_grad() # 清空梯度
outputs = model(inputs) # 前向传播
loss = criterion(outputs, labels)
loss.backward() # 反向传播
optimizer.step() # 更新参数
# 每个epoch结束后评估
model.eval()
with torch.no_grad():
correct = 0
for inputs, labels in test_loader:
inputs, labels = inputs.to(device), labels.to(device)
outputs = model(inputs)
_, predicted = torch.max(outputs.data, 1)
correct += (predicted == labels).sum().item()
accuracy = correct / len(test_data)
print(f"Epoch {epoch+1}, Test Accuracy: {accuracy:.2f}")
六、模型保存与加载
- 保存模型权重
torch.save(model.state_dict(), 'model.pth')
- 加载模型
model = SimpleNN()
model.load_state_dict(torch.load('model.pth'))
model.eval() # 切换为评估模式
七、高级技巧
- GPU加速 将数据和模型通过.to(device)移至GPU,显著提升训练速度。
- 防止过拟合
#添加Dropout层:
nn.Dropout(0.5)
# 2正则化:
optimizer = optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-5)
- 学习率调整
scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=5, gamma=0.1)
scheduler.step() # 每个epoch后调用
- 可视化训练过程 使用TensorBoard跟踪损失和准确率。
八、完整示例(线性回归)
# 生成数据
X = torch.randn(100, 1)
y = 3 * X + 2 + torch.randn(100, 1)
# 定义模型
class LinearRegression(nn.Module):
def __init__(self):
super().__init__()
self.linear = nn.Linear(1, 1)
def forward(self, x):
return self.linear(x)
model = LinearRegression()
criterion = nn.MSELoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
# 训练
for epoch in range(100):
outputs = model(X)
loss = criterion(outputs, y)
optimizer.zero_grad()
loss.backward()
optimizer.step()
if (epoch+1) % 10 == 0:
print(f'Epoch {epoch+1}, Loss: {loss.item():.4f}')
常见问题
· 数据预处理失败:检查transforms是否适配输入格式(如通道数、尺寸)。
· GPU内存不足:减小batch_size或使用梯度累积。
· 模型不收敛:尝试调整学习率、更换优化器或检查数据分布。
通过以上步骤,你可以快速实现PyTorch模型的训练与运行。更多细节可参考PyTorch官方文档及各实践教程。
如何零基础入门 / 学习AI大模型?
大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?
”“谁的饭碗又将不保了?
”等问题热议不断。
不如成为「掌握AI工具的技术人」
,毕竟AI时代,谁先尝试,谁就能占得先机!
想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。
但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高
那么我作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,希望可以帮助到更多学习大模型的人!至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费
】
👉 福利来袭
优快云大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈
全套AGI大模型学习大纲+路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
👉 福利来袭
优快云大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈
这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费
】
作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。