专注技术的博主

特性卷积分解无非对称卷积（1×3+3×1）归一化无批量归一化（BN）BN + 标签平滑优化器SGDSGD + 动量RMSProp模块设计基础Inception模块分解卷积+BN多类型模块（A/B/C）

本文章使用pytorch构建了一个简单的图像分类器，主要用于熟悉torch建模的流程。

优化器原理优点缺点适用场景SGD随机梯度下降实现简单，计算开销小收敛慢，容易震荡基础任务，特别是小规模训练任务Momentum加入动量加速收敛，避免局部最小值动量参数选择困难适合梯度波动较大的任务AdaGrad自适应调整每个参数的学习率自动调整学习率，适合稀疏数据学习率逐步减小，可能导致训练后期收敛缓慢处理稀疏数据（如 NLP）RMSprop使用梯度平方的指数加权平均防止学习率过早减小，适合动态任务需要调节超参数适用于非平稳目标函数，尤其是 RNN 和时间序列任务Adam。

pytorch常用统计函数

在本篇博客中，我们将通过一个简单的例子，讲解如何使用 PyTorch 实现一个神经网络模型来拟合余弦函数。本文将详细分析每个步骤，从数据准备到模型的训练与评估，帮助大家更好地理解如何使用 PyTorch 进行模型构建和训练。

在 PyTorch 中，张量（Tensor）是一个多维矩阵的类，可以存储多维的数据，如标量、向量、矩阵或更高维度的数组。张量本质上是一个类（），与 NumPy 中的ndarray相似，但是它支持 GPU 加速。# 创建一个 2D 张量（矩阵）[3, 4]])