Small__明的博客

如果你今天教它"猫有尖耳朵、长尾巴"，明天却展示一张像素值放大100倍的猫图片，孩子会感到困惑。这就是深度学习中的**内部协变量偏移（Internal Covariate Shift）**问题，而归一化层正是解决这一问题的关键工具。的分布也会变化，导致激活函数的输入进入饱和区（如Sigmoid的两端），梯度变得极小或极大。对每个样本的每个通道独立归一化，适合需要保留样本间差异的任务。对每个样本的所有特征进行归一化，特别适合序列数据。(H, W) —— 对每个样本的每个通道独立。

tindex操作结果形状索引逻辑核心差异(2,2)固定行，按index取列仅在指定维度（列）使用索引t[index](2,2,2)按index取整行，保留结构只索引行，保留原始列维度(2,2)行和列都用index索引行索引和列索引一一对应通过这些对比可以看出，PyTorch的索引机制非常灵活，相同的索引张量在不同操作中会产生截然不同的结果，核心区别在于索引作用的维度和组合方式。基础切片：高效视图操作，无数据拷贝高级索引：灵活但产生数据拷贝组合索引：混合使用不同索引类型专用函数。

PyTorch广播机制是高效处理不同形状张量运算的核心特性：✅核心优势：减少显式复制、简化代码、提高内存效率✅关键规则：维度对齐、大小兼容、自动扩展✅应用场景：标量运算、归一化、损失函数、注意力机制⚠️注意事项：形状兼容性、大张量性能、正确使用expand/repeat掌握广播机制不仅能让你写出更简洁的PyTorch代码，还能深入理解深度学习框架的设计哲学。下次面对形状不同的张量运算时，不妨让广播机制为你智能处理！希望这篇博客能帮助你全面理解PyTorch广播机制！

内存共享与NumPy共享内存视图操作（如view()/切片）共享内存其他方法均创建独立副本梯度处理.clone()唯一保留梯度计算图copy_()会破坏目标Tensor的计算图创建新计算图使用场景需要梯度回传：使用.clone()高效数据覆盖：使用.copy_()完全独立拷贝：使用与NumPy交互：使用numpy()

本文系统梳理了数学与深度学习中张量（Tensor）的核心概念。数学中的张量是多重线性映射，强调坐标变换不变性，而深度学习中的Tensor是计算机实现的多维数组，支持自动微分和GPU加速。文章详细解析了标量（0阶）、向量（1阶）、矩阵（2阶）及高阶张量的特性与应用场景，并通过对比表指出两者的关键差异：数学张量是抽象实体，深度学习Tensor则注重计算效率。最后介绍了Tensor的创建、转换、运算等实操方法，为理解神经网络的数据结构提供了清晰框架。

对比维度.detach()是否禁用梯度否是是（对特定张量）是否改变层行为是（Dropout/BatchNorm）否否是否共享数据否否是显存优化效果无直接影响显著优化（禁用计算图存储）局部优化（减少特定张量的显存占用）是否需要组合使用通常与一起使用通常与一起使用可单独使用，或与结合方法核心作用确保模型在评估阶段行为正确（如 Dropout、BatchNorm）。全局禁用梯度计算，减少显存和计算资源消耗。.detach()局部隔离梯度计算，保留数据但不参与反向传播。关键原则训练阶段。

不知道小伙伴们有没有考虑过这种感觉，在最开始学习深度学习的时候，一定都了解过前向传播，反向传播等等，但是在实际的操作过程中却“几乎用不到”，那么反向传播过程在代码中到底是如何进行的呢？今天让我们来回顾一下。接下来我们就重点分析这几行代码的作用！进行梯度清零，至于为什么要进行梯度清零，可以先看下面。计算损失。回传损失，计算梯度。更新权重。

深度学习之过拟合文章目录深度学习之过拟合过拟合&欠拟合导致过拟合的原因解决过拟合的方法正则化数据增广加噪声多任务学习Early StoppingDropout对抗训练总结过拟合&欠拟合过拟合：在训练集上表现很好，但在测试集上表现不佳。欠拟合：训练集上表现不行，测试集上表现也不行。导致过拟合的原因1、模型太复杂：模型过于复杂，以至于可以完全记住训练集上的数据，不需要去学习。2、数据不够多：数据少，容易被记住。解决过拟合的方法正则化数据增广增加训练集的数据。例如：一张图

深度学习之优化文章目录深度学习之优化基本概念BatchEpochminiBatchSGD鞍点梯度爆炸动量总结基本概念Batch所有样本一起训练。Epoch所有样本一起训练一次叫一个epochminiBatch一次训练的不是全部的样本。SGD一次只训练一个样本，然后用这个样本来更新梯度。我们通常说的SGD是指miniSGD鞍点如下图所示：鞍点是一个平的点，在该点处梯度为0，但是并不是我们想要的点。梯度爆炸对于复杂的模型，某个点的梯度非常大，以至于下一步不知道往哪走。对于梯度爆炸

本人是采用的第二种，大家可以参考。选择自己的版本安装即可。祝大家都可以顺利激活！

由于自己是新电脑，新的pycharm版本，所以自己在弄的时候遇到了不少麻烦，希望这篇博客可以帮助到大家，有什么问题也欢迎指出，不胜感激！希望大家都可以顺利安装成功，顺利连接服务器，成为一名优秀的算法工程师！

尝试未果，依然报错。

当遇到bash: conda: command not found… 大概率是环境问题，如果添加环境解决不了的那么就重装，重装可以解决大部分问题哈哈哈哈哈哈，注意在安装anaconda的时候不要回车太快了，太快可能会导致安装有问题，我第二次安装的时候慢慢回车，慢慢YES就OK啦。最后祝大家可以顺利安装成功！都可以成为一名优秀的算法工程师。

这里我们是指定python3.8版本，如果不指定版本的话会默认安装最新版的python，同时也可以根据自己的需求设置python版本。此时我们名字为dtc的环境只是一个躯壳，下面我们要进入这个环境中并安装pytorch包。也就是说我们创建的这个环境名字叫做dtc。可以根据自己的意愿设置环境名字。可以看见，激活环境之后，我们由原先的base环境进入到被激活的dtc环境。先写到这里吧，到这里就基本安装成功了，如果有什么报错可以自行百度解决。最后祝大家都可以顺利安装成功，成为一名优秀的算法工程师！