jiaomongjun的博客

神经网络（Neural Networks，简称NN）是一类模仿生物神经系统的数学模型，用于处理和解决各种类型的任务，如分类、回归、模式识别等。神经网络属于机器学习领域的一个重要分支，特别是在深度学习（Deep Learning）中起到了核心作用。神经网络通过层次化非线性变换实现强大的函数拟合能力，其成功依赖于：架构设计（如CNN处理图像、Transformer处理文本）。优化技术（如Adam、Dropout）。大规模数据与算力支撑（GPU/TPU）。

【代码】PyTorch使用(7)-张量常见运算函数。

reshape：用来改变张量的形状，返回一个新的张量。transpose：交换张量的两个维度。permute：按指定的维度顺序重新排列张量的所有维度。view：用来改变张量的形状，要求张量在内存中是连续的。contiguous：确保张量是连续的，可以在需要 view 操作时使用。squeeze：去除张量中维度为1的维度。unsqueeze：在张量的指定位置添加一个维度。

简单的行、列索引是最基本的索引操作，通过整数来访问张量中的元素。可以使用类似数组索引的方式来操作。

将多个张量沿指定维度（dim）拼接，生成新张量。所有输入张量的 维度数必须相同。非拼接维度的大小必须一致。张量必须位于 同一设备 且 数据类型相同。适用场景：合并同维度的特征、批量数据拼接等。核心规则1、输入张量维度数相同。2、非拼接维度大小严格一致。3、设备与数据类型一致。优先使用 torch.cat：当需要在现有维度扩展时；需新增维度时选择 torch.stack。功能：将多个张量沿新维度堆叠（非拼接），要求所有输入张量形状严格相同。

共享内存：默认情况下，CPU 张量与 NumPy 数组共享内存，修改会同步。独立副本：使用 .copy() 或 clone() + .numpy() 创建独立数据。设备与梯度：处理 GPU 张量或带梯度张量时，需先移至 CPU 并分离梯度。优先使用 .item()：安全且明确，专为标量设计。避免强制类型转换：可能隐藏维度不匹配或设备不一致的问题。处理复杂情况：通过 .squeeze()、.cpu()、.detach() 确保张量符合要求。

数学表示：若矩阵A 和 B形状相同（均为 m×n），则它们的阿达玛积 A⊙B 定义为：即对应位置元素相乘，结果仍为m×n的矩阵。与矩阵乘法的区别：元素级操作，形状严格相同。矩阵乘法（点积）：线性代数操作，要求 A 的列数 = B 的行数，结果形状为(A的行数,B的列数)。优先使用 @ 或 torch.matmul：灵活支持多维张量和广播。明确场景选择函数：简单 2D 乘法 → torch.mm；固定批次 3D 乘法 → torch.bmm形状检查：始终确保最后两维满足矩阵乘法规则。

方法用途根据数据创建张量，自动推断数据类型。根据形状创建未初始化的张量。创建整数类型（torch.int32）的张量。创建浮点类型（torch.float32）的张量。创建双精度浮点类型（torch.float64）的张量。创建指定数据类型的张量（推荐，更直观且灵活）。方法用途创建等间隔的整数张量。创建等间隔的浮点数张量。设置随机种子，确保实验可重复。初始化随机种子。创建标准正态分布的随机张量。创建 [0, 1) 区间内均匀分布的随机张量。创建指定范围内的整数随机张量。方法。