zsy54577的博客

（Tensor）张量表示一个由数值组成的数组，这个数组可能有多个维度。具有一个轴的张量对应数学上的向量（vector）；具有两个轴的张量对应数学上的矩阵（matrix）；具有两个轴以上的张量没有特殊的数学名称。

在某些情况下，即使形状不同，我们仍然可以通过调用 广播机制（broadcasting mechanism）来执行按元素操作。你尝试对两个形状不匹配的张量进行元素级（element-wise）操作时，如加法、减法、乘法等，PyTorch会尝试进行广播（broadcasting）以使得这两个张量在形状上兼容。广播是一种强大的机制，它允许NumPy和PyTorch等库对形状不同的数组进行数值计算。在任何其他Python数组中一样，张量中的元素可以通过索引访问。

为了能用深度学习来解决现实世界的问题，我们经常从预处理原始数据开始，而不是从那些准备好的张量格式数据开始。在Python中常用的数据分析工具中，我们通常使用软件包。像庞大的Python生态系统中的许多其他扩展包一样，。

降维 矩阵乘法 范数

导数和微分 自动微分 分离计算

生成数据集 读取数据集

最受欢迎的激活函数是修正线性单元（Rectified linear unit，ReLU），因为它实现简单，同时在各种预测任务中表现良好。ReLU提供了一种非常简单的非线性变换。

beta=1.0是PyTorch中SmoothL1Loss的默认值。这个值的选择是基于经验和实践的，旨在在L1损失和L2损失之间找到一个平衡点，以便在大多数情况下都能获得良好的性能。调整beta的值可以改变损失函数对误差的敏感度。较小的beta值会使损失函数在误差较小时更加接近L2损失，从而在原点附近更加平滑；较大的beta值则会使损失函数更早地过渡到L1损失的形式，从而减少对大误差的惩罚。

torch.nn是专门为深度学习而设计的模块。torch.nn的核心数据结构是Module，它是一个抽象的概念，既可以表示神经网络中的某个层（layer），也可以表示一个包含很多层的神经网络。在实际使用中，最常见的做法是继承nn.Module，从而编写自己的网络/层。下面先来看看如何用nn.Module实现自己的全连接层。