MXNet深度学习框架中的线性代数基础教程

原创于 2025-06-24 09:11:32 发布 · 399 阅读

CC 4.0 BY-SA版权

MXNet深度学习框架中的线性代数基础教程

mxnet-the-straight-dope An interactive book on deep learning. Much easy, so MXNet. Wow. [Straight Dope is growing up] ---> Much of this content has been incorporated into the new Dive into Deep Learning Book available at https://d2l.ai/. 项目地址: https://gitcode.com/gh_mirrors/mx/mxnet-the-straight-dope

前言

线性代数是深度学习的数学基础之一。本教程将介绍线性代数中的基本概念及其在MXNet框架中的实现方式，帮助读者快速掌握深度学习所需的线性代数知识。

标量(Scalars)

标量是最基本的数学概念，表示单个数值。在深度学习中，标量可以表示温度、权重等单一量值。

在MXNet中，我们可以使用NDArray来表示标量：

from mxnet import nd

# 创建两个标量
x = nd.array([3.0])
y = nd.array([2.0])

# 标量运算
print('x + y =', x + y)  # 加法
print('x * y =', x * y)  # 乘法
print('x / y =', x / y)  # 除法
print('x ** y =', nd.power(x,y))  # 幂运算

数学表示：

标量通常用小写字母表示：x, y, z
所有实数标量的集合记为R
表示x是标量：x ∈ R

向量(Vectors)

向量是一组有序的标量值，可以表示具有多个特征的数据点。

数学表示：

向量通常用粗体小写字母表示：u, v, w
n维向量空间记为Rⁿ

在MXNet中创建和使用向量：

u = nd.arange(4)  # 创建向量[0,1,2,3]
print('u =', u)
print('u的第4个元素:', u[3])  # 访问元素
print('向量长度:', len(u))  # 获取向量长度
print('向量形状:', u.shape)  # 获取形状

注意术语"维度"的两种用法：

向量的长度(元素数量)
数组的轴数(向量有1个轴)

矩阵(Matrices)

矩阵是二维数组，可以看作向量的扩展。

数学表示：

矩阵通常用大写字母表示：A, B, C
矩阵元素aᵢⱼ表示第i行第j列的元素

MXNet中的矩阵操作：

# 创建5x4的零矩阵
A = nd.zeros((5,4))
print(A)

# 通过reshape创建矩阵
x = nd.arange(20)
A = x.reshape((5, 4))
print(A)

# 访问矩阵元素
print('A[2,3] =', A[2,3])  # 获取单个元素
print('第2行:', A[2,:])  # 获取整行
print('第3列:', A[:,3])  # 获取整列

# 矩阵转置
print('A的转置:', A.T)

张量(Tensors)

张量是更一般的多维数组概念：

标量：0阶张量
向量：1阶张量
矩阵：2阶张量
更高维数组：n阶张量

在深度学习中，图像数据通常是3阶张量(高度×宽度×通道)：

# 创建3阶张量(2×3×4)
X = nd.arange(24).reshape((2, 3, 4))
print('X.shape =', X.shape)
print('X =', X)

逐元素运算

逐元素运算是对两个相同形状的张量中的对应元素进行运算：

u = nd.array([1, 2, 4, 8])
v = nd.ones_like(u) * 2

# 各种逐元素运算
print('u + v =', u + v)  # 加法
print('u - v =', u - v)  # 减法
print('u * v =', u * v)  # 乘法
print('u / v =', u / v)  # 除法

# 矩阵的逐元素运算
B = nd.ones_like(A) * 3
print('A + B =', A + B)
print('A * B =', A * B)