- 博客(618)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 人工智能之数学基础:矩阵分解之LU分解
LU分解是线性代数中一种重要的矩阵分解方法，它将一个方阵分解为一个下三角矩阵（L）和一个上三角矩阵（U）的乘积。这种分解方法在数值线性代数中有着广泛的应用，特别是在求解线性方程组、计算矩阵的行列式、求逆矩阵等方面。
2025-04-02 22:55:02
235
原创 人工智能之数学基础:基于吉文斯变换完成矩阵的QR分解
首先要求一个矩阵必须是非奇异的矩阵，这个是前提，只要它是非奇异矩阵，那么它就一定拥有有限个正交矩阵的乘积P，这个P可以将矩阵A变为可逆的上三角矩阵R，此时就PA=R，可以推出A=QR，其中Q为p的逆矩阵。
2025-04-02 22:53:15
122
原创 人工智能之数学基础:基于初等反射矩阵完成矩阵的QR分解
QR分解就是应用了初等反射矩阵，不断的通过初等反射矩阵，然后将A变成R，Q一定是正交矩阵（矩阵的逆等于矩阵的转置），然后求逆就可以得到A=QR了当矩阵R中对角元素都是正的时候，那么此时的分解是唯一的。
2025-04-01 23:38:14
186
原创 人工智能之数学基础:初等反射阵
I为单位矩阵，wwT为外积矩阵，系数2确保反射变换的性质。看完本文章，你应该是掌握了初等反射阵（豪斯霍尔德变换），它有很多性质，我们在计算机视觉中做变换的时候会经常使用到它，从本专栏的角度来说，我们讲解它是为之后的课程进行铺垫，在之后的课程中我们将学习一系列的矩阵分解的方法，其中就需要用到初等反射阵，所以我们这里对其进行详细的介绍。
2025-04-01 23:35:01
145
原创 人工智能之数学基础：幂法和反幂法求特征值和特征向量
按模最小的特征值就是最小特征值，按模最大的特征值就是最大特征值幂法和反幂法其实是一样的，反幂法要求矩阵是可逆的。幂法是计算最大特征值，而反幂法是计算最小特征值，幂法和反幂法都应用了迭代的思想。
2025-03-30 23:03:07
352
原创 人工智能之数学基础：实对称矩阵
在线性代数中，矩阵是研究线性变换和方程组的核心工具。实对称矩阵是重要的矩阵类型，它们在理论研究和工程应用中具有截然不同的特性。
2025-03-29 21:03:12
89
原创 人工智能之数学基础：矩阵的相似变换的本质是什么？
矩阵的相似变换是线性代数中一个至关重要的概念，它揭示了矩阵之间的一种特殊关系。并提供了通过可逆矩阵将一个矩阵转化为另一个矩阵的方法，，同时保持矩阵的某些本质特征不变。但是，你有没有想过，矩阵相似变换的本质是什么？
2025-03-29 21:01:35
261
原创 人工智能之数学基础：矩阵对角化的本质
前面的课程中，我们学习了矩阵的对角化，基于对角化可以将矩阵A转变为对角矩阵D，但是你有没有想过，为什么要进行矩阵对角化，矩阵对角化究竟做了一件什么事情呢？
2025-03-28 19:59:59
244
原创 人工智能之数学基础：矩阵的相似变换
如果有两个矩阵A,B，以及一个可逆矩阵P，它们满足下面的关系：那么可以称矩阵A，B相似，记为A~B。P被称为相似变换矩阵。其中，P的列向量是A的线性无关的特征向量，Λ的主对角线元素是A的特征值。
2025-03-28 19:58:31
317
原创 人工智能之数学基础:广义瑞利商在PCA算法中的应用
在机器学习和数据分析领域，主成分分析（Principal Component Analysis，PCA）是一种非常流行的降维技术。它通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，即主成分。PCA算法不仅能够有效减少数据的维度，还能尽量保留原始数据中的重要信息。在这一过程中，广义瑞利商扮演着重要角色。
2025-03-27 23:32:10
11
原创 大模型时代的开发者指南：一场思维范式与技术边界的双重革命
更令人振奋的是，书中首次系统揭示了混合专家系统（MoE）在大规模稀疏模型中的实践密码，这种将模型拆解为专家网络的创新架构，不仅突破了参数增长的硬件瓶颈，更为个性化模型适配提供了理论基石。当大模型的参数规模突破百万亿，当智能体的自主决策能力超越人类直觉，开发者们需要的不仅是技术手册，更是思维进化的导航图。书中提出的"模型即服务"(MaaS)架构，将大模型能力封装为可调用的服务单元，这种思维转变催生了某电商平台的智能营销中枢，通过动态组合不同模型能力，实现千人千面的营销策略。
2025-03-27 23:30:13
900
原创 人工智能之数学基础:瑞利商的推广形式——广义瑞利商
广义瑞利商是对瑞利商的推广，它引入了第二个Hermitian矩阵B。其中，A和B均为n×n的Hermitian矩阵，x为非零向量，且B为正定矩阵（即对任意非零向量y，有y^H B y > 0）。对向量x进行缩放，广义瑞利商不变。
2025-03-26 22:58:19
63
原创 每天五分钟深度学习框架PyTorch:梯度裁剪解决RNN梯度爆炸的问题
在循环神经网络训练的过程中，有时候很容易出现梯度爆炸的情况，如果出现这种问题，我们应该怎么办？本文先来分析一下为什么会出现这种情况，然后我们在给出解决方案。
2025-03-26 22:55:09
131
原创 每天五分钟深度学习框架PyTorch:获取循环神经网络RNN模型的参数
前面我们学习了RNN、LSTM、GRU的搭建，我们知道LSTM的参数维度是RNN的4倍，额案后GRU的参数的维度是RNN的3倍，本文我们看一下如何获取循环神经网络RNN模型的参数。
2025-03-24 23:19:23
377
原创 人工智能之数学基础：广义特征值和广义特征向量是什么？
在标准的特征值问题中，我们通常面对的是一个矩阵A和一个向量v，满足方程Av=λv，其中λ是特征值，v是对应的特征向量。然而，在广义特征值问题中，这一方程被扩展为Av=λBv，其中A和B是两个给定的方阵，v是广义特征向量，λ是广义特征值。这一扩展使得我们能够处理更为复杂的数学和应用问题。
2025-03-24 22:57:55
80
原创 人工智能之数学基础:特征值和特征向量
在线性代数中，我们经常使用到的一个概念就是特征值和特征向量，在机器学习中，尤其是图像领域，这个概念尤为的重要，一个矩阵可以对向量进行加工，从而将一个向量变成新的向量。有的时候，一个向量经过矩阵加工之后，新生成的向量与原来的向量共线（方向可能相反），那么这个向量叫做这个矩阵的特征向量。我们定义新向量的长度是原来向量长度的λ倍，那么这个λ我们可以称之为特征值，那么一个矩阵的特征值和特征向量就是这样的直观理解。本节课将从数学角度介绍什么是特征值以及什么是特征向量？
2025-03-24 22:56:47
393
原创 人工智能之数学基础:瑞利商与特征值的关系
瑞利商（Rayleigh Quotient）是线性代数中的一个重要概念，它定义为一个标量函数，形式为：其中，A 是一个 n×n 的Hermitian矩阵（在实数情况下，通常指的是实对称矩阵），x 是一个非零的 n 维向量。
2025-03-23 22:48:17
70
原创 人工智能之数学基础：矩阵条件数在线性方程组求解中的应用
在线性代数领域，矩阵的条件数（Condition Number）是一个至关重要的概念。矩阵条件数表示了矩阵计算对于误差的敏感性，本文介绍矩阵条件数在线性方程组求解中的应用。
2025-03-22 13:54:00
356
原创 人工智能之数学基础:通过迭代法解线性代数中的方程组
在线性代数中，方程组通常表示为 Ax=b，其中 A 是系数矩阵，x 是未知数列向量，b 是常数列向量。迭代法是求解这类方程组的一种数值方法，特别适用于大型稀疏矩阵或当直接求解（如使用高斯消元法）计算量过大的情况。
2025-03-22 13:52:03
330
原创 人工智能之数学基础：高斯消元法求解线性方程组
问题二：误差问题通过初等行变换这样方法来求线性方程组的解的问题容易出现误差问题，为什么会出现误差问题呢？我们先来看一下：这个计算结果是我们通过小时候学习的消元法来进行计算的，我们可以认为这是一个精确解，下面我们通过初等行变换的方式来对增广矩阵求解：具体就是将第一行乘以。
2025-03-21 21:57:37
157
原创 人工智能之数学基础：线性方程组求解的得力助手——增广矩阵
增广矩阵的概念源于线性方程组求解的需求。在解决线性方程组时，我们常常需要同时处理系数和常数项，而增广矩阵正是为了便捷地整合这些信息而设计的。定义：对于一个包含m个方程、n个未知数的线性方程组，我们可以将其系数矩阵A（一个m×n矩阵）与一个由常数项构成的列向量b（一个m维向量）结合起来，形成一个新的m×(n+1)矩阵，这个矩阵即为增广矩阵。具体来说，增广矩阵是将系数矩阵A的右侧增加一列b得到的，记作[A|b]。
2025-03-20 23:28:10
353
原创 每天五分钟玩转深度学习PyTorch:基于pytorch搭建LSTM和GRU模型
前面我们学习了使用pytorch搭建RNN，本文我们学习如何使用pytorch搭建LSTM和GRU模型，我们来看一下，它们两个和LSTM和GRU有什么不同。
2025-03-20 23:25:56
1459
原创 人工智能之数学基础:矩阵的降维
在现实世界中，我们经常会遇到高维数据。例如，图像数据通常具有很高的维度，每个像素点都可以看作是一个维度。高维数据不仅会带来计算和存储上的困难，还可能会导致 “维数灾难”，即随着维度的增加，数据的稀疏性和噪声也会增加，从而影响数据分析的效果。因此，我们需要一种方法来降低数据的维度，提取数据的关键特征，同时尽可能地保留数据的信息。
2025-03-19 23:05:31
402
原创 人工智能之数学基础:基变换和坐标变换的区别
基变换：定义：基变换是指向量在不同基底下表示的关系的数学描述。它涉及到从一个基底变换到另一个基底的过程。本质：基变换的本质是求解基变换矩阵P，通过右乘原基向量组得到新的基向量组。这个过程可以看作是在同一个向量空间内，由一组基向量变成另一组基向量的过程。坐标变换：定义：坐标变换描述的是在同一基底下的向量坐标之间的变换关系。即空间内一个点x，在一个基（坐标系）下的坐标，转换至另一个基（坐标系）后显示的坐标。本质：坐标变换的核心是通过基变换矩阵P的逆左乘原坐标，得到在新基底下的坐标表示。
2025-03-18 22:59:39
162
原创 每天五分钟深度学习框架pytorch:基于pytorch搭建循环神经网络RNN
我们前面介绍了循环神经网络RNN,主要分析了它的维度信息，其实它的维度信息是最重要的，一旦我们把维度弄清楚了，一起就很简单了，本文我们正式的来学习一下，如何使用pytorch搭建循环神经网络RNN。
2025-03-18 22:57:19
1515
原创 每天五分钟深度学习PyTorch：循环神经网络RNN的计算以及维度信息
然后此时wxh的维度为[30,100]，然后ht的维度为[3,30],然后whh的维度为[30,30],然后ht的维度为[3,30]这就是说明，我们构建RNN网络模型的时候，需要知道以下的几个维度seq_len,batch,feature_len,hidden，其中构建网络模型的时候，我们需要指定模型需要接收的每个词的feature_len，然后还有hidden_len。
2025-03-17 22:31:00
362
原创 人工智能之数学基础：从线性变换理解矩阵范数和矩阵行列式
我们已经学习了线性变换了，而且我们知道每一个线性变换都有一个矩阵，那么本文我们从线性变换的角度来理解矩阵范数和行列式。
2025-03-17 22:17:05
267
原创 人工智能之数学基础:线性变换之吉文斯变换
吉文斯变换（Givens transformation）亦称平面旋转变换，是数值代数的基本工具之一，它是一种正交变换。
2025-03-16 20:15:10
235
原创 人工智能之数学基础:线性变换之缩放变换
在前面的课程中，我们介绍了正交变换，本文我们学习另外一种线性变换，这就是集合中的缩放变换。缩放变换在机器视觉领域被广泛应用。
2025-03-16 20:13:26
441
原创 人工智能之数学基础：保持几何结构不变的线性变换——正交变换
正交变换（Orthogonal Transformation）是指一种线性变换，它使用正交矩阵表示，并满足以下两个关键特性：保持长度不变：变换后的向量的长度与变换前相同。这一性质源于正交矩阵的定义，即正交矩阵的转置等于其逆矩阵，从而保证了向量的模（长度）在变换过程中不会发生变化。保持角度不变：变换后的向量之间的角度与变换前相同。这一性质使得正交变换在几何变换中尤为重要，因为它能够保持空间中各点间的相对位置关系不变，包括夹角。
2025-03-15 20:07:05
161
原创 人工智能之数学基础：线性变换的象空间和零空间
前面的课程中，我们学习了线性变换，由此而引申出线性变换的象空间和零空间，这两个空间在机器学习领域会被经常用到，本文对此进行学习。
2025-03-14 21:02:50
194
1
原创 每天五分钟深度学习PyTorch：为什么需要循环神经网络RNN？
前面我们学习了卷积神经网络CNN,以及如何使用pytorch搭建卷积神经网络CNN,本文我们学习如何使用循环神经网络RNN。
2025-03-14 21:00:15
525
原创 人工智能之数学基础：线性变换
设V(F)与W(F)是两个线性空间，σ是由V(F)到W(F)的一个映射，且满足以下的条件σ(λX)=λσ(X),∀λ属于F，X∈V(F)则称映射σ为由线性空间V(F)到线性空间W(F)的线性映射，特别的，若还有W(F)⊂V(F)，则称线性映射σ为V(F)上的线性变换。
2025-03-13 23:31:06
216
原创 每天五分钟深度学习框架PyTorch:算法模型的保存和加载(CPU和GPU)
我们前面学习了模型的训练，比如线性回归，全连接神经网络，各种经典的卷积神经网络，模型训练完成之后，我们如何将训练的模型保存起来，然后方便之后的使用。pytorch已经封装好了相关的api，下面我们对此进行介绍。
2025-03-13 23:28:44
506
原创 神经网络完成训练的详细过程
神经网络的训练是一个复杂而系统的过程，涉及数据预处理、网络结构设计、损失函数定义、参数初始化、前向传播、计算损失、反向传播、参数更新、迭代训练等多个步骤。通过选择合适的优化算法和技巧，可以训练出性能优良的神经网络模型，为各种实际应用提供有力的支持。
2025-03-12 23:02:11
1443
1
原创 每天五分钟深度学习框架pytorch:常见神经网络层的维度信息总结
我们可以看到这个实例，当batch=1的时候，神经网络的输出维度为[1,10]，然后tag的维度为[1],这两个要计算损失。构建训练数据的时候，样本特征为[[样本1],[样本2],[样本3]],它的shape为[样本数，每个样本的特征数]样本特标签tag为[标签1，标签2，标签3...]，它的shape为[样本数][torch.tensor([[1,1]])]这样的shape=[1]torch.tensor([[1,1]])这样的shape=[1,1]卷积神经网络接收[batch,通道数，长，宽]
2025-03-12 23:00:33
512
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人