机器学习中的数学基础 3

ML-KEM后量子密码学:从模块格原理到TLS集成实战 后量子密码学是应对量子计算威胁的新兴加密技术,其核心在于构建能够抵御量子攻击的数学难题。基于格密码学的密钥封装机制(KEM)通过模块格上的带误差学习问题实现安全性,即使未来量子计算机也难以破解。这种技术为长期数据保密和通信安全提供了基础保障,广泛应用于密钥交换、安全通信协议等领域。ML-KEM作为NIST标准化的后量子算法,采用模块格结构,在TLS 1.3等实际协议中可通过混合模式平滑集成,平衡安全性与性能。本文通过解析密钥生成、封装与解封装的核心机制,并结合开源实现中的恒定时间编程和侧信道防护,为工程实践 阅读详情

向量矩阵张量定义

  • 标量: x x x 表示只有长度
  • 向量: ( x 1 , x 2 , . . . , x n ) ∈ R n (x_1, x_2, ..., x_n) \isin \reals^n (x1​,x2​,...,xn​)∈Rn 表示 n n n 维空间的实数向量
    • 有些论文中下标为负数:
      • x − 1 = ( x 2 , x 3 , . . . , x n ) x_{-1} = (x_2, x_3, ..., x_n) x−1​=(x2​,x3​,...,xn​)
      • x − i = ( x 1 , . . . , x i − 1 , x i + 1 , . . . , x n ) x_{-i} = (x_1, ..., x_{i-1}, x_{i+1}, ..., x_n) x−i​=(x1​,...,xi−1​,xi+1​,...,xn​)
  • 矩阵: m m m 行 n n n 列

A i , j = ( a 11 a 12 . . . a 1 n a 21 a 12 . . . a 1 n . . . . . . . . . . . a m 1 a m 2 . . . a m n ) A_{i,j} = \begin{pmatrix} a_{11} & a_{12} & ... & a_{1n} \\ a_{21} & a_{12} & ... & a_{1n} \\ ... & ... & ... & .. \\ a_{m1} & a_{m2} & ... & a_{mn} \end{pmatrix} Ai,j​=⎝ ⎛​a11​a21​...am1​​a12​a12​...am2​​............​a1n​a1n​..amn​​⎠ ⎞​

  • 张量:行列式堆叠,比如股票信息增加一维时间序列,视频= r g b rgb rgb 通道+时间等
    • 其坐标在  n n n  维空间内,有 n r n^r nr 个分量的一种量,其中每个分量都是坐标的函数,而在坐标变换时,这些分量也依照某些规则作线性变换。 r r r 称为该张量的秩或阶(与矩阵的秩和阶均无关系)。
    • 在同构的意义下,第零阶张量( r = 0 r=0 r=0)为标量,第一阶张量( r = 1 r=1 r=1)为向量, 第二阶张量( r = 2 r=2 r=2)则成为矩阵。

A i , j , k , l , . . . . = . . . A_{i,j,k,l,....} = ... Ai,j,k,l,....​=...

向量和矩阵运算

加(减)法

m × n m\times n m×n 矩阵 A \mathbf{A} A和 B \mathbf {B} B 的和(差): A ± B {\displaystyle \mathbf {A} \pm \mathbf {B} } A±B为一个 m × n m\times n m×n矩阵,其中每个元素是 A \mathbf{A} A和 B \mathbf {B} B相应元素的和(差),

( A ± B ) i , j = A i , j ± B i , j {\displaystyle (\mathbf {A} \pm \mathbf {B} )_{i,j}=\mathbf {A} _{i,j}\pm \mathbf {B} _{i,j}} (A±B)i,j​=Ai,j​±Bi,j​

其中 1 ≤ i ≤ m , 1 ≤ j ≤ n {\displaystyle 1\leq i\leq m,1\leq j\leq n} 1≤i≤m,1≤j≤n

数乘

标量 c c c 与矩阵 A \mathbf{A} A 的数乘: c A {\displaystyle c\mathbf {A} } cA 的每个元素是 A \mathbf{A} A的相应元素与 c c c的乘积,

( c A ) i , j = c ⋅ A i , j {\displaystyle (c\mathbf {A} )_{i,j}=c\cdot \mathbf {A} _{i,j}} (cA)i,j​=c⋅Ai,j​

转置

m × n m\times n m×n 矩阵 A \mathbf{A} A 的转置是一个 n × m n\times m n×m 的矩阵,记为 A T {\displaystyle \mathbf {A} ^{\mathrm {T} }} AT (有些书中也记为 A t r 或 t A t A 、 A ′ A ′ {\displaystyle \mathbf {A} ^{\mathrm {tr} }}或{\displaystyle ^{\mathrm {t} }\mathbf {A} }{\displaystyle ^{\mathrm {t} }\mathbf {A} }、{\displaystyle \mathbf {A} '}{\displaystyle \mathbf {A} '} Atr或tAtA、A′A′),其中的第 i i i 个行向量是原矩阵 A \mathbf{A} A 的第 i i i 个列向量;或者说,转置矩阵 A T {\displaystyle \mathbf {A} ^{\mathrm {T} }} AT 第 i i i 行第 j j j 列的元素是原矩阵 A \mathbf{A} A 第 j j j 行第 i i i 列的元素,

( A T ) i , j = A j , i \displaystyle (\mathbf {A} ^{\mathrm {T} })_{i,j}=\mathbf {A} _{j,i} (AT)i,j​=Aj,i​

范数

矩阵范数(matrix norm)亦译矩阵模是数学中矩阵论、线性代数、泛函分析等领域中常见的基本概念,是将一定的矩阵空间建立为赋范向量空间时为矩阵装备的范数。应用中常将有限维赋范向量空间之间的映射以矩阵的形式表现,这时映射空间上装备的范数也可以通过矩阵范数的形式表达。

常见向量范数

  • 0范数,向量中非零元素的个数。

  • 1范数:即向量元素绝对值之和。

∣ ∣ x ∣ ∣ 1 = ∑ i = 1 N ∣ x i ∣ ||x||_1 = \sum_{i=1}^N|x_i| ∣∣x∣∣1​=i=1∑N​∣xi​∣

  • 2范数(Euclid范数,欧几里得范数):Euclid范数(欧几里得范数,常用计算向量长度),即向量元素绝对值的平方和再开方。

∣ ∣ x ∣ ∣ 2 = ∑ i = 1 N x i 2 ||x||_2 =\sqrt{\sum_{i=1}^Nx_i^2} ∣∣x∣∣2​=i=1∑N​xi2​ ​

  • ∞ \infty ∞ - 范数:即所有向量元素绝对值中的最大值

∣ ∣ x ∣ ∣ ∞ = max ⁡ i ∣ x i ∣ ||x||_\infty = \max_{i}|x_i| ∣∣x∣∣∞​=imax​∣xi​∣

  • − ∞ -\infty −∞ - 范数:即所有向量元素绝对值中的最小值

∣ ∣ x ∣ ∣ − ∞ = min ⁡ i ∣ x i ∣ ||x||_{-\infty}=\min_i|x_i| ∣∣x∣∣−∞​=imin​∣xi​∣

  • p p p - 范数:即向量元素绝对值的 p p p 次方和的 1 p \frac{1}{p} p1​ 次幂

∣ ∣ x ∣ ∣ p = ( ∑ i = 1 N ∣ x i ∣ p ) 1 p ||x||_p = (\sum_{i=1}^N|x_i|^p)^{\frac{1}{p}} ∣∣x∣∣p​=(i=1∑N​∣xi​∣p)p1​

参考:https://blog.youkuaiyun.com/SusanZhang1231/article/details/52127011

向量点积

点积(德語:Skalarprodukt;英語:Dot Product)又称数量积或标量积(德語:Skalarprodukt;英語:Scalar Product),是一种接受两个等长的数字序列(通常是坐标向量)、返回单个数字的代数运算。在欧几里得几何中,两个笛卡尔坐标向量的点积常称为内积(德語:inneres Produkt;英語:Inner Product),见内积空间。

代数定义

两个向量 a ⃗ = [ a 1 , a 2 , ⋯   , a n ] {\displaystyle {\vec {a}}=[a_{1},a_{2},\cdots ,a_{n}]} a =[a1​,a2​,⋯,an​] 和 b ⃗ = [ b 1 , b 2 , ⋯   , b n ] {\displaystyle {\vec {b}}=[b_{1},b_{2},\cdots ,b_{n}]} b =[b1​,b2​,⋯,bn​] 的点积定义为:

⟨ a ⃗ , b ⃗ ⟩ = a ⃗ ⋅ b ⃗ = a T b = ∑ i = 1 n a i b i = a 1 b 1 + a 2 b 2 + ⋯ + a n b n \braket{\vec{a}, \vec{b}} = \vec{a}\cdot \vec{b} = a^Tb = \sum_{i=1}^n a_ib_i = a_1b_1 + a_2b_2 + \cdots + a_nb_n ⟨a ,b ⟩=a ⋅b =aTb=i=1∑n​ai​bi​=a1​b1​+a2​b2​+⋯+an​bn​

几何定义

在欧几里得空间中,点积可以直观地定义为

a ⃗ ⋅ b ⃗ = ∣ a ⃗ ∣   ∣ b ⃗ ∣ cos ⁡ θ    \vec{a} \cdot \vec{b} = |\vec{a}| \, |\vec{b}| \cos \theta \; a ⋅b =∣a ∣∣b ∣cosθ

这里 ∣ x ⃗ ∣ |\vec{x}| ∣x ∣ 表示 x ⃗ \vec{x} x 的模(长度), θ \theta θ 表示两个向量之间的角度

两种定义的等价性

点积的两种定义中,只需给定一种定义,另外一种定义就可以推出。参考

矩阵相乘

矩阵相乘最重要的方法是一般矩阵乘积。它只有在第一个矩阵的列数(column,台湾作行数)和第二个矩阵的行数(row,台湾作列数)相同时才有定义。一般单指矩阵乘积时,指的便是一般矩阵乘积。若 A A A 为 m × n m\times n m×n 矩阵, B B B 为 n × p n\times p n×p 矩阵,则他们的乘积 A B AB AB (有时记做 A ⋅ B {\displaystyle A\cdot B} A⋅B)会是一个 m × p m\times p m×p 矩阵。其乘积矩阵的元素如下面式子得出:

( A B ) i j = ∑ r = 1 n a i r b r j = a i 1 b 1 j + a i 2 b 2 j + ⋯ + a i n b n j {\displaystyle (AB)_{ij}=\sum _{r=1}^{n}a_{ir}b_{rj}=a_{i1}b_{1j}+a_{i2}b_{2j}+\cdots +a_{in}b_{nj}} (AB)ij​=r=1∑n​air​brj​=ai1​b1j​+ai2​b2j​+⋯+ain​bnj​

向量表方法
一般矩阵乘积也可以想为是行向量和列向量的内积。若 A \mathbf{A} A 和 B \mathbf {B} B 为给定如下的矩阵:

A = [ a 1 , 1 a 1 , 2 a 1 , 3 … a 2 , 1 a 2 , 2 a 2 , 3 … a 3 , 1 a 3 , 2 a 3 , 3 … ⋮ ⋮ ⋮ ⋱ ] = [ A 1 A 2 A 3 ⋮ ] 且 B = [ b 1 , 1 b 1 , 2 b 1 , 3 … b 2 , 1 b 2 , 2 b 2 , 3 … b 3 , 1 b 3 , 2 b 3 , 3 … ⋮ ⋮ ⋮ ⋱ ] = [ B 1 B 2 B 3 … ] {\mathbf {A}}={\begin{bmatrix}a_{{1,1}}&a_{{1,2}}&a_{{1,3}}&\dots \\a_{{2,1}}&a_{{2,2}}&a_{{2,3}}&\dots \\a_{{3,1}}&a_{{3,2}}&a_{{3,3}}&\dots \\\vdots &\vdots &\vdots &\ddots \end{bmatrix}}={\begin{bmatrix}A_{1}\\A_{2}\\A_{3}\\\vdots \end{bmatrix}}且{\mathbf {B}}={\begin{bmatrix}b_{{1,1}}&b_{{1,2}}&b_{{1,3}}&\dots \\b_{{2,1}}&b_{{2,2}}&b_{{2,3}}&\dots \\b_{{3,1}}&b_{{3,2}}&b_{{3,3}}&\dots \\\vdots &\vdots &\vdots &\ddots \end{bmatrix}}={\begin{bmatrix}B_{1}&B_{2}&B_{3}&\dots \end{bmatrix}} A=⎣ ⎡​a1,1​a2,1​a3,1​⋮​a1,2​a2,2​a3,2​⋮​a1,3​a2,3​a3,3​⋮​………⋱​⎦ ⎤​=⎣ ⎡​A1​A2​A3​⋮​⎦ ⎤​且B=⎣ ⎡​b1,1​b2,1​b3,1​⋮​b1,2​b2,2​b3,2​⋮​b1,3​b2,3​b3,3​⋮​………⋱​⎦ ⎤​=[B1​​B2​​B3​​…​]

其中

A 1 A_{1} A1​ 是由所有 a 1 , x {\displaystyle a_{1,x}} a1,x​ 元素所组成的向量, A 2 A_{2} A2​ 是由所有 a 2 , x {\displaystyle a_{2,x}} a2,x​ 元素所组成的向量,以此类推。
B 1 B_{1} B1​ 是由所有 b x , 1 {\displaystyle b_{x,1}} bx,1​ 元素所组成的向量, B 2 B_{2} B2​ 是由所有 b x , 2 {\displaystyle b_{x,2}} bx,2​ 元素所组成的向量,以此类推。
则

A B = [ A 1 A 2 A 3 ⋮ ] × [ B 1 B 2 B 3 … ] = [ ( A 1 ⋅ B 1 ) ( A 1 ⋅ B 2 ) ( A 1 ⋅ B 3 ) … ( A 2 ⋅ B 1 ) ( A 2 ⋅ B 2 ) ( A 2 ⋅ B 3 ) … ( A 3 ⋅ B 1 ) ( A 3 ⋅ B 2 ) ( A 3 ⋅ B 3 ) … ⋮ ⋮ ⋮ ⋱ ] {\mathbf {AB}}={\begin{bmatrix}A_{1}\\A_{2}\\A_{3}\\\vdots \end{bmatrix}}\times {\begin{bmatrix}B_{1}&B_{2}&B_{3}&\dots \end{bmatrix}}={\begin{bmatrix}(A_{1}\cdot B_{1})&(A_{1}\cdot B_{2})&(A_{1}\cdot B_{3})&\dots \\(A_{2}\cdot B_{1})&(A_{2}\cdot B_{2})&(A_{2}\cdot B_{3})&\dots \\(A_{3}\cdot B_{1})&(A_{3}\cdot B_{2})&(A_{3}\cdot B_{3})&\dots \\\vdots &\vdots &\vdots &\ddots \end{bmatrix}} AB=⎣ ⎡​A1​A2​A3​⋮​⎦ ⎤​×[B1​​B2​​B3​​…​]=⎣ ⎡​(A1​⋅B1​)(A2​⋅B1​)(A3​⋅B1​)⋮​(A1​⋅B2​)(A2​⋅B2​)(A3​⋅B2​)⋮​(A1​⋅B3​)(A2​⋅B3​)(A3​⋅B3​)⋮​………⋱​⎦ ⎤​

其他形式矩阵乘积

阿达玛乘积

在数学中,阿达玛乘积 (英語:Hadamard product,又译哈达玛乘积),又名舒尔乘积(Schur product)[1]或逐项乘积(entrywise product),是一个二元运算,其输入为两个相同形状的矩阵,输出是具有同样形状的、各个位置的元素等于两个输入矩阵相同位置元素的乘积的矩阵。

若两个矩阵 A A A 和 B B B 具有相同的维度 m × n m\times n m×n,则它们的阿达玛乘积 A ∘ B {\displaystyle A\circ B} A∘B 是一个具有相同维度的矩阵,其元素值为:

( A ∘ B ) i j = ( A ) i j ( B ) i j . {\displaystyle (A\circ B)_{ij}=(A)_{ij}(B)_{ij}.} (A∘B)ij​=(A)ij​(B)ij​.

对于维度不相等的矩阵( m × n m × n m×n 矩阵和 p × q p × q p×q 矩阵,其中 m ≠ p m ≠ p m=p 或 n ≠ q n ≠ q n=q),阿达玛乘积没有定义。

克罗内克积

数学上,克罗内克积(英語:Kronecker product)是两个任意大小的矩阵间的运算,表示为 ⊗ ⊗ ⊗。简单地说,就是将前一个矩阵的每个元素乘上后一个完整的矩阵。克罗内克积是外积从向量到矩阵的推广,也是张量积在标准基下的矩阵表示。

如果 A A A 是一个 m × n m × n m×n 的矩阵,而 B B B 是一个 p × q p × q p×q 的矩阵,克罗内克积 A ⊗ B A\otimes B A⊗B 则是一个 m p × n q mp × nq mp×nq 的分块矩阵

A ⊗ B = [ a 11 B ⋯ a 1 n B ⋮ ⋱ ⋮ a m 1 B ⋯ a m n B ] . A\otimes B={\begin{bmatrix}a_{{11}}B&\cdots &a_{{1n}}B\\\vdots &\ddots &\vdots \\a_{{m1}}B&\cdots &a_{{mn}}B\end{bmatrix}}. A⊗B=⎣ ⎡​a11​B⋮am1​B​⋯⋱⋯​a1n​B⋮amn​B​⎦ ⎤​.

更具体地可表示为

A ⊗ B = [ a 11 b 11 a 11 b 12 ⋯ a 11 b 1 q ⋯ ⋯ a 1 n b 11 a 1 n b 12 ⋯ a 1 n b 1 q a 11 b 21 a 11 b 22 ⋯ a 11 b 2 q ⋯ ⋯ a 1 n b 21 a 1 n b 22 ⋯ a 1 n b 2 q ⋮ ⋮ ⋱ ⋮ ⋮ ⋮ ⋱ ⋮ a 11 b p 1 a 11 b p 2 ⋯ a 11 b p q ⋯ ⋯ a 1 n b p 1 a 1 n b p 2 ⋯ a 1 n b p q ⋮ ⋮ ⋮ ⋱ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋱ ⋮ ⋮ ⋮ a m 1 b 11 a m 1 b 12 ⋯ a m 1 b 1 q ⋯ ⋯ a m n b 11 a m n b 12 ⋯ a m n b 1 q a m 1 b 21 a m 1 b 22 ⋯ a m 1 b 2 q ⋯ ⋯ a m n b 21 a m n b 22 ⋯ a m n b 2 q ⋮ ⋮ ⋱ ⋮ ⋮ ⋮ ⋱ ⋮ a m 1 b p 1 a m 1 b p 2 ⋯ a m 1 b p q ⋯ ⋯ a m n b p 1 a m n b p 2 ⋯ a m n b p q ] . A\otimes B={\begin{bmatrix}a_{{11}}b_{{11}}&a_{{11}}b_{{12}}&\cdots &a_{{11}}b_{{1q}}&\cdots &\cdots &a_{{1n}}b_{{11}}&a_{{1n}}b_{{12}}&\cdots &a_{{1n}}b_{{1q}}\\a_{{11}}b_{{21}}&a_{{11}}b_{{22}}&\cdots &a_{{11}}b_{{2q}}&\cdots &\cdots &a_{{1n}}b_{{21}}&a_{{1n}}b_{{22}}&\cdots &a_{{1n}}b_{{2q}}\\\vdots &\vdots &\ddots &\vdots &&&\vdots &\vdots &\ddots &\vdots \\a_{{11}}b_{{p1}}&a_{{11}}b_{{p2}}&\cdots &a_{{11}}b_{{pq}}&\cdots &\cdots &a_{{1n}}b_{{p1}}&a_{{1n}}b_{{p2}}&\cdots &a_{{1n}}b_{{pq}}\\\vdots &\vdots &&\vdots &\ddots &&\vdots &\vdots &&\vdots \\\vdots &\vdots &&\vdots &&\ddots &\vdots &\vdots &&\vdots \\a_{{m1}}b_{{11}}&a_{{m1}}b_{{12}}&\cdots &a_{{m1}}b_{{1q}}&\cdots &\cdots &a_{{mn}}b_{{11}}&a_{{mn}}b_{{12}}&\cdots &a_{{mn}}b_{{1q}}\\a_{{m1}}b_{{21}}&a_{{m1}}b_{{22}}&\cdots &a_{{m1}}b_{{2q}}&\cdots &\cdots &a_{{mn}}b_{{21}}&a_{{mn}}b_{{22}}&\cdots &a_{{mn}}b_{{2q}}\\\vdots &\vdots &\ddots &\vdots &&&\vdots &\vdots &\ddots &\vdots \\a_{{m1}}b_{{p1}}&a_{{m1}}b_{{p2}}&\cdots &a_{{m1}}b_{{pq}}&\cdots &\cdots &a_{{mn}}b_{{p1}}&a_{{mn}}b_{{p2}}&\cdots &a_{{mn}}b_{{pq}}\end{bmatrix}}. A⊗B=⎣ ⎡​a11​b11​a11​b21​⋮a11​bp1​⋮⋮am1​b11​am1​b21​⋮am1​bp1​​a11​b12​a11​b22​⋮a11​bp2​⋮⋮am1​b12​am1​b22​⋮am1​bp2​​⋯⋯⋱⋯⋯⋯⋱⋯​a11​b1q​a11​b2q​⋮a11​bpq​⋮⋮am1​b1q​am1​b2q​⋮am1​bpq​​⋯⋯⋯⋱⋯⋯⋯​⋯⋯⋯⋱⋯⋯⋯​a1n​b11​a1n​b21​⋮a1n​bp1​⋮⋮amn​b11​amn​b21​⋮amn​bp1​​a1n​b12​a1n​b22​⋮a1n​bp2​⋮⋮amn​b12​amn​b22​⋮amn​bp2​​⋯⋯⋱⋯⋯⋯⋱⋯​a1n​b1q​a1n​b2q​⋮a1n​bpq​⋮⋮amn​b1q​amn​b2q​⋮amn​bpq​​⎦ ⎤​.

我们可以更紧凑地写为 ( A ⊗ B ) p ( r − 1 ) + v , q ( s − 1 ) + w = a r s b v w {\displaystyle (A\otimes B)_{p(r-1)+v,q(s-1)+w}=a_{rs}b_{vw}} (A⊗B)p(r−1)+v,q(s−1)+w​=ars​bvw​

张量运算

张量(英语:Tensor)是一个可用来表示在一些向量、标量和其他张量之间的线性关系的多线性函数。其坐标在  n n n 维空间内,有  n r n^r nr 个分量的一种量,其中每个分量都是坐标的函数,而在坐标变换时,这些分量也依照某些规则作线性变换。 r r r 称为该张量的秩或阶(与矩阵的秩和阶均无关系)。

在同构的意义下,第零阶张量( r = 0 r=0 r=0)为标量,第一阶张量( r = 1 r=1 r=1)为向量, 第二阶张量( r = 2 r=2 r=2)则成为矩阵。

张量积

在数学中,张量积,记为 ⊗ \otimes ⊗,可以应用于不同的上下文中如向量、矩阵、张量、向量空间、代数、拓扑向量空间和模。在各种情况下这个符号的意义是同样的:最一般的双线性运算。在某些上下文中也叫做外积。

有两个(或更多)张量积的分量的一般公式。例如,如果 U U U 和 V V V 是秩分别为 n n n 和 m m m 的两个协变张量,则它们的张量积的分量给出为

( V ⊗ U ) i 1 i 2 … i m + n = V i 1 i 2 i 3 … i n U i n + 1 i n + 2 … i n + m 。 (V\otimes U)_{i_1i_2\dots i_{m+n}} = V_{i_1i_2i_3\dots i_n}U_{i_{n+1}i_{n+2}\dots i_{n+m}}。 (V⊗U)i1​i2​…im+n​​=Vi1​i2​i3​…in​​Uin+1​in+2​…in+m​​。

所以两个张量的张量积的分量是每个张量的分量的普通积。

例子参考:https://zh.m.wikipedia.org/zh/%E5%BC%A0%E9%87%8F%E7%A7%AF
https://zhuanlan.zhihu.com/p/139105732
https://blog.youkuaiyun.com/qq_45777142/article/details/107223109
https://zhuanlan.zhihu.com/p/20783300

矩阵的逆与伪逆

逆矩阵

逆矩阵(inverse matrix),又称乘法反方阵、反矩阵。在线性代数中,给定一个n 阶方阵 A \mathbf{A} A,若存在一n 阶方阵 B \mathbf {B} B ,使得 A B = B A = I n \mathbf{AB}=\mathbf{BA}=\mathbf{I}_n AB=BA=In​,其中 I n \mathbf{I}_n In​ 为 n n n 阶单位矩阵,则称 A \mathbf{A} A 是可逆的,且 B \mathbf {B} B 是 A \mathbf{A} A 的逆矩阵,记作 A − 1 \mathbf {A} ^{-1} A−1。

只有方阵( n × n n×n n×n 的矩阵)才可能有逆矩阵。若方阵 A \mathbf{A} A 的逆矩阵存在,则称 A \mathbf{A} A 为非奇异方阵或可逆方阵。

秩 (线性代数)

在线性代数中,一个矩阵 A A A 的列秩是 A A A 的线性无关的纵列的极大数目。类似地,行秩是 A A A 的线性无关的横行的极大数目。矩阵的列秩和行秩总是相等的,因此它们可以简单地称作矩阵 A A A 的秩。通常表示为 r ( A ) {\displaystyle \mathrm {r} (A)} r(A) , r a n k ( A ) {\displaystyle \mathrm {rank} (A)} rank(A) 或 r k ( A ) {\displaystyle \mathrm {rk} (A)} rk(A)。

性质

m × n m × n m×n 矩阵的秩不大于 m m m 且不大于 n n n 的一个非负整数,表示為 r k ( A ) ≤ m i n ( m , n ) rk(A) ≤ min(m, n) rk(A)≤min(m,n)。有尽可能大的秩的矩阵被称为有满秩;类似的,否则矩阵是秩不足(或称为“欠秩”)的。

  • 只有零矩阵有秩0
  • A A A 的秩最大为 m i n ( m , n ) min(m,n) min(m,n)

定义参考:https://zh.wikipedia.org/wiki/%E7%A7%A9_(%E7%BA%BF%E6%80%A7%E4%BB%A3%E6%95%B0)

摩尔-彭若斯广义逆(伪逆)

摩尔-彭若斯广义逆(英語:Moore–Penrose pseudoinverse),通常標記為 A † A^\dagger A† 或 A + {\displaystyle A^{+}} A+,是著名的广义逆矩阵之一,也是该词的通常表達的意思。

彭若斯于1955年提出了定义广义逆矩阵的另外一组条件:

  1. A A † A = A {\displaystyle {\boldsymbol {AA^{\dagger}A}={\boldsymbol {A}}}} AA†A=A

  2. A † A A † = A † {\displaystyle {\boldsymbol {A^{\dagger}AA^{\dagger}}={\boldsymbol {A^\dagger}}}} A†AA†=A†

  3. ( A A † ) H = A A † {\displaystyle ({\boldsymbol {AA^{\dagger}}})^{\boldsymbol {H}}={\boldsymbol {AA^{\dagger}}}} (AA†)H=AA†

  4. ( A † A ) H = A † A {\displaystyle ({\boldsymbol {A^{\dagger}A})^{\boldsymbol {H}}={\boldsymbol {A^{\dagger}A}}}} (A†A)H=A†A

以上四个条件常称摩尔-彭若斯条件, A † A^{\dagger} A† 需要满足全部四个条件, A H A^H AH 是复数共轭转置。

行列式

行列式(Determinant)是数学中的一个函数,将一个 n × n n\times n n×n 的矩阵 A A A 映射到一个标量,记作 det ⁡ ( A ) \det(A) det(A) 或 ∣ A ∣ |A| ∣A∣。行列式可以看做是有向面积或体积的概念在一般的欧几里得空间中的推广。

矩阵 A A A 的行列式记作 det ⁡ ( A ) \det(A) det(A) 。行列式经常使用竖直线记法(例如:克莱姆法则和子式)。例如,对于一个矩阵:

A = [ a b c d e f g h i ] A={\begin{bmatrix}a & b & c\\ d & e & f\\g & h & i\end{bmatrix}} A=⎣ ⎡​adg​beh​cfi​⎦ ⎤​

det ⁡ ( A ) \det(A) det(A) 也记作 ∣ A ∣ |A| ∣A∣ ,或以细长的垂直线取代矩阵的方括号,明确的写为:

∣ A ∣ = ∣ a b c d e f g h i ∣ |A|={\begin{vmatrix}a & b & c\\d & e & f\\g & h & i\end{vmatrix}} ∣A∣=∣ ∣​adg​beh​cfi​∣ ∣​

当这个记法用于绝对值时,其作用对象为数,矩阵的绝对值是无定义的。矩阵范数通常以双垂直线来表示(如: ∣ ∣ ⋅ ∣ ∣ ||\cdot || ∣∣⋅∣∣),且可以使用下标。故不会与二者造成混淆。

n n n 阶矩阵具体求值参考,简化版例子:,

  • 2阶矩阵的行列式:

∣ a 1 , 1 a 1 , 2 a 2 , 1 a 2 , 2 ∣ = a 1 , 1 a 2 , 2 − a 1 , 2 a 2 , 1 [ 6 ] {\begin{vmatrix}a_{1,1}&a_{1,2}\\a_{2,1}&a_{2,2}\end{vmatrix}}=a_{1,1}a_{2,2}-a_{1,2}a_{2,1}[6] ∣ ∣​a1,1​a2,1​​a1,2​a2,2​​∣ ∣​=a1,1​a2,2​−a1,2​a2,1​[6]

  • 3阶矩阵的行列式,三阶矩阵的行列式为每条红线上的元素的乘积之和,减去蓝线上元素乘积之和。:

∣ a 1 , 1 a 1 , 2 a 1 , 3 a 2 , 1 a 2 , 2 a 2 , 3 a 3 , 1 a 3 , 2 a 3 , 3 ∣ = a 1 , 1 a 2 , 2 a 3 , 3 + a 1 , 2 a 2 , 3 a 3 , 1 + a 1 , 3 a 2 , 1 a 3 , 2 − a 1 , 3 a 2 , 2 a 3 , 1 − a 1 , 1 a 2 , 3 a 3 , 2 − a 1 , 2 a 2 , 1 a 3 , 3 [ 7 ] \displaystyle {\begin{vmatrix}a_{1,1}&a_{1,2}&a_{1,3}\\a_{2,1}&a_{2,2}&a_{2,3}\\a_{3,1}&a_{3,2}&a_{3,3}\end{vmatrix}}=a_{1,1}a_{2,2}a_{3,3}+a_{1,2}a_{2,3}a_{3,1}+a_{1,3}a_{2,1}a_{3,2}-a_{1,3}a_{2,2}a_{3,1}-a_{1,1}a_{2,3}a_{3,2}-a_{1,2}a_{2,1}a_{3,3}[7] ∣ ∣​a1,1​a2,1​a3,1​​a1,2​a2,2​a3,2​​a1,3​a2,3​a3,3​​∣ ∣​=a1,1​a2,2​a3,3​+a1,2​a2,3​a3,1​+a1,3​a2,1​a3,2​−a1,3​a2,2​a3,1​−a1,1​a2,3​a3,2​−a1,2​a2,1​a3,3​[7]

在这里插入图片描述

参考:
https://geek-docs.com/linear-algebra/determinants/determinant.html
https://zh.m.wikipedia.org/zh-hans/%E8%A1%8C%E5%88%97%E5%BC%8F

行列式性质

利用如下三个性质可以求行列式值。

线性性

  • 行列式中,某一行(列)有公因子 k k k,则可以提出 k k k。

D = ∣ a 11 a 12 … a 1 n ⋮ ⋮ … ⋮ k a i 1 k a i 2 … k a i n ⋮ ⋮ ⋱ ⋮ a n 1 a n 2 … a n n ∣ = k ∣ a 11 a 12 … a 1 n ⋮ ⋮ … ⋮ a i 1 a i 2 … a i n ⋮ ⋮ ⋱ ⋮ a n 1 a n 2 … a n n ∣ = k D 1 D = D={\begin{vmatrix} a_{11}&a_{12}&\dots &a_{1n}\\ \vdots &\vdots &\dots &\vdots \\ {\color {blue}k}a_{i1}&{\color {blue}k}a_{i2}&\dots &{\color {blue}k}a_{in}\\ \vdots &\vdots &\ddots &\vdots \\ a_{n1}&a_{n2}&\dots &a_{nn} \end{vmatrix}}= {\color {blue}k}{\begin{vmatrix}a_{11}&a_{12}&\dots &a_{1n}\\ \vdots &\vdots &\dots &\vdots \\ a_{i1}&a_{i2}&\dots &a_{in}\\ \vdots &\vdots &\ddots &\vdots \\ a_{n1}&a_{n2}&\dots &a_{nn} \end{vmatrix}}={\color {blue}k}D_{1}D= D=∣ ∣​a11​⋮kai1​⋮an1​​a12​⋮kai2​⋮an2​​………⋱…​a1n​⋮kain​⋮ann​​∣ ∣​=k∣ ∣​a11​⋮ai1​⋮an1​​a12​⋮ai2​⋮an2​​………⋱…​a1n​⋮ain​⋮ann​​∣ ∣​=kD1​D=

  • 在行列式中,某一行(列)的每个元素是两数之和,则此行列式可拆分为两个相加的行列式。
    行列式简介及性质

在这里插入图片描述

在这里插入图片描述

反对称性质

若 f ( a 1 , a 2 , . . . , a n ) = ∣ a 1 , a 2 , . . , a n ∣ f(a_1, a_2, ..., a_n) = |a_1, a_2, .., a_n| f(a1​,a2​,...,an​)=∣a1​,a2​,..,an​∣ 中, 向量 a i = a j a_i=a_j ai​=aj​ 且 i ≠ j i \neq j i=j,则 f ( a 1 , a 2 , . . . , a n ) = 0 f(a_1, a_2, ..., a_n) = 0 f(a1​,a2​,...,an​)=0

对于这种交换任何一对指标(操作数)就改变符号的性质,我们叫做:反对称(ANTISYMMETRIC)性。之所以要取不同行不同列元素的乘积,是因为如果有任意两个元素是同行(列)的,那么交换他们的列指标,乘积不变但符号要相反,这乘积必须是0,也就是在行列式的值中不予体现。

https://www.cnblogs.com/sddai/p/5928101.html

单位阵

在线性代数中, n n n 阶单位矩阵,是一个 n × n n\times n n×n 的方形矩阵,其主对角线元素为1,其余元素为0。单位矩阵以 I n I_n In​ 表示;如果阶数可忽略,或可由前后文确定的话,也可简记为 I I I (或者 E E E)。(在部分领域中,如量子力学,单位矩阵是以粗体字的1表示,否则无法与 I I I 作区别。

I 1 = [ 1 ] ,   I 2 = [ 1 0 0 1 ] ,   I 3 = [ 1 0 0 0 1 0 0 0 1 ] ,   ⋯   ,   I n = [ 1 0 ⋯ 0 0 1 ⋯ 0 ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ 1 ] I_{1}={\begin{bmatrix}1\end{bmatrix}},\ I_{2}={\begin{bmatrix}1&0\\0&1\end{bmatrix}},\ I_{3}={\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}},\ \cdots ,\ I_{n}={\begin{bmatrix}1&0&\cdots &0\\0&1&\cdots &0\\\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &1\end{bmatrix}} I1​=[1​], I2​=[10​01​], I3​=⎣ ⎡​100​010​001​⎦ ⎤​, ⋯, In​=⎣ ⎡​10⋮0​01⋮0​⋯⋯⋱⋯​00⋮1​⎦ ⎤​

线性方程组

用克莱姆法则解元线性方程组 A n × n X n × 1 = B n × 1 A_{n \times n}X_{n \times 1}=B_{n \times 1} An×n​Xn×1​=Bn×1​
克莱姆法则:一个含有 n n n 个未知量和 n n n 个方程的线性方程组,当系数行列式满足 $ |B| \neq 0$ 时,有且仅有一个解
其中 ∣ C i ∣ |C_i| ∣Ci​∣ 是将 A A A 的第 j j j 列换成常数项 b 1 , b 2 , . . . , b n b_1,b_2,...,b_n b1​,b2​,...,bn​,而其余列不变的行列式,即

x i = ∣ C i ∣ ∣ A ∣ = f ( a 1 , a 1 , . . . , B , . . . , a n ) f ( a 1 , a 2 , . . . , a i , . . . , a n ) x_i = \frac{|C_i|}{|A|} = \frac{f(a_1, a_1, ..., B, ... , a_n)}{f(a_1, a_2, ..., a_i, ...,a_n)} xi​=∣A∣∣Ci​∣​=f(a1​,a2​,...,ai​,...,an​)f(a1​,a1​,...,B,...,an​)​

二次型和正定性

二次型

二次型(quadratic form): n n n 个变量的二次多项式称为二次型,即在一个多项式中,未知数的个数为任意多个,但每一项的次数都为 2 2 2 的多项式。

二次型是n个变量上的二次齐次多项式。下面给出一个、两个、和三个变量的二次形式:

q ( x ) = a x 2 q ( x , y ) = a x 2 + b y 2 + c x y q ( x , y , z ) = a x 2 + b y 2 + c z 2 + d x y + e x z + f y z q(x)=ax^{2} \\ q(x,y)=ax^{2}+by^{2}+cxy \\ q(x,y,z)=ax^{2}+by^{2}+cz^{2}+dxy+exz+fyz \\ q(x)=ax2q(x,y)=ax2+by2+cxyq(x,y,z)=ax2+by2+cz2+dxy+exz+fyz

其中 a , . . . , f a, ..., f a,...,f 是系数。注意一般的二次函数和二次方程不是二次形式的例子,因为它们不总是齐次的。

合同矩阵

在线性代数,特别是二次型理论中,常常用到矩阵间的合同关系。两个矩阵 A A A 和 B B B 是合同的,如果有同数域上的可逆矩阵 P P P,使得

A = P T B P A=P^{{\mathrm {T}}}BP A=PTBP

正定矩阵

一个 n × n n\times n n×n 的实对称矩阵 M M M 是正定的,当且仅当对于所有的非零实系数向量 z {\displaystyle \mathbf {z} } z,都有 z T M z > 0 {\displaystyle \mathbf {z} ^{T}M\mathbf {z} >0} zTMz>0。

充要条件

一个实对称矩阵 A A A 正定 ⇔ \hArr ⇔ A A A 与 C C C 合同,即 $ \exists $ 可逆矩阵 C C C,使得 A = C T C A = C^T C A=CTC;

证明二次型 X T A X > = 0 X^TAX >= 0 XTAX>=0:

X T A X = ( C X ) T ( C X ) = y T y = ∑ y i 2 > = 0 X^TAX = (CX)^T(CX) = y^Ty = \sum y_i^2 >= 0 XTAX=(CX)T(CX)=yTy=∑yi2​>=0

更多参考:https://baike.baidu.com/item/%E6%AD%A3%E5%AE%9A%E7%9F%A9%E9%98%B5?fromModule=lemma_search-box

惯性定理

参考合同矩阵中 P P P,对于不同的 P P P 来说, B B B 的对角线上的正数和负数都是固定的,其正数的个数为正惯性,其负数的个数为负惯性。

https://blog.youkuaiyun.com/qwertyuiop0208/article/details/124749440

矩阵分解

科列斯基分解

对正定埃尔米特矩阵 A \mathbf{A} A 进行科列斯基分解,若 A A A 是正定的且对称的,即求矩阵 L \mathbf {L} L 使下式成立:

A = L L T {\displaystyle \mathbf {A} =\mathbf {LL} ^{\mathbf {T} }} A=LLT

其中, L \mathbf {L} L 是一个下三角矩阵且所有对角元素均为正实数。

矩阵求逆

若欲对埃尔米特矩阵直接求逆,可以通过科列斯基分解, 该方法即便要求逐步计算也非常有效率。:

A − 1 = L − 1 ( L T ) − 1 A^{-1} = L^{-1} (L^T)^{-1} A−1=L−1(LT)−1

更多应用:https://zh.wikipedia.org/zh-cn/%E7%A7%91%E5%88%97%E6%96%AF%E5%9F%BA%E5%88%86%E8%A7%A3

特征值和特征向量

在数学上,特别是线性代数中,对于一个给定的方阵 A A A,它的特征向量(eigenvector,也译固有向量、本征向量) v v v 经过这个线性变换之后,得到的新向量仍然与原来的 v v v 保持在同一条直线上,但其长度或方向也许会改变。即

A v = λ v {\displaystyle Av=\lambda v} Av=λv

λ \lambda λ 为标量,即特征向量的长度在该线性变换下缩放的比例,称 λ \lambda λ 为其特征值(eigenvalue,也译固有值、本征值)。

特征值分解

令 A A A 是一个 N × N N×N N×N 的方阵,且有 N N N 个线性独立的特征向量 q i ( i = 1 … N ) q_i (i = 1 \dots N) qi​(i=1…N) 。这样, A A A 可以被分解为

A = Q Λ Q − 1 A = Q Λ Q − 1 {\displaystyle \mathbf {A} =\mathbf {Q} \mathbf {\Lambda } \mathbf {Q} ^{-1}}\mathbf{A}=\mathbf{Q}\mathbf{\Lambda}\mathbf{Q}^{-1} A=QΛQ−1A=QΛQ−1

其中 Q Q Q 是:

  • N × N N×N N×N 方阵
  • 其第 i i i 列为 A A A 的 特征向量 q i q_i qi​。

其中 Λ Λ Λ 是:

  • 对角矩阵,其对角线上的元素为对应的特征值,也即 Λ i i = λ i \Lambda_{ii}=\lambda_i Λii​=λi​。

参考:https://zh.m.wikipedia.org/zh-hans/%E7%89%B9%E5%BE%81%E5%88%86%E8%A7%A3

对特殊矩阵的特征分解

一般我们会把 Q Q Q 的这 n n n 个特征向量标准化如下:

转化 q i q_i qi​ 为标准正交基 或者说 Q Q Q 为正交矩阵(如 对称矩阵),性质:

  • ∀ i ≠ j \forall i \neq j ∀i=j, q i ⋅ q j = 0 q_i \cdot q_j = 0 qi​⋅qj​=0
  • ∀ i \forall i ∀i, q i ⋅ q i = 1 q_i \cdot q_i = 1 qi​⋅qi​=1

那么:

A = Q Λ Q − 1 = Q Λ Q T = ∑ i = 1 n λ i q i q i T ≈ Λ 1 q i q i T + Λ 2 q i q i T + . . . \mathbf {A} =\mathbf {Q} \mathbf {\Lambda } \mathbf {Q} ^{-1} = \mathbf {Q} \mathbf {\Lambda } \mathbf {Q} ^{T} \\ = \sum_{i=1}^{n} \lambda_i q_i q_i^T \\ \approx \varLambda_1 q_i q_i^T + \varLambda_2 q_i q_i^T + ... A=QΛQ−1=QΛQT=i=1∑n​λi​qi​qiT​≈Λ1​qi​qiT​+Λ2​qi​qiT​+...

其中 Λ 1 , Λ 2 \varLambda_1, \varLambda_2 Λ1​,Λ2​ 等为较大的几个值。

应用

主要应用于主成分分析、矩阵压缩感知,可将一阶张量变为二阶张量

参考:
https://zh.m.wikipedia.org/zh-hans/%E7%89%B9%E5%BE%81%E5%88%86%E8%A7%A3#:~:text=%E7%BA%BF%E6%80%A7%E4%BB%A3%E6%95%B0%E4%B8%AD%EF%BC%8C%E7%89%B9%E5%BE%81%E5%88%86%E8%A7%A3,%E5%8F%AF%E4%BB%A5%E6%96%BD%E4%BB%A5%E7%89%B9%E5%BE%81%E5%88%86%E8%A7%A3%E3%80%82
https://zhuanlan.zhihu.com/p/31386807

奇异值分解(SVD)

SVD也是对矩阵进行分解,但是和特征值分解不同,SVD并不要求要分解的矩阵为方阵。
假设 M M M 是一个 m × n m×n m×n 阶矩阵,其中的元素全部属于域 K K K,也就是实数域或复数域。如此则存在一个分解使得

M = U Σ V ∗ 或者 U Σ V T M = U \Sigma V^* 或者 U \Sigma V^T M=UΣV∗或者UΣVT

其中:

  • U U U 是 m × m m×m m×m 阶酉矩阵(实数域正交阵)
  • Σ Σ Σ 是 m × n m×n m×n 阶非负实数对角矩阵
  • 而 V ∗ V* V∗ ( V T V^T VT),即 V V V的共轭转置(转置),是 n × n n×n n×n 阶酉矩阵(实数域正交阵)。

这样的分解就称作 M M M 的奇异值分解。
Σ Σ Σ 对角线上的元素 Σ i Σ_i Σi​, i i i 即为 M M M 的奇异值。

转化为特征值分解

转为方阵求代入特征值分解:

M M T = U Σ V T ( U Σ V T ) T = U Σ V T V Σ T U T = U Σ 2 U T MM^T = U \Sigma V^T(U \Sigma V^T)^T \\ = U \Sigma V^TV \Sigma^T U^T \\ = U \Sigma^2 U^T MMT=UΣVT(UΣVT)T=UΣVTVΣTUT=UΣ2UT

  • U U U 通过特征值分解求得; V V V 同理,可通过 M T M M^TM MTM求得
  • Σ \Sigma Σ 通过 M M T MM^T MMT 特征值 开根号 既对角阵 Λ \Lambda Λ
应用

应用于矩阵压缩、矩阵逼近。

参考:https://zh.m.wikipedia.org/zh-cn/%E5%A5%87%E5%BC%82%E5%80%BC%E5%88%86%E8%A7%A3
https://zhuanlan.zhihu.com/p/31386807

QR 分解

实数矩阵 A A A 的 $QR $分解是把 A A A 分解为

A = Q R {\displaystyle A=QR} A=QR

这里的 Q Q Q 是正交矩阵(意味着 Q T Q = I Q^TQ = I QTQ=I)而 R R R 是上三角矩阵。

A K = Q K R K A K + 1 = R K Q K = Q K + 1 K K + 1 A_K = Q_K R_K \\ A_{K+1} = R_K Q_K = Q_{K+1} K_{K+1} AK​=QK​RK​AK+1​=RK​QK​=QK+1​KK+1​

当 A K A_K AK​ 基本收敛到为上三角矩阵时,迭代完成,此时主对角元素就是特征值。

参考:https://blog.youkuaiyun.com/ZHT2016iot/article/details/115448138v

【AI】用iOS的ML(机器学习)创建自己的AI App 在机器学习中,一切都始于模型,这是进行预测或识别的系统。教计算机学习涉及使用训练数据的机器学习算法进行学习。从训练中生成的输出通常称为机器学习模型。有不同类型的机器学习模型来解决同一个问题(例如对象识别),但使用不同的算法。是其中一些机器学习算法。 阅读详情

相关推荐

机器学习数学基础

向量可以形象化地表示为带箭头的线段,箭头所指的方向代表向量的方向,线段的长度代表向量的大小。张量是一种泛化的多维数组概念,它可以是任何维度(秩)的,例如向量(矢量)是一阶张量,矩阵是二阶张量,高于二维的称为三阶张量、四阶张量等。总的来说,标量是最简单的数据形式,而向量、矩阵和更高维度的张量则是复杂度逐渐增加的多维数据结构,它们在现代科学和技术的许多领域中都扮演着重要角色。对于行列数相同的两个或多个向量,点积运算就是对这两个或多个向量对应位相乘后求和的操作,点积的结果是一个标量。

Java/Python大数据随笔 3474

【ML学习笔记】3:机器学习中的数学基础3(特征值,特征向量,认识SVD)

矩阵乘以向量的几何意义 实际上也就是 所以,它还可以写成 那么把原来的矩阵按照列视图来看,也就是 而[x]和[y]作为1x1的矩阵,在刚刚那个式子里可以看成一个标量,也就变成了 所以矩阵乘以一个列向量,可以看成把这个列向量的每一个分量当做一个权重,而把刚刚那个矩阵分成几个列向量,用这些权重去对这些分解出的列向量做一定的线性组合,然后得到了一个新的列向量。 而(x,y)也就

大桔骑士的学习笔记 1920

在 Azure ML 上用 .NET 跑机器学习

.NET ML 你在用了吗?

Kinfey 4440

机器学习中的数学基础-day3

向量矩阵张量及其运算;矩阵的逆与伪逆;行列式;线性方程;二次型与正定性;矩阵分解

qq_36896268的博客 551

【机器学习】机器学习的数学基础

hello大家好!这次不更数据结构了,把之前的机器学习的部分接着往下说,正好论文写完了,也算是把之前的学过的内容再整理、复习一遍。我整理的内容基本来源于一位麻省理工大学的教授,也有参考了一位悉尼大学的副教授。内容其实算是偏向基础,作为介绍了解的内容,如果要深入研究某个领域,大家还是自己去多查查资料吧,git上面就有不少项目供大家参考,资源非常丰富!按照教授授课的逻辑我接着往下写了这一篇博客,内容是关于机器学习的数学基础介绍。

yktssg的博客 1226

用 ML.NET 开发智能应用:让 .NET 程序员轻松掌握机器学习

ML.NET是一个由微软开发的开源跨平台机器学习框架,专为 .NET 开发者设计,允许他们在不离开 C# 或 F# 编程语言的情况下,进行机器学习建模和应用。通过 ML.NET,开发者无需学习 Python 或深度学习框架的复杂操作,就能在其现有的 .NET 应用中集成强大的机器学习功能。ML.NET 支持各种机器学习任务,包括分类、回归、聚类、推荐、异常检测、自然语言处理等。无论是开发企业级应用、Web 应用,还是桌面应用,ML.NET 都能为你的项目带来智能化提升。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 3872

机器学习中的数学基础 DAY 3

随机变量与概率分布 连续变量 随机变量 伯努利分布 泊松分布 正态分布 贝叶斯定理 贝叶斯定理(英语:Bayes’ theorem)是概率论中的一个定理,描述在已知一些条件下,某事件的发生概率。比如,如果已知某人妈妈得癌症与寿命有关,使用贝叶斯定理则可以通过得知某人年龄,来更加准确地计算出他妈妈罹患癌症的概率。 通常,事件A在事件B已发生的条件下发生的概率,与事件B在事件A已发生的条件下发生的概率是不一样的。然而,这两者是有确定的关系的,贝叶斯定理就是这种关系的陈述。贝叶斯公式的一个

weixin_44376037的博客 324

3、机器学习中的数学基础:线性代数、概率统计、信息论与优化

本文详细介绍了机器学习中的数学基础,涵盖线性代数、概率统计、信息论与优化方法的核心概念与应用。首先讲解了向量、矩阵及其运算、特征值分解和矩阵微积分等线性代数知识,接着介绍了概率和统计的基本理论,包括随机变量、分布、期望和联合分布等内容。随后,深入探讨了信息论中的熵、互信息和KL散度,以及数学优化中的最优性条件和数值优化方法。最后,通过线性回归模型的完整构建和优化流程,展示了这些数学知识在实际机器学习任务中的应用。

earth的博客 153

【机器学习中的数学基础】(3)——笔记

矩阵的逆:仅适用于方阵,前提是矩阵是非奇异的(行列式不为零)。矩阵的伪逆:适用于任意矩阵,包括方阵和非方阵,尤其在处理欠定或超定系统时非常有用。理解矩阵的逆和伪逆对于解决线性代数中的复杂问题非常重要,尤其在数据分析、信号处理和机器学习等领域。线性方程组是表示多个变量之间线性关系的方程组。常用的求解方法包括高斯消元法、矩阵方法、克拉默法则和最小二乘法。理解和解决线性方程组的问题对于许多科学和工程领域至关重要。二次型:一个关于向量的二次方程,由对称矩阵决定。正定性:描述矩阵是否对应一个开口向上的二次曲面。

g1997c的博客 1082

Unity中的机器学习ML-Agents

一:介绍 二:搭建环境 ——升级Python版本 因为mac自带的是python2.7.X的版本, 查看当前python版本:python -V ——搭建Python环境 安装Anconda:https://www.anaconda.com/products/individual

L的博客 8380

17、ML.NET与机器学习的数学基础

本文介绍了ML.NET框架在机器学习中的应用,包括模型测试和迁移学习的基本概念,以及机器学习背后的数学基础。内容涵盖统计学中的均值、众数、中位数、四分位数等集中趋势度量,以及偏差和方差的概念与实际意义。通过掌握这些知识,可以更好地理解机器学习模型的性能评估与优化方法,从而提高模型的泛化能力。文章旨在为.NET开发者和机器学习从业者提供理论与实践结合的参考。

Pepper的专栏 166

机器学习中的数学基础 Day3

​ 随机变量与概率分布 连续变量 随机变量 1伯努利分布 2泊松分布 3.正态分布 4.贝叶斯定理 贝叶斯定理(英语:Bayes’ theorem)是概率论中的一个定理,描述在已知一些条件下,某事件的发生概率。比如,如果已知某人妈妈得癌症与寿命有关,使用贝叶斯定理则可以通过得知某人年龄,来更加准确地计算出他妈妈罹患癌症的概率。 通常,事件A在事件B已发生的条件下发生的概率,与事件B在事件A已发生的条件下发生的概率是不一样的。然而,这两者是有确定的关系的,贝叶斯定理就是这种关系的陈述

weixin_43902376的博客 211

机器学习ML.NET

是用于 .NET 的跨平台开源机器学习 (ML) 框架。ML.NET 允许开发人员在其 .NET 应用程序中轻松构建、训练、部署和使用自定义模型,而无需开发机器学习模型的专业知识或使用 Python 或 R 等其他编程语言的经验。该框架提供从文件和数据库加载数据,支持数据转换,并包含许多 ML 算法。借助 ML.NET,您可以针对(如分类、预测和异常检测)训练模型。您还可以在 ML.NET 中使用 TensorFlow 和 ONNX 模型,这使得框架更具可扩展性,并扩展了支持的方案数量。

A_nanda的博客 5563

Java开发者速看:ML-KEM抗量子加密部署(仅剩最后窗口期)

掌握Java抗量子加密算法ML-KEM实现,助力系统抵御未来量子攻击。适用于金融、政务等高安全场景,基于NIST标准方案构建,提供高效密钥封装机制。部署简单、兼容性强,Java开发者速速行动,点击了解最后升级方案,值得收藏。

PixelWander的博客 1129

AI时代,程序员何去何从?别慌,看完这篇你就明白了

AI时代程序员的发展方向 摘要:随着AI代码助手的普及,程序员行业面临变革。本文通过实际案例展示AI写代码的能力与局限:AI能生成基础功能代码(如RESTful API、数据处理脚本),但缺乏业务理解、系统设计和复杂逻辑处理能力。程序员的核心价值在于需求分析、架构设计、性能优化等高层能力。未来程序员应: 掌握AI工具提升效率 专注于创新和架构设计 培养业务理解能力 持续学习新技术 AI不会取代程序员,但会淘汰不会使用AI的程序员。建议开发者拥抱AI工具,将其作为助手而非威胁,聚焦高价值工作。

yunque_xianguang的博客 909

2024年五大革新图像分割模型解析:架构创新与实战应用指南

本文深入解析2024年五大革新图像分割模型,包括SAM2、Mask2Former、DINOv2和Swin Transformer等,探讨其架构创新与实战应用。从多尺度处理、提示交互到自监督学习,这些模型在精度提升、效率优化和交互增强方面取得突破,广泛应用于医疗影像、工业质检和智慧城市等领域。

hadoop5ranger的博客 895

Qwen3-Embedding-4B惊艳案例:‘如何自学机器学习’匹配‘吴恩达课程强调数学基础与项目实践结合’

本文介绍了如何在星图GPU平台上自动化部署Qwen3-Embedding-4B(Semantic Search)镜像,实现智能语义搜索功能。该技术能理解查询意图而非简单匹配关键词,例如,当用户搜索“如何自学机器学习”时,系统可精准匹配到“吴恩达课程强调数学基础与项目实践结合”这类深层语义相关的优质答案,极大提升知识检索效率。

weixin_35749440的博客 249

APO的全面进化之路(2):走向IBP、建设端到端供应链计划体系

前一篇记录阐述了在供应链计划(Supply Chain Planning)领域里SAP的关键产品APO的不断进化之路,即部分产品从APO进化到S/4HANA,本篇将继续阐述进化之路上的另一大中坚产品力量SAP-IBP(Integrated Business Planning)。作为SAP数字化供应链(Digital Supply Chain)中供应链计划SCP的左膀右臂,S/4HANA与IBP共同完善了计划域的完整闭环。本篇作为收尾,在先谈对IBP产品的个人认知之前,特别是在当今这个IT产品迭代多、技术革新

ChampaignWolf的专栏 5234

数学之路(3)-机器学习(3)-数学基础

机器学习主要需要以下数学基础: 1、数学分析(高等数学) 2、高等代数(线性代数) 3、概率论与统计 相关数学基础的文档,可以打包下载: http://download.youkuaiyun.com/detail/u010255642/6036487 此外,如果需要更好掌握机器学习和人工智能,可以阅读以下3本书,巩固自己的数学知识,扫清机器学习之路的数学障碍 《数学指南:实用数学手册

麦好的AI乐园 1880

CATIA高效设计:自定义快捷键全攻略

本文详细介绍了如何在CATIA中自定义快捷键以提升设计效率。通过减少鼠标依赖、优化工作流程和减轻手腕疲劳,合理设置快捷键可显著提高建模速度。文章提供了从基础设置到高级配置的全流程指南,包括解决冲突、推荐方案及外设扩展建议,帮助用户快速掌握CATIA高效设计技巧。

weixin_42648844的博客 590

SillyTavern角色卡制作全攻略:如何用AI还原你喜欢的虚构角色(附三叶完整角色卡JSON)

本文详细介绍了如何使用SillyTavern制作高质量AI角色卡,以《你的名字》中的宫水三叶为例,从角色特征提取、对话风格捕捉到JSON结构优化,全面解析AI角色扮演的创作技巧。通过具体的写作示例和完整角色卡JSON,帮助二次元爱好者和同人创作者实现虚构角色的精准还原与生动互动。

pandas7gardener的博客 2147

Unity 机器学习(ML-Agents) 基础

Unity 机器学习 ML-Agents 基础Unity 官方示例下载ML-Agents 部分Python 下载AnacondaAnaconda 虚拟环境构建 ML-Agents安装 ML-Agents Python 包安装 ML-Agents 包ML-Agents 入门指南Unity Hub 部分虚拟环境 训练虚拟环境 训练运行:虚拟环境 开始训练:虚拟环境 观察训练进度:虚拟环境 停止训练虚拟环境 恢复训练虚拟环境 训练模型ML-Agents 打造新的学习环境ML-Agents 资产导入 Unity 官

Maddie_Mo的博客 1万+

【unity游戏开发入门到精通——UGUI】UI控件 —— Toggle开关切换控件

【unity游戏开发入门到精通——UGUI】UI控件 —— Toggle开关切换控件

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 1849

机器学习的数学基础 书籍与视频等

机器学习的数学基础 书籍与视频等

青少年趣味编程 1992

10.2 全栈 CRUD 工程结构搭建:Cursor 4 步初始化 + 3 层目录规范

揭示 Cursor 工程初始化中 4 个关键动作如何将 AI 上下文感知能力从 30% 提升至 85%,包括用 pnpm create 显式声明结构契约、通过 monorepo.config.json 设定 workspace 根以支持跨包类型引用、在 shared 包中固化共享类型与协议,以及后续

weixin_42545292的博客 69

【四足机器人项目实战】四足机器人弹簧倒立摆(SLIP)动力学模型

系列文章目录 提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加 TODO:写完再整理 文章目录系列文章目录前言1.动力学建模构型方法2.四足机器人动力学模型(1)多体动力学模型【针对躯干+脚建模】方法一:VMC(VirtualModelController)模型方法二:SLIP模型(2)浮基单体动力学模型【针对躯干建模】【用于MPC】 前言 认知有限,望大家多多包涵,有什么问题也希望能够与大家多交流,共同成长! 本文先对四足机器人动力学模型-VMC、SLIP和浮动机体模型做个简

qq_35635374的博客 7316
上一篇: 机器学习中的数学基础 2
下一篇: 机器学习中的数学基础 4
eddiechen10081
博客等级 码龄11年 1粉丝 24原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值