w112348的博客

X1,⋯ ,Xn∼iidN(μ,σ2)X_1,\cdots,X_n \sim \text{iid} N(\mu,\sigma^2)X1​,⋯,Xn​∼iidN(μ,σ2)Xˉ∼N(μ,σ2n)\bar X \sim N(\mu, \dfrac{\sigma^2}{n})Xˉ∼N(μ,nσ2​)∑i=1n(Xi−Xˉ)2∼σ2χ2(n−1)\sum_{i=1}^n (X_i-\bar X)^2 \sim \sigma^2 \chi^2(n-1)∑i=1n​(Xi​−Xˉ)2∼σ2χ2(n−1)Xˉ\b

设a⃗=[a1,a2,⋯ ,an]⊤\vec a = [a_1,a_2,\cdots, a_n]^\topa=[a1​,a2​,⋯,an​]⊤X⃗=[X1,X2,⋯ ,Xn]⊤\vec X = [X_1,X_2,\cdots, X_n]^\topX=[X1​,X2​,⋯,Xn​]⊤b⃗=[b1,b2,⋯ ,bn]⊤\vec b = [b_1,b_2,\cdots, b_n]^\topb=[b1​,b2​,⋯,bn​]⊤Y⃗=[Y1,Y2,⋯ ,Yn]⊤\vec Y = [Y_1,Y_2,\cdots

问题：给定矩阵 AAA, 求解x0=arg min⁡x∥Ax∥\boldsymbol{x_0} = \argmin_\boldsymbol{x}\|A\boldsymbol{x}\|x0​=xargmin​∥Ax∥解：∥Ax∥2=∥UDV⊤x∥2=∥DV⊤x∥2=∥y∥=1y=V⊤x∥Dy∥2=(σ1y1+⋯+σryr)2≥σr2\begin{aligned}\|Ax\|^2 & = \|UDV^\top x\|^2 \\ & = \|DV^\top x\|^2 \\&a

背景：计算两个 ddd 次多项式不妨 nnn 为2的幂P(x)=p0+p1x+⋯+pn−1xn−1=(p0+p2x2+⋯ )+(p1x+p3x3+⋯ )=letPe(x2)+xPo(x2)\begin{aligned}P(x)& = p_0 + p_1x + \cdots + p_{n-1}x^{n-1} \\& = (p_0+p_2x^2 + \cdots) + (p_1x + p_3x^3+\cdots) \\& \xlongequal{let} P_e(x^2)

Prerequisite: Matrix Multiplication Sampling常规矩阵乘法的计算：设A∈Mm×n, B∈Mn×pA\in M_{m\times n}, \ B\in M_{n\times p}A∈Mm×n​, B∈Mn×p​AB=∑k=1nA(:,k)B(k,:)AB=\sum_{k=1}^n A(:,k)B(k,:)AB=k=1∑n​A(:,k)B(k,:)时间复杂度为O(n3)O(n^3)O(n3)，太慢了，我们希望通过随机取样的方法计算矩阵乘法

背景当AAA为满秩方阵时，方程Ax=bAx=bAx=b有解x=A−1bx=A^{-1}bx=A−1b当AAA不为满秩方阵时，方程无解，但是我们希望求得近似解x′=arg min⁡∥Ax−b∥=A+bx'=\argmin\|Ax-b\|=A^+bx′=argmin∥Ax−b∥=A+b，其中A+A^+A+为伪逆矩阵列满秩的情形当AAA为列满秩矩阵时，ATAA^TAATA可逆，AT(Ax−b)=0  ⟺  ATAx=ATbA^T(Ax-b)=0\iff A^TAx=A^TbAT(Ax−b)=0⟺ATAx=

基本等式Var(x)=E[(x−E(x))2]=E(x2)−E2(x)\mathrm{Var}(x)=E[(x-E(x))^2]=E(x^2)-E^2(x)Var(x)=E[(x−E(x))2]=E(x2)−E2(x)E(x+y)=E(x)+E(y)E(x+y)=E(x)+E(y)E(x+y)=E(x)+E(y)if xxx and yyy are independent, then:E(xy)=E(x)+E(y)E(xy)=E(x)+E(y)E(xy)=E(x)+E(y)Var(x+y)=Var

VC-dimension的定义机器学习中，我们希望引入一个量化指标，去衡量一个learner的最大表达能力，这就是VC-dimension直观定义不妨把多维数据想象为空间中的点，分类器learner想象为曲面。给定空间点的个数m，甲乙两人做对抗游戏：甲：选取m个点的位置乙：从中选取0~m个数据作为一类（换句话说，给这m个数据加0/1 label）甲：给出一种参数取值，使得learner能够正确分类乙需要尽可能地刁难甲如果甲能做到，说明这个learner能够轻松应对m个数据的某种分布的任

问题：给定列向量b⃗\vec{b}b，矩阵A\mathbf{A}A，b⃗\vec bb到AAA的列空间的投影是什么？设A=[a1⃗,a2⃗,⋯ ,an⃗]A=\begin{bmatrix}\vec{a_1}, \vec{a_2}, \cdots, \vec{a_n}\end{bmatrix}A=[a1​​,a2​​,⋯,an​​​]b⃗\vec bb到AAA的列空间投影一定是a1⃗,a2⃗,⋯ ,an⃗\vec{a_1}, \vec{a_2}, \cdots, \vec{a_n}a1​​,a