NelsonCheung的博客

动机 许多类型的数据维度比较大，导致了计算时间复杂度高。 许多高维数据常常聚集在一个低维空间中，例如三维平面的点位于同一个平面上。 我们希望找到数据的一些主方向，而主方向的数量是远远小于数据的维度的。使用这些主方向就可以近似地表示原始数据，从而能够达到降维的目的。这种分析方法被称为主成分分析方法(Principal components analysis)。 最小近似误差 假设我们找到一组在高维空间中的向量集{u1,u2,⋯ ,uM}\{u_1,u_2,\cdots,u_M\}{u1​,u2​,⋯,uM

∂a∂x=0 \frac{\partial a}{\partial \boldsymbol x}=0\\ ∂x∂a​=0 ∂x∂x=I \frac{\partial \boldsymbol x}{\partial \boldsymbol x}=I\\ ∂x∂x​=I ∂Ax∂x=AT \frac{\partial A\boldsymbol x}{\partial \boldsymbol x}=A^T ∂x∂Ax​=AT ∂xTA∂x=A \frac{\partial \boldsymbol x^TA}{\p

二分类问题 Sigmoid/logistic函数： σ(z)=11+e−z \sigma(z)=\frac{1}{1+e^{-z}} σ(z)=1+e−z1​ 通过sigmoid函数，我们可以将线性回归的值域从[−∞,+∞][-\infty,+\infty][−∞,+∞]变换到[0,1][0,1][0,1]，使得我们可以用0,10,10,1来表示类别。 此时，Logistic回归如下。 Logistic regression： f(x)=σ(xw) f({\bf x})=\sigma({\bf xw}) f

Linear Regression 回归 回归是基于给定的特征值，预测目标变量值的过程。数学上，回归旨在构建一个函数fff来建立输入数据x=(x1,x2,⋯ ,xm)x={(x_1,x_2,\cdots,x_m)}x=(x1​,x2​,⋯,xm​)和监督值yyy的联系。此后，我们便可以使用fff来预测xxx对应的监督值y^\hat{y}y^​，即 y^=f(x) \hat{y}=f(x) y^​=f(x) 线性回归 函数fff的形式是线性的，即fff具有如下形式 f(x)=f(x1,x2,⋯ ,xm)=w0

一 事件与概率 概率空间 样本点：在试验中每一个可能出现的结果ω\omegaω称为样本点。 样本空间：所有样本点的集合Ω\OmegaΩ称为样本空间。 事件：样本点的集合。 频率：重复进行nnn次试验，事件A在这nnn次试验中发生了mmm次，则称f(A)=mnf(A)=\frac{m}{n}f(A)=nm​为在这nnn次试验中A出现的频率。 概率的频率解释：设在相同的条件下重复地进行试验，则随着试验次数地不断增大，事件A的频率在某一确定值附近趋于稳定，这一确定的值称为事件A的概率，记为P(A)P(A)P(A)