知识趣记-数学基础

知识趣记-数学基础

张量（tensor）
​在某些情况下，我们会讨论坐标超过两维的数组。

向量的范数(norm)
​ 定义一个向量为：$\vec{a}=[-5,6,8,-10]$。任意一组向量设为$\vec{x}=(x_1,x_2,...,x_N)$。其不同范数求解如下：

• 向量的1范数：向量的各个元素的绝对值之和，上述向量$\vec{a}$的1范数结果就是：29。
  $$\Vert \vec{x}{\Vert }_1=\sum _{i=1}^N|x_i|$$

向量的2范数：向量的每个元素的平方和再开平方根，上述$\vec{a}$的2范数结果就是：15。
$$\Vert \vec{x}{\Vert }_2=\sqrt{\sum _{i=1}^N{|x_i|}^2}$$

向量的负无穷范数：向量的所有元素的绝对值中最小的：上述向量$\vec{a}$的负无穷范数结果就是：5。
$$\Vert \vec{x}{\Vert }_{-\infty }=\min |x_i|$$

• 向量的正无穷范数：向量的所有元素的绝对值中最大的：上述向量$\vec{a}$的正无穷范数结果就是：10。
  $$\Vert \vec{x}{\Vert }_{+\infty }=\max |x_i|$$

• 向量的p范数：
  $$L_p=\Vert \vec{x}{\Vert }_p=\sqrt[p]{\sum _{i=1}^N|x_i{|}^p}$$

导数定义:
导数(derivative)代表了在自变量变化趋于无穷小的时候，函数值的变化与自变量的变化的比值。几何意义是这个点的切线。物理意义是该时刻的（瞬时）变化率。

偏导数:
直观地说，偏导数也就是函数在某一点上沿坐标轴正方向的的变化率。
求偏导时要注意，对一个变量求导，则视另一个变量为常数，只对改变量求导，从而将偏导的求解转化成了一元函数的求导。

条件概率公式如下：
$$P(A|B)=P(A\cap B)/P(B)$$
​举例：一对夫妻有两个小孩，已知其中一个是女孩，则另一个是女孩子的概率是多少？（面试、笔试都碰到过）
​穷举法：已知其中一个是女孩，那么样本空间为男女，女女，女男，则另外一个仍然是女生的概率就是1/3。
​条件概率法：$P(女|女)=P(女女)/P(女)$,夫妻有两个小孩，那么它的样本空间为女女，男女，女男，男男，则$P(女女)$为1/4，$P（女）=1-P(男男)=3/4$,所以最后$1/3$。
这里大家可能会误解，男女和女男是同一种情况，但实际上类似姐弟和兄妹是不同情况。

独立性
$$P(X,Y|Z)\ne P(X|Z)P(Y|Z)$$
事件独立时，联合概率等于概率的乘积。这是一个非常好的数学性质，然而不幸的是，无条件的独立是十分稀少的，因为大部分情况下，事件之间都是互相影响的。

伯努利分布
进行一次伯努利试验，成功(X=1)概率为p(0<=p<=1)，失败(X=0)概率为1-p，则称随机变量X服从伯努利分布。伯努利分布是离散型概率分布，其概率质量函数为：

高斯分布
高斯也叫正态分布(Normal Distribution), 概率度函数如下:
$$N(x;\mu ,{\sigma }^2)=\sqrt{\frac{1}{2\pi {\sigma }^2}}exp\left(-\frac{1}{2{\sigma }^2}(x-\mu {)}^2\right)$$
其中, $\mu$和$\sigma$分别是均值和标准差, 中心峰值x坐标由$\mu$给出, 峰的宽度受$\sigma$控制, 最大点在$x=\mu$处取得, 拐点为$x=\mu \pm \sigma$
此外, 令$\mu =0,\sigma =1$高斯分布即简化为标准正态分布:
$$N(x;\mu ,{\sigma }^2)=\sqrt{\frac{1}{2\pi }}exp\left(-\frac{1}{2}{x}^2\right)$$
对概率密度函数高效求值:
$$N(x;\mu ,{\beta }^{-1})=\sqrt{\frac{\beta }{2\pi }}exp\left(-\frac{1}{2}\beta (x-\mu {)}^2\right)$$