模式识别与机器学习课程笔记（1）：数学基础

特征矢量和特征空间

• 特征量的类型：物理量、次序量、名义量
  • 物理量：直接反映特征的实际物理意义。如：长度、重量、速度等。处理前需要离散化。
  • 次序量：按某种规则确定的只反映特征的次序关系或等级。如：产品的等级、病症的级或期。已是离散量。
  • 名义量：反映样本的状态特征，非数值的。如：男性与女性、事物的状态、种类等。需要数值化。这些特征的数值指标既无数量含义，也无次序关系，只是用数字代表各种状态。
• n维特征矢量：$$\overrightarrow{x}=(x_1,x_2,\cdots ,x_n{)}^{\prime }$$
• n维特征空间： $\overrightarrow{x}$的全体构成的n维空间记为 $X^n$或$R^n$或 $\Omega$

随机矢量的描述

• 概率的频率观和贝叶斯观
  • 频率观：概率是可重复随机事件的频率（的极限值）。
  • 贝叶斯观（ Bayesian）：概率是对不确定性的定量描述。
• 概率论的两条基本规则
  加法规则和乘法规则：$$\begin{gathered} p(X)=\sum _{Y}p(X,Y) \\ p(X,Y)=p(Y|X)p(X) \end{gathered}$$
  链式法则：
  $$P(x^{(1)},\dots ,x^{(n)})=P(x^{(1)})\prod _{i=1}^{n}P(x^{(i)}\mid x^{(1)},\dots ,x^{(i-1)})$$

随机矢量的分布函数

随机矢量：$$\overrightarrow{X}=(X_1,X_2,\cdots ,X_n{)}^{\prime }$$
确定性矢量：$$\overrightarrow{x}=(x_1,x_2,\cdots ,x_n{)}^{\prime }$$
随机矢量的联合概率分布函数：
$$F(x_1,x_2,\dots ,x_n)=P(X_1\le x_1,X_2\le x_2,\dots ,X_n\le x_n)$$
随机矢量的联合概率分布函数：
$$p(x_1,x_2,\dots ,x_n)\stackrel{\Delta }{=}p(\overrightarrow{x})={\partial }^{n}F(x_1,x_2,\dots ,x_n)/\partial x_1\partial x_2\dots \partial x_n$$
类概率分布和类概率密度函数：
$$\begin{gathered} F(\overrightarrow{x}|{\omega }_i)=P(\overrightarrow{X}\le \overrightarrow{x}|{\omega }_i) \\ p(\overrightarrow{x}|{\omega }_i)={\partial }^{n}F(x_1,x_2,\cdots ,x_n|{\omega }_i)/\partial x_1\partial x_2\cdots \partial x_n \end{gathered}$$

随机矢量的数字特征

• 均值矢量：$$\overrightarrow{\mu }=E[\overrightarrow{X}]=\overrightarrow{\overline{X}}=\left[\begin{array}{c}E[X_1]\\ E[X_1]\\ \\ E[X_2]\end{array}\right]={\int }_{X^n}\overrightarrow{x}p(x)d\overrightarrow{x}$$
• 条件期望：
  $${\overrightarrow{\mu }}_{{}_{w_i}}=E\left[\overrightarrow{X}\mid {\omega }_i\right]={\int }_{\overrightarrow{x}\in {\omega }_i}\overrightarrow{x}p(\overrightarrow{x}\mid {\omega }_i)d\overrightarrow{x}$$
• 协方差矩阵
  $$\Sigma =E\left[(\overrightarrow{X}-\overrightarrow{\mu })(\overrightarrow{X}-\overrightarrow{\mu }{)}^{\prime }\right]={\int }_{X^n}(\overrightarrow{x}-\overrightarrow{\mu })(\overrightarrow{x}-\overrightarrow{\mu }{)}^{\prime }p(\overrightarrow{x})d\overrightarrow{x}=({\sigma }_{ij}^2{)}_{n\times n}$$
• 自相关矩阵:自相关矩阵定义为 $R=E[\mathbf{X}{\mathbf{X}}^{}$