逗逗的博客

1、统计学习的三要素：模型，策略，算法 2、回归问题：输入变量与输出变量均为连续变量的预测问题。 分类问题：输出变量为有限个离散变量的预测问题。 标注问题：输入变量与输出变量均为变量序列的预测问题。 3、模型选择方法：正则化与交叉验证。 4、监督学习：指利用训练数据集学习一个模型，再用模型对测试样本集进行预测。即，从给定的有限的训练数据出发，假设数据是独立同分布的，而且假设模型属于某个假设

1、三个重要公式： （1）条件概率： P(A|B)=P(AB)P(B)P(A|B)=\frac{P(AB)}{P(B)} （2）全概率公式： P(A)=∑iP(A|Bi)P(Bi)P(A)=\sum_i P(A|B_i)P(B_i) （3）贝叶斯（Bayes）公式： P(Bi|A)=P(ABi)P(A)=联合概率全概率=P(A|Bi)P(Bi)∑jP(A|Bj)P(Bj)\begin{a

k-NN（k-nearest neighbor）（k近邻法）： 1、适用场景：可用于分类（可用于多分类）和回归。 以下讨论分类问题。 2、综述： 不具有显式的学习过程。 利用训练数据集对特征向量空间进行划分，并作为其分类的模型。 3、**K近邻法的三个基本要素：**k值的选择，距离度量，分类决策规则。 4、基本思想：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最近邻的

1 、 损失函数：度量模型一次预测的好坏。 风险函数：度量平均意义下模型预测的好坏。 期望风险函数（期望损失）：是模型关于联合分布的期望损失。 Rexp(f)=Ep[L(Y,f(X))]=⎰x×yL(y,f(x))P(x,y)dxdyR_{exp}(f)=E_p [L(Y,f(X))]= \lmoustache_{\mathcal {x}\times\mathcal {y}}L(y,f(x)