ljinshuan的专栏

定义 统计学习==统计机器学习 方法分类 监督学习 无监督学习 半监督学习 强化学习 三要素 模型 策略 算法 步骤 得到一个有限的训练数据集合;(原始数据) 确定假设空间,即学习模型的集合;(是分类问题,还是回归问题) 确定模型选择的准则,即学习的策略;(选择什么样的分类器呢?) 实现求解最优模型的算法,即学习的算法;(分类器的参数怎么求?) 通过学习方法选择最优模型;(各种模型,哪个是最优的?)

定义 求与向量xx距离最近的kk个向量,将多数向量的类别作为xx的类别; 分类,回归;三要素 距离度量 kk值的选择 分类决策规则 距离度量 LpL_p距离 Minkowski距离 欧氏距离; LpL_p定义Lp(xi,xj)=(∑l=1n∣∣x(l)i−x(l)j∣∣p)1pL_p(x_i,x_j)=(\sum_{l=1}^n {\left | x_i^{(l)} - x_j^{(l)} \rig

定义 求与向量xx距离最近的kk个向量,将多数向量的类别作为xx的类别; 分类,回归;三要素 距离度量 kk值的选择 分类决策规则 距离度量 LpL_p距离 Minkowski距离 欧氏距离; LpL_p定义Lp(xi,xj)=(∑l=1n∣∣x(l)i−x(l)j∣∣p)1pL_p(x_i,x_j)=(\sum_{l=1}^n {\left | x_i^{(l)} - x_j^{(l)} \rig

前置知识超平面 数学中超平面是n维欧氏空间中余维度等于一的线性子空间。这是平面中的直线、空间中的平面之推广.二维中的直线,三维中的平面; w∗x+b∗=0w^*x+b^*=0线性可分 存在一个超平面,能够将特征空间分在超平面的两侧;则成为线性可分; 函数间隔与几何间隔 函数间隔:用y(wx+b)y(wx+b)来表示分类的正确性和确信度; 值越大,确信度越高; 如果同时改变ww和bb可增大函数间隔,因