
机器学习理论
文章平均质量分 73
奋斗啊哈
每篇博文都有待完善,不足之处请各位多多指教!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
凸优化笔记
基本概念凸优化问题具有如下形式: minf0(x)subjecttofi(x)≤bi,i=1,...,mmin f_0(x) \\ subject to f_i(x) \le b_i,i=1,...,m其中,函数f0,...,fm:Rn→Rf_0,...,f_m:R^n \rightarrow R为凸函数,即对任意x,y∈Rn,α,β∈Rx,y \in R^n,\alpha,\beta\in R原创 2016-05-04 23:17:32 · 2251 阅读 · 1 评论 -
交叉验证
当假设空间含有不同复杂度(如不同参数数量)的模型时,就要进行模型选择。如果过度追求在训练数据集上误差小的模型,那么选出来的模型在测试数据集上的误差就可能很大,此时模型过拟合了训练数据集,图1显示了训练误差和测试误差与模型复杂度之间的关系。所以模型选择时应特别注意防止过拟合,本文首先回顾了过拟合,之后介绍防止过拟合常用的方法。过拟合若训练得到的模型的复杂度超过真实模型的复杂度,就称发生了过拟合,反之为原创 2016-05-09 10:54:45 · 2974 阅读 · 0 评论 -
机器学习调参-模型选择
本文主要介绍机器学习模型中超级参数(hyperparameter)的调优问题(下文简称为调参问题),主要的方法有手动调优、网格搜索、随机搜索以及基于贝叶斯的参数调优方法。因为模型通常由它的超级参数确定,所以从更高的角度看调参问题就转化为模型选择问题。手动调优需要较多专业背景知识。网格搜索先固定一个超参,然后对其他各个超参依次进行穷举搜索,超参集合为 H={h1,h2,...,hN}H=\{h_1,原创 2016-04-26 16:24:20 · 9207 阅读 · 0 评论 -
正则化
理解结构风险最小化方法(基于VC维)模型选择方法(通过加入先验知识,即偏置,来达到增大模型泛化能力)可以从贝叶斯角度解释其常用方法常用方法参数惩罚如:L1,L2(实现参考)参数限制如:SVM中使用到的拉格朗日函数参数共享如:CNN中的权值共享,基于的事实是多个输入集和结果集之间服从的分布相似,所以可以用相同的权值。数据集中加入噪声其实增加了有效的数据量Early Stopping当验证集上的原创 2016-06-02 16:12:25 · 867 阅读 · 0 评论 -
机器学习与统计学
术语对比 Machine Learning Statistics network, graphs model weights parameters learning fitting supervised learning regression/classification unsupervised learning density estimation,原创 2016-07-29 11:04:41 · 431 阅读 · 0 评论 -
特征选择
从特征选择和随后的模型训练的关系上,主要分为三大类方法:过滤式、包裹式、嵌入式[1].1. 过滤式特征子集搜索与评价与模型训练过程不重合,将过滤得到的特征用于训练。其中搜索特征子集合的方法主要有:前向、后向、双向;模型评价一般基于信息熵理论。2. 包裹式通过机器学习算法本身对模型进行评价。比如,LVW(Las Vegas Wrapper)拉斯维加斯特征选择方法。3. 嵌入式基于L1、L2正则化的机器原创 2016-09-04 11:46:35 · 1347 阅读 · 0 评论