燃烧吧！我的小宇宙！

基本概念凸优化问题具有如下形式： minf0(x)subjecttofi(x)≤bi,i=1,...,mmin f_0(x) \\ subject to f_i(x) \le b_i,i=1,...,m其中，函数f0,...,fm:Rn→Rf_0,...,f_m:R^n \rightarrow R为凸函数，即对任意x,y∈Rn,α,β∈Rx,y \in R^n,\alpha,\beta\in R

当假设空间含有不同复杂度（如不同参数数量）的模型时，就要进行模型选择。如果过度追求在训练数据集上误差小的模型，那么选出来的模型在测试数据集上的误差就可能很大，此时模型过拟合了训练数据集，图1显示了训练误差和测试误差与模型复杂度之间的关系。所以模型选择时应特别注意防止过拟合，本文首先回顾了过拟合，之后介绍防止过拟合常用的方法。过拟合若训练得到的模型的复杂度超过真实模型的复杂度，就称发生了过拟合，反之为

本文主要介绍机器学习模型中超级参数(hyperparameter)的调优问题（下文简称为调参问题），主要的方法有手动调优、网格搜索、随机搜索以及基于贝叶斯的参数调优方法。因为模型通常由它的超级参数确定，所以从更高的角度看调参问题就转化为模型选择问题。手动调优需要较多专业背景知识。网格搜索先固定一个超参，然后对其他各个超参依次进行穷举搜索，超参集合为 H={h1,h2,...,hN}H=\{h_1,

理解结构风险最小化方法（基于VC维）模型选择方法（通过加入先验知识，即偏置，来达到增大模型泛化能力）可以从贝叶斯角度解释其常用方法常用方法参数惩罚如：L1,L2（实现参考）参数限制如：SVM中使用到的拉格朗日函数参数共享如：CNN中的权值共享，基于的事实是多个输入集和结果集之间服从的分布相似，所以可以用相同的权值。数据集中加入噪声其实增加了有效的数据量Early Stopping当验证集上的

术语对比 Machine Learning Statistics network, graphs model weights parameters learning fitting supervised learning regression/classification unsupervised learning density estimation,

从特征选择和随后的模型训练的关系上，主要分为三大类方法:过滤式、包裹式、嵌入式[1].1. 过滤式特征子集搜索与评价与模型训练过程不重合，将过滤得到的特征用于训练。其中搜索特征子集合的方法主要有：前向、后向、双向；模型评价一般基于信息熵理论。2. 包裹式通过机器学习算法本身对模型进行评价。比如，LVW(Las Vegas Wrapper)拉斯维加斯特征选择方法。3. 嵌入式基于L1、L2正则化的机器