夏鼎的博客

1.SVM是个非线性分类器，off-the-shelf，曾经一度让神经网络进入低谷期。 logistic回归、Naive Bayes是线性分类器，SVM、神经网络可以不是线性分类器。 2.SVM中的记号（Notation） 3.函数间隔和几何间隔（function margin VS geometric margin） 函数间隔γ上有帽子，几何间隔没有。几何间隔是样本到分隔超平面w...

1.SVM模型 ——基本模型是特征空间上的间隔最大的线性分类器，使用核技巧使它成为非线性分类器 ——SVM学习策略是间隔最大化，可形式化成一个求解凸二次规划的问题 ——SVM等价于正则化的合页损失函数（hinge loss）的最小化问题。 2.SVM由简至繁的模型 线性可分支持向量机（硬间隔支持向量机）——>线性支持向量机（软间隔支持向量机）——>非线性支持向量机（使用核技巧...

1.经验误差和泛化误差 以线性分类问题为例，其损失函数0-1损失。其中设计的模型是经验风险最小化（Empirical risk minimization） 2.两个引理 要证明一致性收敛（Uniform convergence）：即训练误差很小的话，那么对应的假设函数的泛化误差也很小 需要两个引理：一致限（union bound）和Hoeffding不等式 3.一致收敛（Unio...

1.ERM下的样本复杂度 如果假设函数h是由d个实数作为参数，那么样本复杂度的上届是参数个数的线性。但这是非正式的证明方法。 下面用VC维的l理论证明。 2.VC维（VC dimension） 分散（shatter）：如果假设函数h能实现在样本集S上的任意标记（label），则说h可以分散样本集S VC维（VC dimension）：假设函数能够分散的最大样本集合的大小。 在n维特...