u012678060的博客

一、最大熵原理理论基础：学习概率模型时，在所有可能的概率模型中，熵最大的模型是最好的模型。最大熵模型：在满足约束条件的模型集合中选取熵最大的模型。二、最大熵模型与逻辑斯蒂回归模型都是对数线性模型，模型学习就是在给定的训练数据条件下对模型进行极大似然估计或正则化的极大似然估计。是以似然函数为目标函数的最优化问题。似然函数的目标函数有很好的的性质，是光滑的凸函数，有多种方法可以找到...

一、支持向量机二类分类模型，定义在特征空间上间隔最大的线性分类器。二、线性可分支持向量机感知机利用误分类最小策略，求得分离超平面，这时的解有无穷多个。线性可分支持向量机利用间隔（几何间隔）最大化求最优分离超平面，解唯一。函数间隔：y(wx+b); 超平面关于某个点的函数间隔；超平面关于训练数据的函数间隔（所有点的最小值）。几何间隔：标准化的函数间隔三、线性支持向量机软间...

一、强可学习与弱可学习1.定义在PAC（概率近似正确）学习框架下，一个概念（一个类），如果存在一个多项式的学习算法能够学习，并且正确率很高，则为强可。反之，如果存在一个多项式学习算法能够学习，但正确率仅仅比随机猜测略好，则为弱可。2.定理在PAC学习框架下，一个概念是强可学习的充要条件是这个概念是弱可学习的。提升算法就是将一般的弱可学习模型构建组合而成强可学习模型。二、Ad...

一、问题描述Titanic问题（具体问题可查看Kaggle平台）根据已有数据预测每位乘客是否幸存。共包含12个字段（或特征）。二、看做分类问题处理解决方案1. 数据读入及预处理（pandas、scikit-learn） *pandas可以读入各种类型的数据，读入的数据为DataFrame类型的对象。首先需要选择要选取的特征维数据，如果有大量的特征维，需要只留下某几个重要的特...