mikasaaaaa的博客

第八章 集成学习个体与集成BoostingBagging 与随机森林个体与集成个体与集成集成学习通过构建并结合多个学习器来完成学习任务，也被称为多分类器系统。集成学习的一般结构：先学习一组个体学习器，再用某种策略将他们结合起来。若集成中只包含同种类型的个体学习器，则这样的集成是同质。同质集成中的个体学习器亦称为基学习器。相应的学习算法称为基学习算法。不同的称为异质，称为组件学习器。那么集成学习如何获得比最好的单一学习器更好的性能呢？集成学习器的结果通过投票法产生，少数服从多数。因此，要获得好的

第六章 支持向量机间隔与支持向量对偶问题间隔与支持向量间隔与支持向量间隔与支持向量分类学习最基本的想法就是基于训练集在样本空间中找到一个划分超平面，将不同类别的样本分开。但能将训练样本分开的划分超平面可能有很多，应该找哪一个呢？最直观的应该找正中间的超平面，它容忍度最高，鲁棒性最强。在样本空间中，划分超平面可以通过如下方程式来描述：其中，W为法向量，决定超平面的方向。b为位移项，决定了超平面与原点的距离。样本空间中任意点X到超平面的距离可写为：距离超平面最近的这几个训练样本使得(6.3)成

第三章 线性模型基本形式线性回归对数几率回归线性判别分析多分类学习类别不平衡问题基本形式线性模型试图学的一个通过属性的线性组合来进行预测的函数。若x1、x2…是一个样本的的属性取值，则：一般用向量形式写成：将参数W和b学的之后，模型就得以确定。线性模型形式简单，易于建模，有很好的可解释性。许多功能更为强大的非线性模型可在线性模型的基础上通过引进层级结构或高维映射而得。线性回归线性回归试图学得：如何确定w和b呢？关键在于衡量f(x)和y之间的差别。均方误差是回归任务中最常用的性能度量，我

神经网络BP神经网络过拟合全局最小与局部最小其他神经网络RBF网络 径向基函数网络ART网络 竞争型学习SOM网络 自组织映射网络级联相关网络Elman网络Boltzmann机深度学习BP神经网络过拟合BP 神经网络经常遭遇过拟合。其训练误差持续降低，但测试误差却可能上升。有两种策略常用来缓解BP网络的过拟合1、早停：若训练集误差降低但是验证集误差上升，则停止训练，返回具有最小验证集误差的连接权和阈值。2、正则化：其基本思想是再误差目标函数中增加一个用于描述网络复杂度的部分，例如连接权与阈值的平方和

模型评估与选择经验误差与过拟合评估方法留出法交叉验证法自助法调参性能度量错误率与精度查准率、查全率与F1ROC与AUC经验误差与过拟合训练误差：训练集上的误差泛化误差：新样本上的误差过拟合：将特殊性质当作普遍规律，以至于泛化能力下降欠拟合较好解决，在决策树扩展分支、神经网络增加训练轮数。但过拟合很麻烦，无法彻底避免，只能缓解。在机器学习从多种模型中选择一个时，叫做模型选择，理想方案是对泛化误差进行评估。评估方法以测试集上的测试误差近似泛化误差留出法直接将数据集分为两个互斥的集合，一个做为

第十六章 强化学习任务与奖赏K-摇臂赌博机e-贪心Softmax有模型学习策略评估策略改进策略迭代与值迭代免模型学习蒙特卡罗强化学习时序差分学习值函数近似模仿学习任务与奖赏种瓜有许多步骤，但在种瓜的过程中，某些操作并不能立即得到最终奖励，只能得到一个当前反馈（例如瓜苗看起来更健壮了），我们需要不断摸索，才能总结出较好的种瓜策略，这个过程就是强化学习。强化学习任务通常用马尔可夫决策过程 (Markov Decision Process，简称 MDP)来描述：机器处于环境E中，状态空间为X，其中每个状态

第一章 绪论机器学习的目标基本术语假设空间归纳偏好机器学习的目标机器学习致力于研究如何通过计算的手段，利用经验来玫善系统自身的性能。在计算机中，经验通常以数据形式存在，因此，机器学习研究的主要内容，是关于在计算机上从数据中产生“模型”的算法，即“学习算法”。基本术语假定我们收集了一批关于西瓜的数据，例如(色泽=青绿;根蒂=蜷缩;敲声=浊响)， (色泽=乌黑;根蒂:稍蜷;敲声=沉闷)， (色泽=浅自;根蒂 硬挺;敲声=清脆)，……，每对括号内是一条记录，“=”意思是"取值为"。这组记录的集合称为一个