abclaolao的博客

集成化处理集成学习架构图在统计学习中，集成学习（ensemble learning）是将多个基学习器（base learners）进行集成，以得到比每个单独基学习器更优预测性能的方法。每个用于集成的基学习器都是弱学习器（weak learner），其性能可以只比随机猜测稍微好一点点。集成学习的作用就是将这多个弱学习器提升成一个强学习器（strong learner），达到任意小的错误率。Boosting在设计算法之前，集成学习先要解决的一个理论问题是集成方法到底有没有提升的效果。在计算学习的

ResNet意义在深层网络能够收敛的前提下，随着网络深度的增加，正确率开始饱和甚至下降，称之为网络的退化(degradation)问题。而网络退化的根本原因是优化问题。 因此为了解决优化的难题，提出了残差网络ResNet。其中ResNet提出了两种mapping：一是identity mapping，指的就是图中”弯曲线”，另一种residual mapping，指的就是除了”弯曲线“那部分，所以最后的输出是identity mapping顾名思义，就是指本身，也就是公式中的xx，而residual

GAN简介生成对抗网络（Generative adversarial networks）是深度学习领域的一个重要生成模型，即两个网络（生成模型和鉴别模型）在同一时间训练并且在极小化极大算法（minimax）中进行竞争。注：1.生成模型从本质上是一种极大似然估计，用于产生指定分布数据的模型，生成模型的作用是捕捉样本数据的分布、将原输入信息的分布情况经过极大似然估计中参数的转化来将训练偏向转换为指定分布的样本。2.判别模型实际上是个二分类，会对生成模型生成的图像等数据进行判断，判断其是否是真实的训练数据

贝叶斯学习笔记摘要贝叶斯定理基本了解贝叶斯学派定义：概率表示的是客观上事件的可信程度（degree of belief），也可以说成是主观上主体对事件的信任程度，它是建立在对事件的已有知识基础上的。举个例子来说，当一个球迷提出“明天湖人队战胜骑士队的概率是 80%”的时候，可以理解成他对湖人获胜有 80% 的把握程度，贝叶斯概率正是来源于对赌博的分析。除了对概率的置信度解释之外，贝叶斯学派中的另一个核心内容是贝叶斯定理（Bayes’ theorem），用来解决“逆向概率问题”（inverse pro

VGGNet突出贡献在于证明使用很小的3*3卷积，增加网络深度可以有效提升模型效果，而且对其他数据集具有很好的泛化能力。因此VGGNet经常被用来提取图像特征。VGGNet探索了CNN的深度及其性能之间的关系，笔者推荐像笔者一样的新手朋友们可以观看B站的李宏毅讲解卷积神经网络（带字幕）进行学习，这个老师讲的很通俗易懂！下面进入正题：VGGNET的特点1、VGGNET全部使用3x3的卷积核和2x2的池化核，不断加深网络深度以此提升性能。作者认为，两个3x3卷积层的串联相当于1个5x5的卷积层，3个3

机器学习支持向量机笔记摘要：支持向量机是基于线性判别式几何意义的分类算法间隔（margin）是支持向量机的核心概念之一，它是对支持向量到分离超平面的距离度量，可以进一步表示分类的正确性和可信程度。根据归一化与否的区别，间隔还可以分成几何间隔（geometric margin）和函数间隔（functional margin）。支持向量机通过间隔最大化来定义最优的决策边界当数据线性可分时，分离超平面有千千万，但几何间隔最大的只有一个。支持向量机的基本思想就是找出能够正确划分数据集并且具有最大几何间隔的分

机器学习正则化笔记概要正则化（regularization）是用于抑制过拟合的方法的统称，它通过动态调整估计参数的取值来降低模型的复杂度，以偏差的增加为代价来换取方差的下降。在线性回归里，最常见的正则化方式就是在损失函数（loss function）中添加正则化项（regularizer），而添加的正则化项 R(λ) 往往是待估计参数的 p- 范数。将均方误差和参数的范数之和作为一个整体来进行约束优化，相当于额外添加了一重关于参数的限制条件，避免大量参数同时出现较大的取值。由于正则化的作用通常是让参数估

机器学习特征处理笔记概要在特征工程之前，数据的特征需要经过哪些必要的预处理（preprocessing）?其中最广为人知的预处理技巧可能就是特征缩放（feature scaling），它的目的是保证所有的特征数值具有相同的数量级。在有些情况下，数据中的某些特征会具有不同的尺度，比如在电商上买衣服时，身高和体重就是不同尺度的特征。举个简单例子来说：假设我的身高 / 体重是 1.85 米 /64 公斤，而买了同款衣服的两个朋友，1.75 米 /80 公斤的穿 L 号合适，1.58 米 /52 公斤的穿

机器学习模型的验证方法笔记概要模型本身及其背后学习方法的泛化性能（generalization performance），也就是模型对未知数据的预测能力，是机器学习的核心问题。可在一个问题的学习中，往往会出现不同的模型在训练集上具有类似的性能，这时就需要利用模型验证来从这些备选中做出选择。简单来说模型验证的任务就是确定模型的复杂度以避免过拟合的发生。原则上说，模型验证应该使用专门的验证数据集。可是当数据集的容量较小，不足以划分成三个部分时，验证集和测试集就可以合二为一，共同来完成对模型的选择和评价。估计

学习笔记摘要机器学习需要根据问题特点和已有数据确定具有最强解释性或预测力的模型，其过程也可划分为类似于“学习 - 练习 - 考试”三个阶段，每个阶段的目标和使用的资源可以归纳如下：1.模型拟合（model fitting）：利用训练数据集（training set）对模型的普通参数进行拟合；2.模型选择（model selection）：利用验证数据集（validation set）对模型的超参数进行调整，筛选出性能最好的模型；3.模型评价（model assessment）：利用测试数据集（tes

学习笔记多数情况下，机器学习的任务是求解输入输出单独或者共同符合的概率分布，或者拟合输入输出之间的数量关系。从数据的角度看，如果待求解的概率分布或者数量关系可以用一组 有限且固定数目的参数完全刻画，求出的模型就是参数模型（parametric model）；反过 来，不满足这个条件的模型就是非参数模型（non-parametric model）。注意：“非参数模型”不是“无参数模型”，恰恰相反...