wydbyxr的博客

泛化能力、方差、偏差、过拟合、欠拟合避免高偏差  若人类级别的性能和训练误差之间差距比较大，那么模型的偏差可能就比较大。若测试集误差与训练集误差间的差距比较大，那很可能方差就会比较高，且模型出现了过拟合现象。泛化能力、方差、偏差、过拟合、欠拟合  如何调试机器学习模型 常用的一种调试方法是分析一个模型的泛化能力，主要看他的偏差与方差。  一般地，  高偏差=欠拟合，多训练或者使模型更复...

机器学习中稳定性风险　　参考资料：如何看待机器学习中的”“稳定性”“？2017-12-07 阿萨姆 AI研习社1.下溢(Underflow)和上溢(Overflow)　　属于计算稳定性。顾名思义，溢出是代表内容超过了容器的极限。在机器学习当中，因为我们大量的使用概率(Probability)，而概率的区间往往在0至1之间，这就导致了下溢发生的可能性大大提高。 　　举个简单的例子，我们...

模型的基本假设　　理解模型的基本假设，看自己的数据是否符合这种假设。任何模型都是有某种假设的，如果数据不符合这种假设，就不太可能学出有意义的模型并用于预测。比如LDA（主题模型）　　假设是在同样一批文档中经常共现的词，语义上往往是相关的。这种特性不仅在自然语言中成立，在一些领域，比如每个人经常访问的网址集合，可能也是成立的，所以LDA也可以拿过去用。但如果数据不符合这个特性，套用LDA...

偏差/方差（bias/variance）　　优化完成后，你发现网络的表现不尽如人意，这时诊断网络处于高偏差/高方差状态是对你下一步调参方向的重要指导。与经典机器学习算法有所不同，因为深度神经网络通常要处理非常高维的特征，所以网络可能同时处于高偏差/高方差的状态，即在特征空间的一些区域网络处于高偏差，而在另一些区域处于高方差。本节，我们对偏差/方差作一简要介绍。 偏差　　...

泛化　　是机器学习本身的核心。简单说，泛化就是在训练数据集上训练好的模型，在测试数据集上表现如何。 　　正则化”是我们用来防止过拟合的技术。由于我们没有任何关于测试扰动的先验信息，所以通常我们所能做的最好的事情就是尝试训练训练分布的随机扰动，希望这些扰动覆盖测试分布。随机梯度下降，dropout，权重噪音，激活噪音，数据增强，这些都是深度学习中常用的正则化算子。在强化学习中，随机化模拟参数使...

增量学习　　增量学习是指一个学习系统能不断地从新样本中学习新的知识，并能保存大部分以前已经学习到的知识。增量学习非常类似于人类自身的学习模式。因为人在成长过程中，每天学习和接收新的事物，学习是逐步进行的，而且，对已经学习到的知识，人类一般是不会遗忘的。 　　增量学习思想可以描述为：每当新增数据时，并不需要重建所有的知识库，而是在原有知识库的基础上，仅对由于新增数据所引起的变化进行更新。 　...

优化算法对于优化问题的解决方法　　1）确定方式 　　2）近似方式，近似方法分为近似算法和启发式算法。 1.近似算法通常可得到一个有质量保证的解； 2.启发式算法通常可找到在传统解决问题的经验中找到寻求一种面向问题的策略，之后用这种策略来在可行时间内寻找一个相对比较好的解，但对解的质量没有保证。贪心算法的确属于启发式算法的一种形式和应用。连续优化（continu...

回归与分类　　回归和分类的区别：总的来说两个问题本质上都是一致的，就是模型的拟合（匹配）。 　　分类指的是预测值是有限个离散值的情况；而回归指的是预测值是连续值的情况。使用流程　　线性回归和分类问题都有以下几个步骤, 1）如何选取一个合理的模型(线性的，or 非线性的(e.g. 阶跃函数， 高斯函数)). 2）制造一个”“美好”“的误差函数 (可以评估拟合程度，而且还是con...

聚类（clustering）　　无监督学习。 　　我们能用少量的原型，精准地概括数据吗？给我们一堆照片，能把它们分成风景、狗、婴儿、猫、山峰的照片吗？类似的，给定一堆用户浏览记录，我们能把他们分成几类典型的用户吗？这类问题通常被称为聚类（clustering）。 　　聚类本身就形容了问题和方法。聚类方法通常是由建模方式分类的比如基于中心的聚类和层次聚类。所有的聚类方法都是利用数据的内在结构...

降维（Dimensionality Reduction）　　与聚类方法类似，对数据中的固有结构进行利用，使用无监督的方法学习一种方式，该方式用更少的信息来对数据做归纳和描述。这对于对数据进行可视化或者简化数据很有用，也有去除噪声的影响，经常采用这种方法使得算法更加高效。 　　常规的降维方法： Principal Component Analysis (PCA) Partial ...

子空间估计（subspace estimation）和主成分分析（principal component analysis）相同点　　都是无监督学习。 　　不同点　　我们可以用少量的参数，准确地捕获数据的相关属性吗？球的轨迹可以很好地用速度，直径和质量准确描述。裁缝们也有一组参数，可以准确地描述客户的身材，以及适合的版型。这类问题被称为子空间估计（subspace estim...

数据分析数据分析的流程1）问题定义 2）数据获取 3）数据预处理 4）数据分析与建模 5）数据可视化及数据报告的撰写” 数据分析的方法1.贡献度分析　　贡献度分析又称帕累托分析，它的原理是帕累托法则又称2/8定律。即累积效应达80%的前几个因素。2.统计量分析　　用统计指标对定量数据进行统计描述，常从集中趋势和离中趋势两个方面进行分析。 1） 集...

单一数值评价指标两个评价指标　　为你的项目准备一个简单的实数指标作为评价指标，以便知道调节某个设置是否有助于算法的改进。在测试多个场景时，该指标能够帮助你快速选择最有效的算法。有时，你可能需要两个指标来评估算法，比如查准率（Precision）和召回率（Recall）。但是如果有两个指标，就很难选出哪个算法更好。　　将评价指标合二为一！因此，与其使用两个指标（查准率和召回率）选出一...

尺度空间 (Scale Space) /分辨率不变　　如果不同的尺度下都有同样的关键点，那么在不同的尺度的输入图像下就都可以检测出来关键点匹配，也就是尺度不变性。 　　另外，高斯核是唯一可以产生多尺度空间的核。图像金字塔　　一般包括2个步骤，分别是使用低通滤波平滑图像；对图像进行降采样（也即图像缩小为原来的1/4，长宽高缩小为1/2），从而得到一系列尺寸缩小的图像。图像金字塔也正...

正则化技术  一种防止过拟合，提高泛化能力的技巧，因此算法正则化的研究成为机器学习中主要的研究主题。此外，正则化还是训练参数数量大于训练数据集的深度学习模型的关键步骤。  正则化可以避免算法过拟合，过拟合通常发生在算法学习的输入数据无法反应真实的分布且存在一些噪声的情况。  在深度学习中，貌似所有的带来效果收益的操作都是噪声所带来的正则化的功劳！从不同角度理解正则化  除了泛化原因，奥卡...

正则化(Regularization)  一种防止过拟合，提高泛化能力的技巧，因此算法正则化的研究成为机器学习中主要的研究主题。此外，正则化还是训练参数数量大于训练数据集的深度学习模型的关键步骤。  正则化可以避免算法过拟合，过拟合通常发生在算法学习的输入数据无法反应真实的分布且存在一些噪声的情况。  一般来说，对分类或者回归模型进行评估时，需要使得模型在训练数据上使得损失函数值最小，即使得...

L2归一化、L2正则化、L2范数的区别  1）归一化是将数据变到一定的区间内，故是x除以||x||_2。  2）正则化是在优化时所使用的概念，称为正则化方法，而不是指某种具体的数据运算，概念比归一化要高一层。  3）L2范数指的是公式意义上的||x||_2。...

L1正则化  L1范数是指向量中各个元素的绝对值之和。对于人脸任务  原版的人脸像素是 64*64，显然偏低，但要提高人脸清晰度，并不能仅靠提高图片的分辨率，还应该在训练方法和损失函数上下功夫。众所周知，简单的 L1Loss 是有数学上的均值性的，会导致模糊。L2正则化  L2正则化就是权重衰减，是一个手段，是指：  L2正则项(regularization term) * 正则化...

L1范数与L2范数的联系  最小化误差的L2范数等价于对高斯噪声的MLE。  最小化误差的L1范数等价于对拉普拉斯噪声的MLE。

过拟合和欠拟合  1）欠拟合：机器学习模型无法得到较低训练误差。  2）过拟合：机器学习模型的训练误差远小于其在测试数据集上的误差。  我们要尽可能同时避免欠拟合和过拟合的出现。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型的选择和训练数据集的大小。1）模型选择  拿多项式函数举例，一般来说，高阶多项式函数（拟合能力较强）比低阶多项式函数（拟合能力较弱）更容易在相...

网络嵌入方法（Network Embedding）　　旨在学习网络中节点的低维度潜在表示，所学习到的特征表示可以用作基于图的各种任务的特征，例如分类，聚类，链路预测和可视化。 　　由于信息网络可能包含数十亿个节点和边缘，因此在整个网络上执行复杂的推理过程可能会非常棘手。因此有人提出了用于解决该问题的一种方法是网络嵌入（Network Embedding）。NE 的中心思想就是找到一种映射函数...

频率派与贝叶斯派　　1）频率派： 　　把需要推断的概率参数θ看做是固定的未知常数，即概率虽然是未知的，但最起码是确定的一个值，同时，样本X 是随机的，所以频率派重点研究样本空间，大部分的概率计算都是针对样本X 的分布；” 　　2）贝叶斯派： 　　认为概率参数是随机变量，而样本X 是固定的，由于样本是固定的，所以他们重点研究的是参数的分布。于是就有了先验概率和后验概率。 　...

判别模型（Discriminative model）和生成模型（generative model）　　监督学习又可以分为两类，（只有监督学习才会有判别和生成的概念） 　　1）判别模型（Discriminative model）：SVM和逻辑回归 　　2）生成模型（generative model）：实际上，生成模型是对联合概率分布p(x,y)=p(x|y)p(y)进行学习的。常用的生成模型...

概率图模型　　即图模型，graphical model；PGM（Probabilistic Graphical Models）。 　　几年前，概率图模型（图论和概率方法的合并）那是风靡一时。概率图流派，更符合人类的思维习惯。它将内在逻辑利用概率关系设计到模型当中，然后利用少量的数据就能训练出可以拟合大量场景的模型。 　　譬如，Nature 的一篇论文就是利用概率图模型模仿人类书法，并通过图...

数据可视化　　数据可视化是大数据领域非常倚重的一项技术，但由于业内浮躁的大环境影响，这项技术的地位渐渐有些尴尬。尤其是在诸如态势感知、威胁情报等应用中，简陋的可视化效果太丑，过于华丽的可视化效果只能忽悠忽悠外行，而给内行的感觉就是刻意为之、华而不实。 　　曾几何时，可视化技术不过是一种数据分析的手段罢了。惭愧的说就是我们的算法还不够智能，必须依靠人类的智慧介入分析。所以，需要通过可视化技术把...

元学习方法MAML　　Meta Learning（Learning to learn），让机器学习如何学习。元学习学习到的是学习能力，而不是知识本身。 　　智能很重要的一方面在于它的多功能性（versatility）——即可以处理多种不同事情的能力。而我们人类却可以在新的未知条件下表现出十分智慧的行为和适应性。那么我们如何才能教会我们的智能系统学会各种能力，从容面对变化的世界呢？元学习的...

在线学习　　传统的机器学习算法是批量模式的，假设所有的训练数据预先给定，通过最小化定义在所有训练数据上的经验误差得到分类器。这种学习方法在小规模规模上取得了巨大成功，但当数据规模大时，其计算复杂度高、响应慢，无法用于实时性要求高的应用。 　　与批量学习不同，在线学习假设训练数据持续到来，通常利用一个训练样本更新当前的模型，大大降低了学习算法的空间复杂度和时间复杂度，实时性强。 　　早期在线...

自动特征工程　　自动工程的三个方向，隐式特征组合（如NN，FM），半显式特征组合（如GBDT）与显式特征组合（显式特征叉乘）。 隐式特征组合　　主要特点是对连续值特征非常友好，最成功的应用场景是语音和图像但是深度神经网络并不是万能的，在深度学习中，高维离散特征的变量处理非常复杂，同时缺乏可解释性，过于黑盒化也是神经网络大家关注的焦点。这样会导致深度学习出来的特征组合相对难用...

多视图学习　　数据的采集越来越呈现出多源异构特性，在越来越多的实际问题中存在着大量对应着多组数据源的样本，即多视图数据。 主要算法　　1）多视图学习与多核学习之间具有天然的联系，这是因为不同的核函数自然地对应着不同的视图，多核学习为多视图学习提供了一种融合不同视图数据和不同结构数据的有效方式。 　　2）协同训练。其来源于半监督学习问题，算法首先利用有标号样本在两个视图...

核方法（Kernel Methods）　　核方法中最有名的是Support Vector Machines(支持向量机)。这种方法把输入数据映射到更高维度上，将其变得可分，使得归类和回归问题更容易建模。 Support Vector Machines (SVM) Radial Basis Function (RBF) Linear Discriminate Analysis...

度量学习　　距离的度量对众多机器学习方法的性能都起到了决定性作用：例如在分类方法中，K近邻分类器、使用了高斯核的核方法；在聚类方法中，K均值聚类、谱聚类方法都与距离度量密切相关。 　　卡内基梅隆大学机器学习系的邢波教授于2003年提出了距离度量学习。 　　一个好的距离度量能够根据数据的结构与分布适用于不同的应用。概念　　一般的距离度量学习针对度量矩阵M展开。 　　度量矩阵的对...

对偶学习　　深度学习和增强学习是不是真的已经非常完美，可以解决我们面临的所有人工智能问题呢？其实答案是否定的。仔细分析一下就会发现，这两项技术都存在本质的弱点。 　　1）首先，目前深度学习的成功离不开大量的有标签训练数据；但是获得海量有标签数据的代价是非常高的，在某些特定的邻域甚至是不可能完成的任务。比如医疗领域的疑难杂症，本身样本就非常少，有钱也无法取得大量的有标签数据。正所谓“成也萧何，...

无监督深度学习的历史　　无监督深度学习，除了强化学习，主要包括BM、自动编码器AE和GAN领域。 　　1）这些领域中的DBN和DBM是Hinton搞的。 　　2）AE中的经典，VAE是DP Kingma和M Welling搞得。 DP Kingma硕士导师是LeCun，LeCun的博士后导师是Hinton，并且Welling的博士后导师是Hinton。 　　3）而GAN是Ian Go...

各种学习方式

机器学习体系汇总监督学习 Supervised learning人工神经网络 Artificial neural network自动编码器 Autoencoder 反向传播网络 Backpropagation network 玻尔兹曼机 Boltzmann machine 卷积神经网络 Convolutional neural ne...

机器学习中的各种学习方式　　以识别猫狗图像为例，区分以下几种学习方式： 1.监督学习：有标签的猫狗数据。 2.无监督学习：无标签的猫狗数据。 3.半监督学习：部分有标签的猫狗数据。 4.Transfer Learning(迁移学习)：有标签的猫狗数据、有标签的大象老虎的数据。 5.Self-taught Learning：有标签的猫狗数据、无标签的大象老虎美女的数据。 监督...

http://blog.163.com/huai_jing@126/blog/static/1718619832011227757554/ 1 判别式模型（discriminative model） 产生式模型（generative model） 特点 寻找不同类别之间的最优分类面，反映的是异类数据之间的差异 对后验概率建模，从统计的角度表示数据的分布情况，能够反映同类数据本身

特征工程　　特征工程应包括两部分:特征抽取和特征挑选 特征抽取的方法　　1）按业务常识抽取。简单点来说，就是通过对你需要分类 / 预测等领域的先验知识来进行抽取，比方说，要区分男生和女生，直接使用性特征肯定要比其他的身高体重这些数据的准确率要高。 　　当然，考虑到每一个人都不可能所有知识都精通，当面对一个陌生的业务领域时，建议优先提取 X1/X2 这样形式的特征...

合成特征（synthetic feature）　　不在输入特征中，而是从一个或多个输入特征中派生出的特征。 　　合成特征的类型包括：1. 特征与自己或其他特征相乘（叫作特征交叉）。2. 两个特征相除。3. 将连续的特征放进 range bin 中。　　注意，由归一化或缩放单独创建的特征不是合成特征。...

统计关系学习　　独立同分布iid和统计关系学习 是不同于 迁移学习的！！！！ 　　传统机器学习模型假设数据是独立同分布的 (independent and identically distributed, iid)，也就是说，数据样本之间相互独立，不存在任何关系。然而，实际上有许多都是有关系的，比如学术论文之间存在引用关系等。我们把这种样本之间存在关系的数据叫做关系数据 (relationa...