harry的博客

上一次看《机器学习》已经是很久之前了，很多都记得模糊了，所以最近认真的再复习一遍。一， 线性回归（Linear Regression）线性回归是一种有监督模型，线性回归试图使用一个线性方程来对数据进行拟合从而达到比较好的预测输出（形如y=w⃗ x+by = \vec w x+b）。首先给定数据集的表示形式D={(x⃗ 1,y1),(x⃗ 2,y2),⋯,(x⃗ m,ym)}D= \{(\vec x_

从知乎整理而来1过拟合是一种现象。当我们提高在训练数据上的表现时，在测试数据上反而下降，这就被称为过拟合，或过配。过拟合发生的本质原因，是由于监督学习问题的不适定：在高中数学我们知道，从n个（线性无关）方程可以解n个变量，解n+1个变量就会解不出。在监督学习中，往往数据（对应了方程）远远少于模型空间（对应了变量）。因此过拟合现象的发生，可以分解成以下三点：有限的训练数据不能完全反映出一...

如何产生好的词向量？词向量、词嵌入（word vector，word embedding）也称分布式表示（distributed representation），想必任何一个做NLP的研究者都不陌生。如今词向量已经被广泛应用于各自NLP任务中，研究者们也提出了不少产生词向量的模型并开发成实用的工具供大家使用。在使用这些工具产生词向量时，不同的训练数据，参数，模型等都会对产生的词向量有所影响，那么...

趁机总结一下之前遇到过的一些小trick吧：数据预处理时vocab的选取（前N个高频词或者过滤掉出现次数小于3的词等等）词向量的选择，可以使用预训练好的词向量如谷歌、facebook开源出来的，当训练集比较大的时候也可以进行微调或者随机初始化与训练同时进行。训练集较小时就别微调了结合要使用的模型，这里可以把数据处理成char、word或者都用等有时将词性标注信息也加入训练数据会收到比较好的效果至于...

现在的分类学习算法太多了，有时候我们不仅要问：这么多算法，都是做的分类问题，那它们有没有一个共同的源头？如果有，那么从这个共同的源头出发，它们各自是怎么发展起来的？如果能看清这些本质，对分类学习算法的理解应该能够更加深刻. 本文尝试从一种自上而下，类似高屋建瓴的方式来为众多的分类学习算法建立一个统一的视角. 通常，一个学习过程会涉及到3个步骤：提出假设—>建立模型(如凸优化问题)—>求...

说交叉熵之前先介绍相对熵，相对熵又称为KL散度（Kullback-Leibler Divergence），用来衡量两个分布之间的距离，记为DKL(p||q)DKL(p||q)D_{KL}(p||q)DKL(p||q)=∑x∈Xp(x)logp(x)q(x)=∑x∈Xp(x)log p(x)−∑x∈Xp(x)log q(x)=−H(p)−∑x∈Xp(x)log q(...

1.简介 逻辑回归是面试当中非常喜欢问到的一个机器学习算法，因为表面上看逻辑回归形式上很简单，很好掌握，但是一问起来就容易懵逼。所以在面试的时候给大家的第一个建议不要说自己精通逻辑回归，非常容易被问倒，从而减分。下面总结了一些平常我在作为面试官面试别人和被别人面试的时候，经常遇到的一些问题。2.正式介绍 如何凸显你是一个对逻辑回归已经非常了解的人呢。那就是用一句话概括它！**逻...

最近做一个文本分类的项目，在最开始的时候会用到K-means的聚类方法，因此需要在文本上找到最佳的聚类数。1. 手肘法1.1 理论手肘法的评价K值好坏的标准是SSE（sum of the squared errors）SSE=∑p∈Ci|p−mi|2SSE=∑p∈Ci|p−mi|2SSE= \sum_{p\in C_i}|p-m_i|^2其中 CiCiC_i代表第iii...

余弦距离、欧氏距离和杰卡德距离度量的对比分析1. 余弦距离余弦距离，也称为余弦相似度 是用两个向量夹角的余弦值作为衡量两个向量差异的度量。2. 欧式距离欧式距离，是计算两个空间向量的欧几里得距离，也就是传统上两个点的距离，只不过这个时候点是多维的。3. 杰卡德两个集合A和B交集元素的个数在A、B并集中所占的比例，称为这两个集合的杰卡德系数，用符号 J(A,B) 表示...

最近无意中又看到了PCA和SVD，又有些新的想法。PCA 和 SVD都是对数据进行降维，但是方法不一样。PCA 是用特征向量来进行降维，但是很多只有方阵有特征向量。 SVD则更普遍一点，可以对一般的矩阵进行降维，本身就是一种矩阵分解方法...

监督学习可以分为生成方法与判别方法，所学到的模型可以分为生成模型与判别模型。生成模型 生成模型由数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型：P(Y|X)=P(X,Y)P(X)这样的方法之所以称为生成方法，是因为模型表示了给定输入X产生输出Y的生成关系。典型的生成模型有：朴素贝叶斯法和隐马尔可夫模型判别模型判别方法由数据直接...

题目：输入一个复杂链表（每个节点中有节点值，以及两个指针，一个指向下一个节点，另一个特殊指针指向任意一个节点），返回结果为复制后复杂链表的head。（注意，输出结果中请不要返回参数中的节点引用，否则判题程序会直接返回空）思路：自己最开始是使用递归的方法，但是空间不够。随后用了一个分三步的方法： （1）首先插入复制的节点到每一个原始节点之后， （2）调节复制节点的random指针， （3）调节

<p><strong>1. 支持向量机的目的是什么？</strong></p> 对于用于分类的支持向量机来说，给定一个包含正例和反例（正样本点和负样本点）的样本集合，支持向量机的目的是寻找一个超平面来对样本进行分割，把样本中的正例和反例用超平面分开，但是...