AnneQiQi的博客

机器学习是非常宽泛的领域，其子领域的划分非常复杂。机器学习算法大致可分为四大类：1）监督学习2）无监督学习3）自监督学习4）强化学习一、监督学习 监督学习是最常见的机器学习类型。给定一组样本（通常由人工标注），它可以学会将输入数据映射到已知目标【也叫作标注（annotation）】。 近年来广受关注的深度学习几乎都属于监督学习，如，光学字符识别，...

Overfitting 也被称为过度学习，过度拟合。 它是机器学习中常见的问题。 举个Classification（分类）的例子。图中黑色曲线是正常模型，绿色曲线就是overfitting模型。尽管绿色曲线很精确的区分了所有的训练数据，但是并没有描述数据的整体特征，对新测试数据的适应性较差。举个Regression (回归)的例子：第三条曲线存在overfitting问题，尽管...

学习资料:Tensorflow: dropout教程 PyTorch: dropout教程 Theano: l1 l2 regularization教程解决方法方法一: 增加数据量, 大部分过拟合产生的原因是因为数据量太少了. 如果我们有成千上万的数据, 红线也会慢慢被拉直, 变得没那么扭曲 .方法二：运用正规化. L1, l2 regulariz...

博主公众号：Python技术博文数据质量分析数据质量分析是数据预处理的前提，没有可信的数据，数据挖掘构建的模型将是空中楼阁。数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般指不符合要求，以及不能直接进行相应分析的数据。包括：1）缺失值2）异常值3）不一致的值4）重复数据及含有特殊符号（如#，￥，*等）的数据。本文只介绍缺失值处理：缺失值处理...

博主微信公众号：“Python技术博文”数据集来源于yahoo财经股票数据。下载方式：import pandas_datareader.data as web## 使用 pandas-datareader 来读取股票数据start = datetime.datetime(2010, 1, 1)end = datetime.datetime(2017,12,31)pri...

常用的逻辑门有两种常用的表示法，他们皆由ANSI（美国国家标准协会）／IEEE（电机电子工程师学会） Std 91-1984 跟作为其补充的 ANSI／IEEE Std 91a-1991。 “特殊形状符号”是用过去电路简图为基础以及50年代、60年代MIL-STD-806作衍生；有时也被描述成“军事”，而这个也反映了它的起源。“IEC矩形国标符号”是以ANSI Y32.14跟一些早期工业用的符

作者：胡逸夫链接：https://www.zhihu.com/question/27239198/answer/89853077来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。BackPropagation算法是多层神经网络的训练中举足轻重的算法。简单的理解，它的确就是复合函数的链式法则，但其在实际运算中的意义比链式法则要大的多。要回答题主

什么是神经网络？在回答这个问题之前，我会先解释一种叫做感知机（perceptron）的人工神经元。感知机由科学家Frank Rosenblatt发明于1950至1960年代，他受到了来自Warren McCulloch 和Walter Pitts的更早工作的启发。现如今，我们通常使用其它种类的人工神经元模型——在这本书里，以及在许多关于神经网络的最新工作里，主要使用的是一种叫做sigmoid神

首先说这个图解的优点：先形象说明了forward-propagation，然后说明了error backward-propagation，最后根据误差和梯度更新权重。没错这是backprop，又非常直观，但是从前的backprop了。backprop的发展路线大概是，1974年有个Harvard博士生PaulWerbos首次提出了backprop，不过没人理他，1986年Rumelhart和H

人类的视觉系统是世上的一个奇迹。考虑以下这串手写的数字：大部分人都能轻易地识别出图上的数字是504192。这个看似简单的过程的背后，实际上很复杂。在我们大脑的每个脑半球中，有一个叫做初级视皮层（primary visual cortex）的部分，也被称作V1。它拥有1亿4千万个神经元，包含了上百亿的神经元连接。然而，人类的视觉系统不仅仅依赖于V1，还依赖于整套视皮层——V2、V3、V4和V

Model Representation IITo re-iterate, the following is an example of a neural network:a(2)1=g(Θ(1)10x0+Θ(1)11x1+Θ(1)12x2+Θ(1)13x3)a(2)2=g(Θ(1)20x0+Θ(1)21x1+Θ(1)22x2+Θ(1)23x3)a(2)3=g(Θ(1)

前面的一个帖子中谈到了在决策树模型下计算AUC的问题，主要是讨论如何用决策树得到test samples的更为合理的rank。但是，关于怎么计算AUC却没有详细说明。本文试图总结和理清楚AUC计算这个问题，这么做，除了因为AUC本身比较常用和重要以外，还有以下两个方面的原因： a. 有些做machine learning的同行，没有仔细的搞清楚AUC到底是怎么回事。就写文章(竟然发表在KD

通常而言，特征选择是指选择获得相应模型和算法最好性能的特征集，工程上常用的方法有以下：1. 计算每一个特征与响应变量的相关性：工程上常用的手段有计算皮尔逊系数和互信息系数，皮尔逊系数只能衡量线性相关性而互信息系数能够很好地度量各种相关性，但是计算相对复杂一些，好在很多toolkit里边都包含了这个工具（如sklearn的MINE），得到相关性之后就可以排序选择特征了；2. 构建单个特征的模

经常用到sklearn中的SVC函数，这里把文档中的参数翻译了一些，以备不时之需。本身这个函数也是基于libsvm实现的，所以在参数设置上有很多相似的地方。（PS: libsvm中的二次规划问题的解决算法是SMO）。sklearn.svm.SVC(C=1.0, kernel='rbf', degree=3, gamma='auto', coef0=0.0, shrinking=True

利用计算图做自动微分时，既有前向模式，也有反向模式。而神经网络中的反向传播就是自动微分的反向模式。事实上，我们还可以用“前向传播”来计算神经网络中的梯度值，但是由于效率原因这个方法并没有被采用。我们首先考虑下面这个计算图<img src="https://pic2.zhimg.com/v2-e5fdff4d524b1f65db09e74800dfb395_b.j

在之前关于 support vector 的推导中，我们提到了 dual ，这里再来补充一点相关的知识。这套理论不仅适用于 SVM 的优化问题，而是对于所有带约束的优化问题都适用的，是优化理论中的一个重要部分。简单来说，对于任意一个带约束的优化都可以写成这样的形式：mins.t.f0(x)fi(x)≤0,i=1,…,mhi(x)=0,i=1,…,p形式统一能够简化推导过

from : http://blog.youkuaiyun.com/dQCFKyQDXYm3F8rB0/article/details/79136408hinton 深度学习课程：https://www.coursera.org/learn/neural-networks/home 翻译 | AI科技大本营 参与 | 刘畅 编辑 | Donna目前，深度学习和深度强化学习已经在实践中得到了广泛的运用。资源型博...

博主微信公众号：“Python技术博文”报错内容：Traceback (most recent call last): File "<stdin>", line 1, in <module> File "E:\anaconda2\lib\site-packages\spyder\utils\site\sitecustomize.py", line 880,...

聚类算法总结一、层次聚类1、层次聚类的原理及分类1）层次法（Hierarchicalmethods）先计算样本之间的距离。每次将距离最近的点合并到同一个类。然后，再计算类与类之间的距离，将距离最近的类合并为一个大类。不停的合并，直到合成了一个类。其中类与类的距离的计算方法有：最短距离法，最长距离法，中间距离法，类平均法等。比如最短距离法，将类与类的距离定义为类与类之间样本的最短

Kernel Methods (6) The Representer TheoremThe Representer Theorem, 表示定理.给定:非空样本空间: χχmm个样本:{(x1,y1),…,(xm,ym)},xiinχ,yi∈R{(x1,y1),…,(xm,ym)},xiinχ,yi∈R非负的损失函数: J:(χ×R2)m→R+J:(χ×R2)m→

我已经 提到过 PCA 有时可以 用来提高机器学习算法的速度 0:07在本节课的视频中 讲解如何在实际操作中 来实现 同时列举 一些例子 只是希望能够 提供一些应用 PCA 的建议 0:17首先我先介绍如何通过 PCA 来提高学习算法的速度 这种监督学习算法的提速 实际上也是 我个人经常通过使用 PCA 来实现的一种功能 比如说你遇到了一个监督学习问题 注意这个 监

博主微信公众号：“Python技术博文”《凸优化理论》C1S6：共轭函数二、凸函数：3.共轭函数、拟凸函数以及对数凸函数Conjugate function关于拉格朗日乘子法与KKT条件...

转载自：http://nbviewer.jupyter.org/github/lijin-THU/notes-machine-learning/blob/master/ReadMe.ipynb机器学习笔记简介作者：李金 版本：0.0.1邮件：lijinwithyou@gmail.com机器学习笔记，使用 jupyter notebook (i

译者注：本文智能单元首发，译自斯坦福CS231n课程笔记Backprop Note，课程教师Andrej Karpathy授权翻译。本篇教程由杜客翻译完成，堃堃和巩子嘉进行校对修改。译文含公式和代码，建议PC端阅读。原文如下：内容列表：简介简单表达式和理解梯度复合表达式，链式法则，反向传播直观理解反向传播模块：Sigmoid例子反向传播实践：

PageRank，网页排名，又称网页级别、Google左侧排名或佩奇排名，是一种由[1] 根据网页之间相互的超链接计算的技术，而作为网页排名的要素之一，以Google公司创办人拉里·佩奇（Larry Page）之姓来命名。Google用它来体现网页的相关性和重要性，在搜索引擎优化操作中是经常被用来评估网页优化的成效因素之一。Google的创始人拉里·佩奇和谢尔盖·布林于1998年在斯坦福大学发明了

最近在看斯坦福大学的机器学习的公开课，学习了支持向量机，再结合网上各位大神的学习经验总结了自己的一些关于支持向量机知识。一、什么是支持向量机(SVM)?1、支持向量机（Support Vector Machine，常简称为SVM）是一种监督式学习的方法，可广泛地应用于统计分类以及回归分析。支持向量机属于一般化线性分类器，这族分类器的特点是他们能够同时最小化经验误差与最大化几何边缘区，因此支

去除方差小的特征设置一个方差阈值，没有达到这个方差阈值的特征都会被丢弃。 VarianceThreshold，算法输入只要求特征(X),不需要输入结果(Y)。from sklearn.feature_selection import VarianceThreshold X=[[feature1,feature2,…],…] sel=VarianceThreshold

正规方程 Normal Equation在线性回归中，为了求得参数的最优值，一般采用梯度下降和本文将要介绍的正规方程（normal equation）。相比较梯度下降采用多次迭代逼近的方式，normal equation采用矩阵运算可以直接求解出参数。先介绍下什么是normal equation，假设一个数据集X有m个样本，n个特征。则假设函数为： ，数据集X的特征向量表示为：

在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。　　本文的目的就是对常用的相似性度量作一个总结。本文目录：1. 欧氏距离2. 曼哈顿距离3. 切比雪夫距离4. 闵可夫斯

从贝叶斯定理说开去简介贝叶斯定理是18世纪英国数学家托马斯·贝叶斯（Thomas Bayes）提出得重要概率论理论。以下摘一段 wikipedia 上的简介：所谓的贝叶斯定理源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如“假设袋子里

机器学习是什么“机器学习”是人工智能的核心研究领域之一， 其最初的研究动机是为了让计算机系统具有人的学习能力以便实现人工智能。事实上，由于“经验”在计算机系统中主要是以数据的形式存在的，因此机器学习需要设法对数据进行分析，这就使得它逐渐成为智能数据分析技术的创新源之一。机器学习是构建复杂系统的一种方法，也许依靠我们的脑力把处理一个问题的所有规则写成程序可能不容易做到，那么我们就让机器自

机器学习算法与Python实践之（一）k近邻（KNN）机器学习算法与Python实践这个系列主要是参考《机器学习实战》这本书。因为自己想学习Python，然后也想对一些机器学习算法加深下了解，所以就想通过Python来实现几个比较常用的机器学习算法。恰好遇见这本同样定位的书籍，所以就参考这本书的过程来学习了。 一、kNN算法分析       K最近邻（k-Nearest Neigh

引言对于一些开始搞机器学习算法有害怕下手的小朋友，该如何快速入门，这让人挺挣扎的。在从事数据科学的人中，最常用的工具就是R和Python了，每个工具都有其利弊，但是Python在各方面都相对胜出一些，这是因为scikit-learn库实现了很多机器学习算法。加载数据(Data Loading)我们假设输入时一个特征矩阵或者csv文件。首先，数据应该被载入内存中。

原文：http://www.tuicool.com/articles/BVFRnqz本文主要介绍两种基本的数据归一化方法。min-max标准化（Min-Max Normalization）Z-score标准化方法归一化方法有两种形式，一种是把数变为（0，1）之间的小数，一种是把有量纲表达式变为无量纲表达式。数据标准化（归一化）处理是数据挖掘的一项基础工作，不同评价指

支持向量机通俗导论（理解SVM的三层境界）作者：July 。致谢：pluskid、白石、JerryLead。说明：本文最初写于2012年6月，而后不断反反复复修改&优化，修改次数达上百次，最后修改于2016年11月。声明：本文于2012年便早已附上所有参考链接，并注明是篇“学习笔记”，且写明具体参考了pluskid等人的文章。文末

之前我们讨论了几个机器学习的模型，线性回归模型(Linear Regression)和逻辑回归模型(Logistic Regression)，这一次我们讨论一下关于模型数据拟合的问题以及归一化方法(Regularization)。过拟合问题(The Problem of Overfitting)如果我们有非常非常多的特征，我们通过学习得到的假设可能会非常适应训练集（代价函数的值

利用RFM模型做电商客户价值分析 客户细分是客户关系管理的一个主要的组成部分，本文尝试以电商企业为研究对象根据其客户特点，提出了一种基于客户价值分析RFM 模型，从而对客户进行分类，并对此结果进行动态的客户分析，以达到对不同的客户采取不同的客户服务的效果。一、RFM模型介绍1.RFM模型的基本原理在RFM模式中，R(Recency)表示客户最近一次购买的时间有多远，

回归问题的条件/前提：1） 收集的数据2） 假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去预测/分类新的数据。1. 线性回归假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性

深度学习  【编者按】三大牛Yann LeCun、Yoshua Bengio和Geoffrey Hinton在深度学习领域的地位无人不知。为纪念人工智能提出60周年，最新的《Nature》杂志专门开辟了一个“人工智能 + 机器人”专题 ，发表多篇相关论文，其中包括了Yann LeCun、Yoshua Bengio和Geoffrey Hinton首次合作的这篇综述文章“Deep Learni

ROC曲线（receiver operating characteristic curve），又称为感受性曲线（sensitivity curve）。得此名的原因在于曲线上各点反映着相同的感受性，它们都是对同一信号刺激的反应，只不过是在几种不同的判定标准下所得的结果而已。接受者操作特性曲线就是以虚惊概率为横轴，击中概率为纵轴所组成的坐标图，和被试在特定刺激条件下由于采用不同的判断标准得出的不同结果