黑洲非人lyf

链接:http://mooc.study.163.com/learn/2001281002?tid=2001392029#/learn/content?type=detail&id=2001702012numpy:广播复制和展开激活函数:激活函数Sigmoid求导:tanh 求导ReLu and leaky Relu反向传播正反向传播:偏差和方差...

首先从意义上理解：作者：赵文和链接：https://www.zhihu.com/question/19666954/answer/54788626来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。首先，矩阵可以认为是一种线性变换，而且这种线性变换的作用效果与基的选择有关。以Ax = b为例，x是m维向量，b是n维向量，m,n可以相等也可以不相等，表示矩阵可以将一个向量线...

概念     TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜寻引擎应用，作为文件与...

review点:特征值分解需要是方阵，SVD奇异值分解不需要是方阵：   如要熟悉特征值分解 、奇异值分解  参考以下链接:https://www.cnblogs.com/pinard/p/6251584.html最近突然看到一个问题，PCA和SVD有什么关系？隐约记得自己照猫画虎实现的时候PCA的时候明明用到了SVD啊，但SVD（奇异值分解）和PCA的（特征值...

部分图片来自Standford公开课machine learning中Andrew老师的讲解。（https://class.coursera.org/ml/class/index）第一章——-线性回归 Linear Regression(一)、Cost Function线性回归是给出一系列点假设拟合直线为h(x)=theta0+theta1*x, 记Cost Function为J(theta0,t...

多维特征 目前为止，所讨论的都是单变量/特征的回归模型，也就是在对房价模型进行预测的过程中，只存在一个特征：面积 下面，将构建一个含有多个变量的模型，来进行多特征回归分析，模型的特征为(x1,x2,...,xn) n代表特征的数量 x(i)代表第i个训练实例，是特征矩阵中的第i行，是一个向量（vector）。 x(i)j代表矩阵中第i行的第j个特征，也就是第i个训练实例的第...

线性回归存在一个很重要的问题就是过拟合(overfitting)问题，所谓过拟合简单直白的说就是模型的训练误差极小，而检验误差很大。一个好的学习器不仅能够很好的拟合训练数据，而且能够对未知样本有很强的泛化能力，即低泛化误差。先来看看线性回归中的过拟合现象图中左边的图表示的线性回归模型存在欠拟合现象(underfitting)，欠拟合顾名思义就是对训练数据的拟合程度不够好，训练误差大。中间的...

逻辑回归可以说是最为常用的机器学习算法之一，最经典的场景就是计算广告中用于CTR预估，是很多广告系统的核心算法。首先要熟悉下最大似然详细链接：https://blog.youkuaiyun.com/zengxiantao1994/article/details/72787849似然函数（linkehood function）：联合概率密度函数称为相对于的θ的似然函数。逻辑回归Logistic Regressi...

决策树（decision tree）（一）——构造决策树方法 决策树算法起源于E.B.Hunt等人于1966年发表的论文“experiments in Induction”，但真正让决策树成为机器学习主流算法的还是Quinlan（罗斯.昆兰）大神（2011年获得了数据挖掘领域最高奖KDD创新奖），昆兰在197...

来自https://blog.youkuaiyun.com/u012328159/article/details/79285214决策树（decision tree）(二)——剪枝**注：本博客为周志华《机器学习》读书笔记，虽然有一些自己的理解，但是其中仍然有大量文字摘自周老师的《机器学习》书。 决策树系列博客： 1. 决策树（一）——构造决策树 2. 决策树（二）——剪枝 3. 决策树（decision t...

决策树模型 ID3/C4.5/CART算法比较来自:https://www.cnblogs.com/wxquare/p/5379970.html决策树模型在监督学习中非常常见，可用于分类（二分类、多分类）和回归。虽然将多棵弱决策树的Bagging、Random Forest、Boosting等tree ensembel 模型更为常见，但是“完全生长”决策树因为其简单直观，具有很强的解释性，也有广泛...

首先理解范数的概念L1、L2这种在机器学习方面叫做正则化，统计学领域的人喊她惩罚项，数学界会喊她范数。范数(norm)是数学中的一种基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。L1就是曼哈顿距离L2就是欧式距离再理解什么是稀疏矩阵在矩阵中，若数值为0的元素数目远远多于非0元素的...

Bagging（装袋）Bagging的策略:（1）从样本集中重采样（有重复的）选出n个样本；（2）在所有属性上，对这n个样本建立分类器（ID3、C4.5、CART、SVM、Logistic回归等）；（3）重复以上两步m次，即获得了m个分类器；（4）将数据放在这m个分类器上，最后根据这m个分类器的投票结果，决定数据属于哪一类。疑问1：n的值如何选择？疑问2：m的值如何选择...

线性分类器：支持向量就像我们平时判断一个人是男还是女，就是很难出现分错的情况，这就是男、 女两个类别之间的间隙非常的大导致的，让我们可以更准确的进行分类。在SVM 中，称为Maximum Marginal，是SVM的一个理论基础之一。 选择使得间隙最大的函数作为分割平面是有很多道理的，比如说从概率的角 度上来说，就是使得置信度最小的点置信度最大（听起来很拗口），从实践的角度 来说，这样的效果非常好...

什么是聚类聚类就是对大量未知标注的数据集，按照数据内部存在的数据特征将数据集划分为多个不同的类别，使类别内的数据比较相似，类别之间的数据相似度比较小； 属于无监督学习 聚类算法的重点是计算样本项之间的相似度，有时候也称为样本间的距离 和分类算法的区别： 分类算法是有监督学习，基于有标注的历史数据进行算法模型构建 聚类算法是无监督学习，数据集中的数据是没有标注的相似度/距离公式pearson相关系数...

贝叶斯算法:首先要知道贝叶斯定理的相关公式贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。这篇文章我尽可能用直白的话语总结一下我们学习会上讲到的朴素贝叶斯分类算法，希望有利于他人理解。(注)贝叶斯三种常用模型:多项式,高斯,伯努利 参考：https://blog.youkuaiyun.com/u01216261...

K最近邻 (k-Nearest Neighbors，KNN) 算法是一种分类算法，也是最简单易懂的机器学习算法，没有之一。1968年由 Cover 和 Hart 提出，应用场景有字符识别、文本分类、图像识别等领域。该算法的思想是：一个样本与数据集中的k个样本最相似，如果这k个样本中的大多数属于某一个类别，则该样本也属于这个类别。还是直接讲例子最好懂，一直没找到好的例子，就改造了下Peter Har...

聚类算法的衡量指标-轮廓系数层次聚类方法密度聚类方法DBSCAN算法DBSCAN算法基本概念1DBSCAN算法基本概念2DBSCAN算法基本概念3DBSCAN算法基本概念4DBSCAN算法流程DBSCAN算法优缺点...