zqzwzd的博客

线性回归是有监督学习，即给定样本属性和对应的标签，训练出线性函数的参数。解决问题类型：预测两类事物对相关性e.g. 预测房价跟面积的关系 （单变量）预测房价跟面积、楼层的关系 （多变量）一、单变量线性回归（Linear Regression with One Veriable）二、代价函数（Cost Function）我们预测了线性函数的参数th...

一、集成学习概念集成学习是将多个单学习算法通过结合策略集成成一个强学习器具体可以参考：集成学习原理小结adaBoost是集成学习的一种（同质）算法集成学习按照个体学习器之间是否存在依赖关系可以分为两类，第一个是个体学习器之间存在强依赖关系，另一类是个体学习器之间不存在强依赖关系。前者的代表算法就是是boosting系列算法。在boosting系列算法中， Adaboos...

一、概念：具体逻辑已经在机器学习（二）逻辑回归说明二、算法实现《机器学习实战》中，使用的代价函数是线性回归的代价函数：书中的叫法是梯度上升，但更多但材料用“梯度下降”的叫法import numpy as npdef loadDataSet(): dataMat=[] labelMat=[] fr=open('/Users/xxxx...

一、支持向量机理解：《机器学习实战》里面对SVM原理一笔带过，SMO算法也没详细讲，可以先看看下面的资料SVM的公式不好理解，我花了2周，看完《机器学习》的SVM章节还是不太懂，参考：支持向量机原理(一) 线性支持向量机此文写的不错，可以先理解再来实践如果看完上述系列的文章还是懵懵懂懂，推荐看李航的《统计学习方法》第七章SVM，讲的很详细。也可以参考这篇博客，写的很详细：支持...

一、决策树概念：本质是一棵树结构分：【叶子节点（预测结果）】 和 【非叶子节点：内部节点（划分属性----特征）】可以看做一个if-then规则的集合。我们从决策树的根结点到每一个都叶结点构建一条规则。如：数据：决策树：（图出自《机器学习》周志华）属性划分可以选取任意一个特征来当作第一个划分的属性，如上图，第一个内部节点选取的是【纹理】这个特征.但随便选取划...

1. 准备数据：处理缺失值2. 逻辑回归算法：算法来自：机器学习实战：逻辑回归 Logistic Regressiondef stocGradAscent1(dataMatrix,classLabels,numIter=150): m,n=np.shape(dataMatrix) weights=np.ones(n) for j in range(nu...

实例：使用朴素贝叶斯进行文档分类构建一个过滤器，过滤在线社区的留言板中带有侮辱类的语言。1、准备数据：从文本中构建词向量def loadDataSet(): postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', '...

所给的数据是已经使用图形处理，处理成32像素*32像素的黑白图像：数据来源于github代码用python3写1. kNN算法核心：def classify0(inX,dataSet,labels,k): dataSetSize = dataSet.shape[0] diffMat=tile(inX,(dataSetSize,1))-dataSe...

目的：分类对象为：1.不喜欢的人 'not at all'2.魅力一般的人 'in small doses'3.极具魅力的人 'in large doses'1. kNN算法代码：def classify0(inX,dataSet,labels,k): dataSetSize = dataSet.shape[0] diffMat=tile(inX...

一、算法介绍监督学习算法 分类算法 查找与已有数据中最接近的k个类别，分类为出现类别最大概率的类别二、一般流程：三、代码实现：python3中已经废弃iteritems()函数，使用会报错：关键代码如下：def classify0(inX,dataSet,labels,k): dataSetSize = dataSet.shape[0] pr...

反向传播算法对于快速训练大型神经网络来说至关重要。本文将介绍该算法的工作原理：本文来自：https://google-developers.appspot.com/machine-learning/crash-course/backprop-scroll/...

自学机器学习相关知识：应用基础1. python基础： 《python从入门到实践》 （3天）2. numpy入门：适合初学者快速入门的Numpy实战全集 （1天）3. panda入门：pandas入门教程-2天学会pandas（1天）4. matplotlib基本用法：matplotlib学习之基本使用（1天）推荐公众号：“机器学习初学者”，“光城”，“...

逻辑回归是监督学习算法，是一个分类算法，解决分类问题。一、二元分类问题：如果我们拿线性回归算法来解决分类问题，取值就是连续数值，而不是只有0，1的离散值。依据线性回归算法，我们将线性函数当作自变量传入sigmod函数：二、边界判定：举个例子：三、代价函数：对逻辑回归的代价函数求导得到：求导过程如下图所示：注意sigm...

转自：BAT机器学习面试1000题系列几点声明：1、本文的内容全部来源于七月在线发布的BAT机器学习面试1000题系列；2、文章中带斜体的文字代表是本人自己增加的内容，如有错误还请批评指正；3、原文中有部分链接已经失效，故而本人重新加上了新的链接，如有不当，还请指正。（也已用斜体标出）4、部分答案由于完全是摘抄自其它的博客，所以本人就只贴出答案链接，这样既可以节省版面，也可以使...