王博（Kings）的博客

一个两层的BP神经网络计算流程

1 K-mean基本概念聚类分析是以相似性为基础，对数据集进行聚类划分，属于无监督学习（unsupervised learning）。K-means算法是一种简单的迭代型聚类算法，采用距离作为相似性指标，从而发现给定数据集中的K个类，且每个类的中心是根据类中所有值的均值得到，每个类用聚类中心来描述。对于给定的一个包含n个d维数据点的数据集X以及要分得的类别K,选取欧式距离作为相似度指标，聚...

 1 SVM的优点                                     训练好的模型算法复杂度是由支持向量的个数决定，而不是数据维度决定，所以SVM不太容易过拟合。SVM训练出来的模型完全依赖于支持向量，即使训练集里面所有非支持点都去除，重复训练过程，结果模型完全一样一个SVM如果训练得到的支持向量个数少，则模型更容易泛化（比如各有1个点，剩下的所有可以随便扔）...

Support Vector Machine目录1背景2 机器学习的一般框架3 什么是超平面4 线性可区分（linear separatable）和线性不可区分（linear inseparatable）5 如何计算超平面以及举例1背景Vladimir N. Vapnik和Alexey 在1963年提出目前的版本是由Corinna Cortes和Vapnik在1...

1 基本概念 Cover和Hart在1968年提出了最初的临近算法 分类算法classfication 输入基于实例的学习instance-based learning ,懒惰学习lazy learning 2 例子：      对最后一个未知电影类型进行归类                           对上图实例进行转化为特征向量      ...

目录0 机器学习中分类和预测算法的评估：1 什么是决策树/判定树decision tree？ 2 决策树“买电脑”实际例子3.1熵（entropy）概念：4 决策树归纳算法（ID3）4.1递归算法：5 其他算法0 机器学习中分类和预测算法的评估：准确率 速度 强壮性 可否规模性 可否解释1 什么是决策树/判定树decision tree？ 决策树是...

目录概念学习：概念学习举例子1（教小孩子认识小鸟）：概念学习举例子2（判断小明是否“享受运动”）概念学习举例子3（美国硅谷房价的学习） 一些基本知识点：概念有两大分类：监督学习的例子：本博客基本概念：训练集、测试集、特征值、监督学习、非监督学习、半监督学习、分类、回归概念学习：概念学习是指从有关某个布尔函数的输入输出训练中推断出布尔函数。概念学习举例子1...

目录机器学习的应用：深度学习？深度学习什么时候发展起来的？深度学习能用来干什么？深度学习有哪些代表性的学术机构和公司？深度学习的应用？针对经验E(experience)和一系列的任务T（tasks）和一定表现的衡量P（performance），如果随着经验E的积累，针对定义好的任务T可以提高表现P，就说明计算机具有学习能力。机器学习的应用：语音识别自动驾驶...

1 皮尔逊相关系数（Pearson Correlation Coefficient）皮尔逊相关系数广泛用于度量两个变量之间的相关程度，其值介于-1与1之间。两个变量之间的皮尔逊相关系数定义为两个变量之间的协方差和标准差的商：上式定义了总体相关系数，常用希腊小写字母  作为代表符号。估算样本的协方差和标准差，可得到皮尔逊相关系数，常用英文小写字母 代表：2 决定系数：R平...

1 概率条件概率是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为：P（A|B），读作“在B的条件下A的概率”。若只有两个事件A，B，那么，                                            对于如下图所示的图形，线性回归以已经没办法很好的解决问题2 Logistic Regression(逻辑回归)基本模型测试数据X （...

1 多元线性回归基本理论1.1 multiple regression     多个自变量x1.2 多元回归模型1.3 多元回归方程1.4 估计多元回归方程1.5 估计流程（与简单线性回归类似）1.6 估计方法 1.7 例子  x1 x2 y 1 100 4 9.3 2 50 3 ...

# -*- coding: utf-8 -*-import numpy as npfrom scipy.cluster.hierarchy import dendrogram, linkage, fclusterfrom matplotlib import pyplot as pltdef hierarchy_cluster(data, method='average', thres...

目录1. 层次聚类（Hierarchical clustering）的步骤2. 得到这个树型结构后，根据阈值进行“砍树”，也就是分类 3.判断两个类之间的相似度有不少种方法，下面介绍三种 1. 层次聚类（Hierarchical clustering）的步骤      假设有N个样本（初始化）把每个样本归为1类，计算两个类之间的聚类，也就是样本与样本之间的相似度 寻找各类...

比如有5组数据，让你去做简单线性回归。 python代码实现上述过程 import numpy as npdef fitSLR(x,y): n = len(x) dinominator = 0 numerator = 0 for i in range(0, n): numerator += (x[i] - np.mean(x))...

0 统计量：描述数据特征0.1 集中趋势衡量均值，平均数，平均值，mean 中位数：将数据中的各个数值按照大小顺序排列，居于中间的变量，若是偶个数，取中间两个均值 众数：数据出现次数最多的书0.2 离散程度衡量方差 variance 标准差 standard deviation，方差的开二次方1 回归问题和分类问题区别：回归问题：Y变量是连续性数值，比如房价，人数，分...

目录Sigmoid函数常常被用作神经网络中激活函数  双曲函数tanh(x)Logistic函数 拓展对比Sigmoid函数常常被用作神经网络中激活函数  函数的基本性质：定义域：(−∞,+∞)(−∞,+∞) 值域：(−1,1)(−1,1) 函数在定义域内为连续和光滑函数 处处可导，导数为：f′(x)=f(x)(1−f(x))比较常用的有双曲函数tanh(x...

目录1 起源2 多层向前神经网络（Multilayer Feed-Forward Neural Network）3 设计神经网络 4 交叉验证方法5 BP神经网络算法1 起源以人脑中的神经网络为启发，出现过不同的版本最著名的算法是1980年的BP神经网络（Backpropagation）2 多层向前神经网络（Multilayer Feed-Forward Neu...