于书盼的博客

物以类聚，人与群分。 ——《易经》1、模型原理 最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢，其次就是存在一个测试对象同时与

原文出处： http://www.wildml.com/2015/09/implementing-a-neural-network-from-scratch/ Posted on September 3, 2015 by Denny Britz 这篇文章帮助我们用python实践一下从零开始训练一个神经网络。 以下是中文翻译：获取代码 在这篇文章中，我们将从头开始实现一个简单的3层神

牛顿法 主要有两方面的应用：1.求方程的根；2.求解最优化方法；一. 为什么要用牛顿法求方程的根？问题很多，牛顿法 是什么？目前还没有讲清楚，没关系，先直观理解为 牛顿法是一种迭代求解方法。 假设 f(x) = 0 为待求解方程，利用传统方法求解，牛顿法求解方程的公式：f(x0+Δx) = f(x0) + f′(x0) Δx 即 f(x) = f(x0) + f...

机器学习里面，梯度下降法可以说是随处可见，虽然它不是什么高大上的机器学习算法，但是它却是用来解决机器学习算法的良药。我们经常会用到梯度下降法来对机器学习算法进行训练。 BGD，SGD，MBGD。也就是批量梯度下降法BGD，随机梯度下降法SGD，小批量梯度下降法MBGD。下面这篇文章对这三个概念讲解的很到位： http://www.cnblogs.com/maybe2030/p/5089753.h

1、决策树概念 决策树(Decision Tree）是通过一系列规则对数据进行分类的过程。它提供一种在什么条件下会得到什么值的类似规则的方法。决策树分为分类树和回归树两种，分类树对离散变量做决策树，回归树对连续变量做决策树。 决策树可以看做一个树状预测模型，它是由节点和有向边组成的层次结构。树中包含3中节点：根节点、内部节点、叶子节点。 决策树只有一个根节点，是全体训练数据的集合。 树中每...

Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。当你通过 Docker 安装和运行 TensorFlow 时，它与你机器上之前已安装的软件包完全隔离。docker 镜像安装的优缺点： 优点：适合在大量相同环境机器构成的集群上批量部署。 缺点：增加了 Docker 学习成本。官

1、 Libsvm下载下载libsvm的最新版本，下载地址为http://www.csie.ntu.edu.tw/~cjlin/libsvm/ 目前最新版本为libsvm-3.22 将libsvm-3.22.zip解压，我的解压到了F:\libsvm。 添加环境变量到path：我的电脑->属性->高级->环境变量->系统变量->变量列表里面双击 Path，在变量值最后添加;F:\libs

转自：http://blog.youkuaiyun.com/myarrow/article/details/518286811. CIFAR-10 & CIFAR-100    CIFAR-10包含10个类别，50,000个训练图像，彩色图像大小：32x32，10,000个测试图像。    （类别：airplane，automobile, bird, cat, deer, dog, f

交叉验证(Cross-Validation)一般要满足： 1）训练集的比例要足够多，一般大于一半 2）训练集和测试集要均匀抽样1、训练数据集，交叉验证数据集，测试数据集的作用 参考：http://blog.youkuaiyun.com/wu_nan_nan/article/details/70169836 在Andrew Ng的机器学习教程里，会将给定的数据集分为三部分：训练数据集（tr

PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。 在机器学习领域，有相当多的应用与奇异值都可以扯上关系

（Supervised Learning & Unsupervised Learning）转自：http://blog.youkuaiyun.com/zb1165048017/article/details/48579677前言机器学习分为：监督学习，无监督学习，半监督学习（也可以用hinton所说的强化学习）等。在这里，主要理解一下监督学习和无监督学习。监督学习（supervis

模型表示线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归。详细描述之前的房屋交易问题为例，假使我们回归问题的训练集（Training Set）如下表所示：我们将要用

转自：http://www.cnblogs.com/magle/p/5638409.html简介  自2007年发布以来，scikit-learn已经成为Python重要的机器学习库了。scikit-learn简称sklearn，支持包括分类、回归、降维和聚类四大机器学习算法。还包含了特征提取、数据处理和模型评估三大模块。  sklearn是Scipy的扩展，建立在NumPy和

最小二乘法（Least squares又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 ---来自百度百科“最小二乘法”的核心就是保证所有数据偏差的平方和最小。 

转自：https://www.leiphone.com/news/201701/0milWCyQO4ZbBvuW.html导语：入门机器学习不知道从哪着手？看这篇就够了。 在当下的机器学习热潮，人才匮乏十分显著。截至目前，国内开设人工智能（AI）专业的高校不多，相当多的开发者是跨界入门，需要自学大量知识并摸索。因而优质的学习资源至关重要。因此，雷锋网搜集了全世界范围内最

 安装 MATLAB、VS、CUDAMatConvNet点击下载我的环境：Windows 10 64bitMATLAB R2014bVS2015CUDA9.21、编译第一步：>>mex -setup >>mex -setup C++由于使用Matlab需要混合编译时，MATLAB版本与VS版本应该相对应。即VS2015对应MA...