菲尼克斯罗的学习笔记

简介在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签 可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的，不过后面也会介绍它与深度学习/无监督学习方法的结合。（译者注： MNIST 是一个手写数字识别库，由NY

算法改进：1.基于组会分类器的KNN改进算法2.基于核映射的KNN改进算法3.基于预聚类的KNN改进算法4.基于超球搜索的KNN改进算法KNN不足之处：1.某类的样本容量很大，而其他类别容量很小，即一致样本数量不均衡，有可能当输入一个和小容量类的样本同类型的新样本时，该样本的K个邻居中大容量类的样本占多数，从而导致误分类。针对此种情况额可以采用加权方法，即和该样本距离越小的

投影矩阵与最小二乘二者有什么必然的联系么，当我开始写这篇文章的时候我也这样问自己。如果Strang教授没有教授这堂课亦或者讲的这堂课没有被放到网上被别人所下载观看，那么...好在一切都是那么的幸运先说说投影吧，这个想必大家都知道，高中的知识了。一个向量(b)在另一个向量(a)上的投影：实际上就是寻找在a上离b最近的点。如果我们把p看作是a的估计值，那么我们定义e

Python机器学习库scikit-learn实践zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09一、概述       机器学习算法在近几年大数据点燃的热火熏陶下已经变得被人所“熟知”，就算不懂得其中各算法理论，叫你喊上一两个著名算法的名字，你也能昂首挺胸脱口而出。当然了，算法之林虽大，但能者还是有限，能适应某些环境并取得较好效果的算法会脱颖

Caffe学习——Imagenet分类1. Caffe安装参考Alten Li的Caffe安装[1]。2. Imagenet分类代码来自Caffe的Notebook Examples[2]。在导入Caffe前，先在sys.path中插入Caffe的路径：examples文件夹下有子文件夹pycaffe（猜是安装Caffe时执行“make pycaffe”生成的文件夹），并没

最大似然估计：最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。简单而言，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态分布，但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高，但是可以通过采样，获取部分人的身高，然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。最大似然估计中采样需满足一个很重要的假设，就是

t-sne相关性

这是我见到的比较通俗易懂地讲解EM算法的博客，对我理解EM算法起到非常大的帮助作用。博客转自zouxy09的专栏，地址为：http://blog.youkuaiyun.com/zouxy09/article/details/8537620  ，在此表示感谢。从最大似然到EM算法浅解zouxy09@qq.comhttp://blog.csdn.ne

from:http://m.blog.youkuaiyun.com/blog/kyu_saku/44495223[原][几行Matlab代码之]kmeans2015-3-20阅读129 评论0提示 kmeans是什么不在此文中叙述，如有需要请先阅读维基百科或其他文献。本文主要记录litekmeans的代码优化原理。kmeans计算过程 随机给定k个初始数据中心点，交

论文名：FasterR-CNN: Towards Real-Time Object Detectionwith Region Proposal Networks代码链接：https://github.com/ShaoqingRen/faster_rcnn查阅的博客：http://blog.youkuaiyun.com/qq_30040223/article/details/48491997

很多基础知识有些遗忘了，也算作是一种复习。我尽量推导的关键的地方写写，建议大家还是要手动推一推公式增加理解。Linear Discriminant Analysis (也有叫做Fisher Linear Discriminant)是一种有监督的（supervised）线性降维算法。与PCA保持数据信息不同，LDA是为了使得降维后的数据点尽可能地容易被区分！假设原始数据表示为X，

一直在看论文的过程中遇到这个问题，折腾了不少时间，然后是下面的一点理解，不知道正确否。若有错误，还望各位前辈不吝指正，以免小弟一错再错。在此谢过。 一、决策函数Y=f(X)或者条件概率分布P(Y|X)       监督学习的任务就是从数据中学习一个模型（也叫分类器），应用这一模型，对给定的输入X预测相应的输出Y。这个模型的一般形式为决策函数Y=f(X)或者条件概率分布P(Y|X)。

概述以监督学习为例，假设我们有训练样本集  ，那么神经网络算法能够提供一种复杂且非线性的假设模型  ，它具有参数  ，可以以此参数来拟合我们的数据。为了描述神经网络，我们先从最简单的神经网络讲起，这个神经网络仅由一个“神经元”构成，以下即是这个“神经元”的图示：这个“神经元”是一个以  及截距  为输入值的运算单元，其输出为  ，其中函数  被称为“激活

本文要证明为什么对高斯分布的方差的极大似然估计是有偏的。同时，也说明为什么求样本方差时，分母是N-1而不是N。首先，明白两点，（1）极大似然法得到的高斯方差是什么形式（2）什么是有偏。（1）先说第一个问题，用极大似然估计得到的高斯方差是什么。假设有n个符合高斯独立同分布的观测值，我们要根据这些样本值估计正态分布的期望和方差。以

clc;clear;n = 50; N = 1000;x = linspace(-3,3,n)'; X = linspace(-3,3,N)';pix = pi*x;y = sin(pix)./(pix) + 0.1*x + 0.05*randn(n,1);%%%3.2% p(:,1) = ones(n,1);P(:,1)= ones(N,1);% for j= 1:15%

Softmax回归Contents [hide]1 简介2 代价函数3 Softmax回归模型参数化的特点4 权重衰减5 Softmax回归与Logistic 回归的关系6 Softmax 回归 vs. k 个二元分类器7 中英文对照8 中文译者简介在本节中，我们介绍Softmax回归模型，该模型是logist

LLE    Locally linear embedding（LLE）[1] 是一种非线性降维算法，它能够使降维后的数据较好地保持原有流形结构。LLE可以说是流形学习方法最经典的工作之一。很多后续的流形学习、降维方法都与LLE有密切联系。见图1，使用LLE将三维数据（b）映射到二维（c）之后，映射后的数据仍能保持原有的数据流形（红色的点互相接近，蓝色的也互相接近），说明LLE有效

引言：机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维向量表达，通常y的维度小于x的维度（当然提高维度也是可以的）。f可能是显式的或隐式的、线性的或非线性的。当然还有一大类方法本质上也是做了降维，叫做feature

soft binary classificationLogistics回归模型要解决的是分类问题，在之前的二元分类问题中，我们将数据分成正例和负例，但是像PLA算法一样，用单位阶跃函数来处理的这种瞬间跳跃的过程有时很难处理。于是，我们希望能得到正例的概率值是多少。logistic regression的假设我们在PLA和线性回归算法中都用数据的加权来计算一个分数s，在logisti

这两天在看关于boosting算法时，看到一篇不错的文章讲bootstrap, jackknife, bagging, boosting, random forest 都有介绍，以下是搜索得到的原文，没找到博客作者的地址，在这里致谢作者的研究。一并列出一些找到的介绍boosting算法的资源：（1）视频讲义，介绍boosting算法，主要介绍AdaBoosing    http:/