peiwang245的博客

1 综述(1) 什么是特征选择特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好。 (2) 为什么要做特征选择       在机器学习的实际应用中，特征数量往往较多，其中可能存在不相关的特

1. 概述     卷积神经网络是一种特殊的深层的神经网络模型，它的特殊性体现在两个方面，一方面它的神经元间的连接是非全连接的， 另一方面同一层中某些神经元之间的连接的权重是共享的（即相同的）。它的非全连接和权值共享的网络结构使之更类似于生物 神经网络，降低了...

1.数据挖掘与关联分析数据挖掘是一个比较庞大的领域，它包括数据预处理（清洗去噪）、数据仓库、分类聚类、关联分析等。关联分析可以算是数据挖掘最贴近我们生活的一部分了，打开卓越亚马逊，当挑选一本《Android4高级编程》时，它会不失时机的列出你可能还会感兴趣的书籍，比如Android游戏开发、Cocos2d-x引擎等，让你的购物车又丰富了些，而钱包又空了些。关联分析，即从一个数据集中发现项之间的隐

前言 决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将得到的决策树做成图片展示出来）等。但是同时，单决策树又有一些不好的地方，比如说容易over-fitting，虽然有一些方法，如剪枝可以减少这种情况，但是还是不够的。 模型组合（比如说有Boosting，Bagging等）与决策树相关的算法比较多，这些算法最终的结果是生成N(可能会有几

傅里叶变换与快速傅里叶变换作为电子信息专业的学生老说，这个不知道，或者理解不清楚，是十分不应该的，作为一个学渣，有时候确实是理解不清楚的1、首先离散傅里叶变换目的： 简单点说： 就是将一个信号从时域变换到频域 标准点说： 将以时间为自变量的信号 与 频率为自变量的频谱函数之间的某种关系变换数学描述：对于N点序列

1、背景：自组织（竞争型）神经网络SOM是一种自组织（竞争型）神经网络，除了SOM外，其他常见的自组织（竞争型）神经网络还有对偶传播(Counter propagation)网络，自适应共振理论（Adaptive Resonance Theory）网络等。生物学研究表明，在人脑的感觉通道上，神经元的组织原理是有序排列的。当外界的特定时空信息输入时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应的区

关联分析：百度百科定义：又称关联挖掘，就是在交易数据、关系数据或其他信息载体中，查找存在于项目集合或对象集合之间的频繁模式、关联、相关性或因果结构。或者说，关联分析是发现交易数据库中不同商品（项）之间的联系。说白了，就是从大量数据中发现元素之间的关联和相关联系。最典型的例子就是购物车分析，通过发现顾客放人其购物车中的不同商品之间的联系，分析顾客的购买习惯。通过了解哪些商品频繁地被顾客同...

1. Jacobian在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式. 还有, 在代数几何中, 代数曲线的雅可比量表示雅可比簇：伴随该曲线的一个代数群, 曲线可以嵌入其中. 它们全部都以数学家卡尔·雅可比(Carl Jacob, 1804年10月4日－1851年2月18日)命名；英文雅可比量”Jacobian”可以发音为[ja ˈko bi ən]或者...

QuickHullFrom Wikipedia, the free encyclopediaMain article:Convex hull algorithmsQuickHullis a method of computing theconvex hullof a finite set of points in the plane. It uses adivide and con

下面代码为PRML所附的基于混合高斯（MoG）的代码，个人认为编码可读性和风格都值得借鉴。function [label, model, llh] = mixGaussEm(X, init)% Perform EM algorithm for fitting the Gaussian mixture model.% Input: % X: d x n data matrix% ini

一、样条函数的定义样条函数属于分段光滑插值，他的基本思想是，在由两相邻节点所构成的每一个小区间内用低次多项式来逼近，并且在各结点的连接处又保证是光滑的(即导数连续)。设在区间[a,b]上给定一组结点X:,和一组对应的函数值。若函数S(x)满足下列条件：(1)在每一个子区间(k=1,2,…n)上，S(x)是一个不超过三次的多项式。(2)在每一个结点上满足S(xi)=yi,i=0,1,…,n。

百度百科介绍：启发式算法（heuristic algorithm)是相对于最优化算法提出的。一个问题的最优算法求得该问题每个实例的最优解。启发式算法可以这样定义：一个基于直观或经验构造的算法，在可接受的花费（指计算时间和空间）下给出待解决组合优化问题每一个实例的一个可行解，该可行解与最优解的偏离程度一般不能被预计。现阶段，启发式算法以仿自然体算法为主，主要有蚁群算法、模拟退火法、神经网络等。...

一步一步理解GB、GBDT、xgboost 　　GBDT和xgboost在竞赛和工业界使用都非常频繁，能有效的应用到分类、回归、排序问题，虽然使用起来不难，但是要能完整的理解还是有一点麻烦的。本文尝试一步一步梳理GB、GBDT、xgboost，它们之间有非常紧密的联系，GBDT是以决策树（CART）为基学习器的GB算法，xgboost扩展和改进了...

集成学习(ensemble learning)可以说是现在非常火爆的机器学习方法了。它本身不是一个单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务。也就是我们常说的“博采众长”。集成学习可以用于分类问题集成，回归问题集成，特征选取集成，异常点检测集成等等，可以说所有的机器学习领域都可以看到集成学习的身影。本文就对集成学习的...

设计分类系统的时候，一个很重要的环节便是特征选择，面对成千上万上百万的特征，如何选取有利于分类的特征呢？信息增益(Information Gain)法就是其中一种简单高效的做法。本文首先介绍理解信息增益(Information Gain)需要的基本概念，之后介绍如何将其运用在特征选择中，最后以stanford-nlp中利用信息增益法实现特征选择的例子结束本文。熵(Entropy)介绍信息增益大法前，

原文地址：http://www.ilovematlab.cn/thread-293710-1-1.html————————————-conv2函数—————————————-1、用法C=conv2(A,B,shape);        %卷积滤波复制代码 A:输入图像，B:卷积核        假设输入图像A大小为ma x na，卷积核B大小为mb x nb，则        当shap

遗传规划算法遗传规划算法请先看一下遗传算法： http://blog.youkuaiyun.com/v_JULY_v/article/details/6132775遗传规划/遗传编程(Genetic Programming)是遗传算法的一个分支，与遗传算法中每个个体是一段染色体编码不同，它的个体是一个计算机程序。 维基上说它在70年代就已经有人实践，不过正式提出应该还是在John R. Koza教授于199

经典算法研究系列：七、深入浅出遗传算法             作者:July    二零一一年一月十二日。本文参考：维基百科  华南理工大学电子讲义  互联网——————————————————————————- 一、初探遗传算法Ok，先看维基百科对遗传算法所给的解释：遗传算法是计算数学中用于解决最优化的搜索算法，是进化算法的一种。进化算法最初是借鉴了进化生物学中的一些现象而发展起来的，这些现象包

介绍在数据挖掘中，经常会存在不平衡数据的分类问题，比如在异常监控预测中，由于异常就大多数情况下都不会出现，因此想要达到良好的识别效果普通的分类算法还远远不够，这里介绍几种处理不平衡数据的常用方法及对比。符号表示记多数类的样本集合为L，少数类的样本集合为S。用r=|S|/|L|表示少数类与多数类的比例基准我们先用一个逻辑斯谛回归作为该实验的基准： Weighted loss function一

关于关联分析算法有一个非常有名的故事：”尿布和啤酒”。故事是这样的：美国的妇女们经常会嘱咐她们的丈夫下班后为孩子买尿布，而丈夫在买完尿布后又要顺手买回自己爱喝的啤酒，因此啤酒和尿布在一起被购买的机会很多。这个举措使尿布和啤酒的销量双双增加，并一直为众商家所津津乐道。起初Apriori算法的提出有效的能发现这种物品间的关联规则，但是Apriori算法频繁的扫描数据集，造成效率低下，在大的数据集上

关于关联分析算法有一个非常有名的故事：”尿布和啤酒”。故事是这样的：美国的妇女们经常会嘱咐她们的丈夫下班后为孩子买尿布，而丈夫在买完尿布后又要顺手买回自己爱喝的啤酒，因此啤酒和尿布在一起被购买的机会很多。这个举措使尿布和啤酒的销量双双增加，并一直为众商家所津津乐道。起初Apriori算法...

   实验：[python] view plain copy print?# coding:UTF-8  #################  # OS_ELM &a

viewmode=contents” rel=”nofollow” target=”_blank”>寒小阳 && 龙心尘 时间：2016年2月。 出处：http://blog.youkuaiyun.com/han_xiaoyang/article/details/50629608 http://blog.youkuaiyun.com/longxinchen_ml/article/detail...

奇异值分解(SVD)原理与在降维中的应用 　　　　奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是...

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.youkuaiyun.com/qq_37423198/article/details/76795426 Bootstrap aggregating自举汇聚法Bagging装袋法1.概念是一种在...

转 机器学习笔记(7)——集成学习(Ensemble Learning) Ensemble Learning1.概念集成学习是指将若干弱分类器组合之后产生一个强分类器。弱分类器（weak learner）指那些分类准确率只稍好于随机猜测的分类器（error rate < 50%）。集成算法成功的关键在于能保证弱分类器的多样性（...

Bloom Filter概念和原理焦萌 2007年1月27日 Bloom Filter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集...