呼呼的博客

CNN公式推导1 前言         在看此blog之前，请确保已经看懂我的前两篇blog【深度学习笔记1(卷积神经网络)】和【BP算法与公式推导】。并且已经看过文献[1]的论文【Notes on Convolutional Neural Networ...

      在《主成分分析》中，我们用到了协方差矩阵，但当时并没有对其进行深入的讨论。为此，本文将针对协方差矩阵做一个详细的介绍，其中包括协方差矩阵的定义、数学背景与意义以及计算公式的推导。若需要本文完整的 PDF 文档，请点击《协方差矩阵详谈》进行下载！作者: pe...

    感谢红兰整理的PPT，简单易懂，现在将其中精彩之处整理，与大家分享。一、Apriori算法简介：  Apriori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集。 Apriori（先验的，推测的）算法应用广泛，可用于消费市场...

这里我省去了很多的数学知识，建议数学比较薄弱的读者可以先看看<信息检索导论>第18章。主要的数学知识包括方阵的特征值、特征向量；方阵的对角化；一般矩阵的奇异值分解及低秩逼近矩阵。这里主要讲解奇异值分解的两个应用PCA(降维)和LSA(潜在语义结构分析)。PCA:之前有详细讲过PCA，见：http://blog.csdn...

       前面的7次笔记介绍的都是分类问题，本次开始介绍聚类问题。分类和聚类的区别在于前者属于监督学习算法，已知样本的标签；后者属于无监督的学习，不知道样本的标签。下面我们来讲解最常用的kmeans算法。1：kmeans算法     &nb...

1：简单概念描述       Adaboost是一种弱学习算法到强学习算法，这里的弱和强学习算法，指的当然都是分类器，首先我们需要简单介绍几个概念。1：弱学习器：在二分情况下弱分类器的错误率会低于50%。其实任意的分类器都可以做为弱分类器，比如之前介绍的KNN、决策树、Na...

1：简单概念描述假设现在有一些数据点，我们用一条直线对这些点进行拟合(该线称为最佳拟合直线)，这个拟合过程就称为回归。训练分类器就是为了寻找最佳拟合参数，使用的是最优化算法。这就是简单的线性回归问题，可以通过最小二乘法求解其参数，最小二乘法和最大似然估计见：http://blog.youkuaiyun.com/lu597203933/ar...

前面介绍的kNN和决策树都给出了“该数据实例属于哪一类”这类问题的明确答案，而有时候的分类并不能给出明确的答案，本节讲解使用概率论进行分类的方法。1：简单概念描述概念比较简单，这里我摘抄自百度百科，很容易理解。朴素贝叶斯模型(NaiveBayesian classification))：—-Vmap=arg ma...

决策树的优势就在于数据形式非常容易理解，而kNN的最大缺点就是无法给出数据的内在含义。1：简单概念描述       决策树的类型有很多，有CART、ID3和C4.5等，其中CART是基于基尼不纯度(Gini)的，这里不做详解，而ID3和C4.5都是基于信息熵的，它们两个...

1：算法简单描述       给定训练数据样本和标签，对于某测试的一个样本数据，选择距离其最近的k个训练样本，这k个训练样本中所属类别最多的类即为该测试样本的预测标签。简称kNN。通常k是不大于20的整数，这里的距离一般是欧式距离。2：python代码实现创建一个...

1：如何选择合适的算法2：python简介(1)   python的优势：相对于matlab，matlab单个软件授权就要花费数千美元，也没有一个有影响力的大型开源项目。相对于c++/c/java，完成简单的操作就需要编写大量的代码；而如今我们应该花费更多的时间去处理数据内在的含义，而无需...

Apriori算法也属于无监督学习，它强调的是“从数据X中能够发现什么”。从大规模的数据集中寻找物品之间隐含关系被称为关联分析或者称为关联规则学习。这里的主要问题在于，寻找物品的不同组合是一项十分耗时的任务，所需的计算代价很高，蛮力搜索并不能解决这个问题。因此此处介绍使用Apriorio算法来解决上述问题。1：简单概念描述(1)&n...

今天要讲的主要内容是协同过滤，即Collaborative Filtering，简称CF。 Contents    1. 协同过滤的简介   2. 协同过滤的核心   3. 协同过滤的实现   4....