welcome to daijiguo's blog

1、离散属性会违反独立性假设即原本假设P(A1, A2, …, An |C) = P(A1| Cj) P(A2| Cj)… P(An| Cj)，在离散属性中，会影响这个公式，导致各个类别P(Ci | B) + P(Cj | B) +P(Ck | B)...!= 12、如果属性连续，假设属性服从正态分布，用均值和方差作为分布参数，用此属性的某个特定值的概率密度作为条件概率P(Ai|cj)

矩阵A正定是指,对任意的X≠0恒有X^TAX＞0矩阵A半正定是指,对任意的X≠0恒有X^TAX≥0X^T代表X的转置

原文：http://www.cnblogs.com/surgewong/p/3381438.html快速排序的基本思想是，通过一轮的排序将序列分割成独立的两部分，其中一部分序列的关键字（这里主要用值来表示）均比另一部分关键字小。继续对长度较短的序列进行同样的分割，最后到达整体有序。在排序过程中，由于已经分开的两部分的元素不需要进行比较，故减少了比较次数，降低了排序时间。　　详细描述：首先在

首先，要搞清楚研究对象的类型，是离散的随机变量，还是连续的随机变量。离散的直接用分布律就可以描述了。直白点，分布律就是分布的规律，X取各个值各占的概率都可以由它表示。为了数学上能统一对随机变量进行研究，我们把离散的和非离散型随机变量统一定义了分布函数：（分布函数的定义我就不多说了）为什么要定义分布函数，是因为在很多情况下，我们并不想知道在某样东西在某个特定的值的概率，顶多想知道在某个范围的

1. 分类问题监督学习从数据中学习一个分类决策函数或分类模型，称为分类器（classifier）。分类器对新的输入进行输出的预测，这个过程称为分类。2. 标注问题标注问题也是一个监督学习问题。可以认为标记问题是分类问题的一个推广。标注问题的输入是一个观测序列，输出的是一个标记序列或状态序列。也就是说，分类问题的输出是一个值，而标注问题输出是一个向量，向量的每

极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。求最大似然函数估计值的一般步骤：（

在《斯坦福大学公开课 ：机器学习课程》的第二章，吴老师最后推导出了梯度下降中，最后得到的权系数迭代公式：其中，θi表示权向量的第i个分量，α代表步长，j代表第j个样本，xi代表某个样本的第i个分量。

线性回归中，误差函数一般有最小二乘和最大似然两种方法。求解两个函数的最小值，一般都要用到梯度下降法，不断地取迭代求解函数最小值，以求得理想的系数向量θ。但是，在《斯坦福大学公开课 ：机器学习课程》的第二章中，老师给出了最小二乘法免去梯度下降迭代求解的办法，直接一步得到最理想系数向量θ：其中，x代表样本矩阵，y代表真实值向量。

logistic回归中的权系数迭代公式：其中，θi表示权向量的第i个分量，α代表步长，j代表第j个样本，xi代表某个样本的第i个分量。梯度下降迭代公式如下：乍一眼看过去，跟梯度下降迭代公式及其相似。但是别忘了，它们的hθ()函数是不一样的。逻辑回归中：而梯度下降中：

虽然身为数学系出身，但是基础太不牢靠，机器学习方面又经常涉及到概率论，线性代数等知识，发现自己遗忘很多。偶然碰到《线性代数的本质》，觉得能从几何的角度理解线性代数也是极好的，所以打算将其学习一下。线性变换：线性变换是操纵空间的一种手段，它满足两个特点，1、变换后网格线平行且等距分布。2、且保持原点不动。我们可以用矩阵描述这种变换，举例如下：原来的基向量：i->[1,0]

考虑任意多类（不仅是两类）的分类问题。Exponential model 的形式是这样的：假设第i个特征对第k类的贡献是，则数据点属于第k类的概率正比于。（省略bias）因为一个数据点属于各类的概率之和为1，所以可以得到现在回到两类（0、1）的情况，此时分母上只有两项：分子、分母同除以分子，并设，则有喏，这就是logistic函数。其中参数表

943个用户对1682个电影的100000条评分记录稀疏性：1-(100000/(943*1682))=93.69%

下面引入P类问题的概念：如果一个问题可以找到一个能在多项式的时间里解决它的算法，那么这个问题就属于P问题。P是英文单词多项式的第一个字母。哪些问题是P类问题呢？通常NOI和NOIP不会出不属于P类问题的题目。我们常见到的一些信息奥赛的题目都是P问题。道理很简单，一个用穷举换来的非多项式级时间的超时程序不会涵盖任何有价值的算法。    接下来引入NP问题的概念。这个就有点难理解了，或者说容易理解

拉普拉斯平滑拉普拉斯平滑（Laplace Smoothing）又被称为加 1 平滑，是比较常用的平滑方法。平滑方法的存在时为了解决零概率问题。总结：分子加一，分母加K，K代表类别数目。

#!/usr/bin/env python #encoding: utf-8 import sys #引用sys模块进来，并不是进行sys的第一次加载 reload(sys) #重新加载sys sys.setdefaultencoding('utf8') ##调用setdefaultencoding函数要在调用setdefaultencoding时必须要先reloa

两个事件的独立性:事件 发生与否可能对事件 发生的概率有影响，但也有相反的情况，即有时有                                           P(A | B) = P(A)           (7)这时，P(AB) = P(B)P(A|B) = P(B)P(A)，反过来，若                                     

C:\Python27\Scripts\pip install numpy列出所有已安装库：C:\Python27\Scripts\pip list

sudo apt-get install python-pip

sudo apt-get install python-numpysudo apt-get install python-scipysudo apt-get install python-matplotlib

以下摘自stack overflow：X11 follows a client/server model, where the X server accepts requests for graphical output from client applications (e.g. interactive matplotlib sessions), and sends back use

很多人在用腾讯云做云服务器的时候都遇到这个情况。遇到这个情况是因为腾讯云不能直接用root登陆，开始只能用ubuntu登陆，这个时候我们就需要获得权限啦。首先我么用ubuntu账号登陆 得到下面结果然后我们输入sudo passwd root 得到下面结果这个地方是让我们输入密码，我们需要输入ubuntu的密码，然后再继续root的密

如《推荐系统》(蒋凡译)第117页所给例子，用户ID为234的用户，所有他参与过平分的评分记录有10条，其中选第5,8两行作为测试集，其他8行作为训练集。(a表示随机选取的测试集)step1：通过所有用户的历史评分数据，训练模型，此处暂且用基于用户的推荐作为模型step2：对用户234，对item进行预测评分，已评分的和未评分的item都要预测。假设得到评分元祖如下：{(912,4.8

原文：http://blog.youkuaiyun.com/u010367506/article/details/38777909在机器学习、推荐系统、信息检索、自然语言处理、多媒体视觉等领域，经常会用到准确率(precision)、召回率(recall)、F-measure、F1-score 来评价算法的准确性。一、准确率和召回率(P&R)以文本检索为例，先看下图

推荐算法有两种准确度评价指标：1、预测准确度：比如MAE，RMSE2、分类准确度：分类准确度定义为推荐算法对一个产品用户是否喜欢判定正确的比例。因此 ,当用户只有二元选择时 ,用分类准确度进行评价较为合适。准确率和召回率：        准确率定义为系统的推荐列表中用户喜欢的产品和所有被推荐产品的比率:，准确率表示用户对一个被推荐产品感兴趣的可能性。

之前的视频中讲到的方法都是直接对问题进行求解，比如二类分类问题，不管是感知器算法还是逻辑斯蒂回归算法，都是在解空间中寻找一条直线从而把两种类别的样例分开，对于新的样例只要判断在直线的哪一侧即可；这种直接对问 题求解的方法可以成为判别学习方法（discriminative learning algorithm）。而生成 学习算法则是对两个类别分别进行建模，用新的样例去匹配两个模型，匹配度较 高的

全自动安装：easy_install jieba 或者 pip install jieba半自动安装：先下载http://pypi.python.org/pypi/jieba/ ，解压后运行python setup.py install

通俗的说，启发式算法是指在一个随机的群体寻优过程中，个体能够利用自身或者全局的经验来制定各自的搜索策略。相比最初的穷举迭代搜索或者随机搜索，一个显著的特点就是个体能够基于经验或者个体间经验交流改变搜索方式，是一种有目的或者有策略的方法。再通俗一点就是，咱们都生活在某个小区，你看到你邻居每天晚上摆地摊赚钱，你受到启发也每天去同样的地方摆地摊赚钱，然后越来越多的人发现摆地摊赚钱，就都出来摆地摊了，就这