cjianwyr的博客

线性模型回顾我们回顾一下之前的三种线性模型，它们的共同点是都要对输入的数据x做一个加权的分数s。下图表示了这三种不同的线性模型的表示方式、误差函数和求解最小的Ein的方法。这里可以看出，PLA算法这种线性分类模型，在求解Ein的时候是很困难的，相对而言，线性回归和logistic回归都有各自求解Ein的方法，那么我们能不能用这两种回归的计算方法来帮助

引言朴素贝叶斯由贝叶斯定理延伸而来的简单而强大的概率模型，它根据每个特征的概率确定一个对象属于某一类别的概率。该方法基于一个假设，所有特征需要相互独立，即任一特征的值和其他特征的值没有关联关系。虽然这种条件独立的假设在许多应用领域未必能很好满足，甚至是不成立的。但这种简化的贝叶斯分类器在许多实际应用中还是得到了较好的分类精度。训练模型的过程可以看作是对相关条件概率的计算，它可以用统计对

这篇文章中我想由beta分布-二项分布这组常用的共轭分布来介绍Bayesian概念学习(concept learning)。在开始之前，我想先回答两个问题。第一，机器学习中为什么要引入概率？在机器学习中，我们通过已知的信息希望能够推断出一些未知的信息，但在推断过程中有时并不能唯一确定目标值，这时便可以使用概率来体现各个可能目标值的可能性。例如，KNN(K Nearest Neigh

你是一名经验丰富的程序员，但是bug仍然暗藏在你的代码中。实现一个极其困难的算法后，你决定在一个简单的例子上测试自己的代码。过了。然后在一个稍稍困难的问题上进行测试，还是过了。接着这样下去，更加复杂的问题，都过了！你开始相信自己的代码莫有问题了～如果你这样子进行思考，那么祝贺你，你是在如贝叶斯主义者那样进行思考！贝叶斯推断只是简单地在考虑了新的证据后，更新你的信念。贝叶斯主义者很少对于一个

多项变量(Multinomial Variables)二元变量是用来描述只有两种可能值的量，而当我们遇到一种离散变量，其可以有K种可能的状态。我们可以使用一个K维的向量x表示，其中只有一维xk为1，其余为0。对应于xk=1的参数为μk，表示xk发生时的概率。其分布可以看做是伯努利分布的一般化。现在我们考虑N个独立的观测D={x1,...,xN}，得到其似然函数。如图：

. 认识Beta/Dirichlet分布 2.1 魔鬼的游戏—认识Beta 分布统计学就是猜测上帝的游戏,当然我们不总是有机会猜测上帝，运气不好的时候就得揣度魔鬼的心思。有一天你被魔鬼撒旦抓走了，撒旦说：”你们人类很聪明，而我是很仁慈的，和你玩一个游戏，赢了就可以走，否则把灵魂出卖给我。游戏的规则很简单，我有一个魔盒，上面有一个按钮，你每按一下按钮，就均匀的输出一个[0,1]之间的随机

比例混合分布(Scale Mixture Distribution)混合分布是来自其他随机变量的集合构成的随机变量的概率分布：一个随机变量是根据给定的概率从集合随机选取的，然后所选随机变量的值就得到了( first, a random variable is selected by chance from the collection according to given probabil

在之前的一篇文章[机器学习-Bayesian概念学习,简书]中提到了一组常用的共轭分布，beta分布-二项分布，它们都是离散型的概率分布，而一组更一般的离散型共轭分布为Dirichlet分布-多项分布。共轭分布一般用在我们需要给参数加先验条件时，为了使运算式子保持统一的形式从而简化计算，通常我们会采取共轭分布，更一般地，可以考虑共轭分布的线性组合，同时兼顾了先验分布的合理性。而在常见的连续

最近在上一门stochastic calculus的课程，其中第一次碰到了概率空间上条件期望[conditional expectation, wikipedia]的概念，刚开始觉得有些难以理解和接受，仔细想了想有了一些心得体会，在这里分享一下。首先是条件期望的定义：这里的随机变量X是一个从概率空间\Omega到欧式空间R^n的可测函数，它的条件期望E[X|HH](我用

引言贝叶斯方法是天生用来做推断的方法，然而它常隐藏在课本的数学分析的背后。随着近年来贝叶斯方法在机器学习竞赛中成功应用，其重要性又引起了学习者的兴趣，但是其难点在于贝叶斯数学和概率编程之间的衔接。《Probabilistic Programming and Bayesian Methods for Hackers》一书试图弥补以上的遗憾。有关概率编程和贝叶斯方法的实验，我将以该

1. SVM算法原理支持向量机（Support Vector Machine）算法需理解清楚三个关键点：间隔，对偶问题，核技巧。1.1 求解目标对于线性可分的样本，找到一个超平面使得两个样本距离这个超平面的间隔最大。这样做的目的是为了减小模型的泛化误差（为什么？参见文献6）。如下图中，超平面H3就优于H2，因为两个样本距离超平面H3的间隔更大。来源：参考文献

引言核方法是20世纪90年代模式识别与机器学习领域兴起的一场技术性革命。其优势在于允许研究者在原始数据对应的高维空间使用线性方法来分析和解决问题，且能有效地规避“ 维数灾难”。在模式识别的特征抽取领域，核方法最具特色之处在于其虽等价于先将原数据通过非线性映射变换到一高维空间后的线性特征抽取手段，但其不需要执行相应的非线性变换，也不需要知道究竟选择何种非线性映射关系。目前，核方法已大量应用到

soft binary classificationLogistics回归模型要解决的是分类问题，在之前的二元分类问题中，我们将数据分成正例和负例，但是像PLA算法一样，用单位阶跃函数来处理的这种瞬间跳跃的过程有时很难处理。于是，我们希望能得到正例的概率值是多少。logistic regression的假设我们在PLA和线性回归算法中都用数据的加权来计算一个分数

With the development of machine learning and the abundant benefit that follows in the past few decades, humans are becoming more and more obsessed with machine learning, and dreaming for a future that

译自wikipedia＃ 基础The Hinge Loss 定义为 E(z) = max(0,1-z)，在图中是蓝色的线所表示的那个，the Log Loss 为红色的线所表示，而 the Square Loss 是绿色 the misclassification error 用黑色表示。Figure 1Figure 1 来自 Chris Bishop's PR

引言上一小节，我们引入了VC维的概念，用它来描述假设集合的表达能力。这一小节中，我们将从VC维的物理意义出发，进一步学习如何根据VC维传达的信息来选择模型和假设集合。VC维的物理意义如果我们将假设集合的数量|H|比作假设集合的自由度，那么VC维就是假设集合在做二元分类的有效的自由度，即这个假设空间能够产生多少Dichotomies的能力（VC维说的是，到什么时候，假设集合还

引子系统的学习机器学习课程让我觉得受益匪浅，有些基础问题的认识我觉得是非常有必要的，比如机器学习算法的类别。为什么这么说呢？我承认，作为初学者，可能无法在初期对一个学习的对象有全面而清晰的理解和审视，但是，对一些关键概念有一个初步并且较为清晰的认识，有助于让我们把握对问题的认识层次，说白了，就是帮助我们有目的的去学习新的知识，带着问题去学习，充满对解决问题的动力去实验，我觉得这种方式是

引入监督学习的任务就是学习一个模型（或者得到一个目标函数）,应用这一模型，对给定的输入预测相应的输出。这一模型的一般形式为一个决策函数Y=f(X)，或者条件概率分布P(Y|X)。监督学习方法又可以分为生成方法(generative approach)和判别方法(discriminative approach)。所学到的模型分别为生成模型(generative model)和判别模型(d

机器学习是什么“机器学习”是人工智能的核心研究领域之一， 其最初的研究动机是为了让计算机系统具有人的学习能力以便实现人工智能。事实上，由于“经验”在计算机系统中主要是以数据的形式存在的，因此机器学习需要设法对数据进行分析，这就使得它逐渐成为智能数据分析技术的创新源之一。机器学习是构建复杂系统的一种方法，也许依靠我们的脑力把处理一个问题的所有规则写成程序可能不容易做到，那么我们就让机

1、 概念　　svm(Support Vector Machine,支持向量机)是一种线性分类器，于1995年由Cortes和Vapnik提出，目前已经应用在手写体识别以及文本分类等领域。　　svm建立在统计学习理论中的VC维理论和结构风险最小化的基础之上，在模型的复杂度和学习能力之间寻求最佳折衷，以期获得最好的推广能力，所得到的分类器一般是全局最优的。2、特点输入样本

引言广义逆高斯作为一种含义丰富的概率分布，其参数为特定值时又衍生出几种经典有用的分布，现做一整理介绍。广义逆高斯分布(Generalized Inverse Gaussian Distribution)广义逆高斯分布的概率密度函数为：其中，Kp是a>0且b>0的第二类修正贝塞尔函数(Modified Bessel function of the seco

σ代数令X是一个样本空间(sample space)Ω的所有子集(subsets)的集合的一个子集，那么集合X被称为σ代数（σ-algebra）又叫σ域（σ-field）。它有以下几个性质：（1）Φ∈X；(Φ为空集)（2）若A∈X，则A的补集A^c∈X；（3）若Ai∈X（i=1,2,…）则∪Ai∈X；可测空间Ω是任意集合，而X是把Ω中的极端情况去

在我最近研究的stochastic bandit问题中，假设每个arm得到的reward是服从一个特定的分布，最后需要研究的regret函数与分布的均值相关，因此如何从目前得到的reward信息来估计真实的均值在这个研究中是一个很基本的问题。具体可以参见我之前的一篇文章[机器学习－bandit问题简介]。当然普遍来讲，对于均值的准确有效估计是一个很基本的问题，在各种stochastic问题中都有它

AlphaBeta算法是根据Minimax算法得来的，首先我们必须明白MiniMax算法的思想。Minimax算法常用于棋类等由两方较量的游戏和程序。该算法是一个零总和算法，即一方要在可选的选项中选择将其优势最大化的选择，另一方则选择令对手优势最小化的方法。而开始的时候总和为0。   但是如果实际中使用Minimax算法，由于搜索深度和可能的情况很多，算法的效率很不理想，其实并没有必要每个

本博文来自于：http://www.cnblogs.com/zcsor/archive/2012/12/25/2832820.html      经过这半年左右的学习和探索，现在对五子棋AI有了一定的认识，给大家发出来现在的版本。因为最近有些事情很生气，要是年轻时真就先灭了这些王八羔子，省的它们继续祸害好人。不过它们也祸害不了几天了，祸害人者人祸害之。心情不好，就少打几个字，说一下基本

10.11更新了下载地址 ——————————————————   大家好，说好的一个月一发的五子棋也横空出世了，这个五子棋可以说是上一个圈圈叉叉的升级版（所以建议新手先看看教程1） 这个文章后面逻辑层部分比较混乱   请结合UI层一起看.. 欢迎大家下载这个游戏来玩~，我目前还没有发现什么Bug，玩的方式也和圈圈叉叉很类似....玩完之后可以拖进度条看录像... 自我感觉

原帖及讨论：http://bbs.bccn.net/thread-154777-1-1.html*/ --------------------------------------------------------------------------------------*/ 出自： 编程中国  http://www.bccn.net*/ 作者： jig        */ 时间

2016年03月17日11:04    新浪体育 微博我有话说(137人参与) 收藏本文人机大战　　公众号 数据精简DataSimp　　数据精简DataSimp分享：信息与数据挖掘分析、数据科学研究前沿、数据资源现状和数据简化基础的学科知识、技术应用、产业科研、人物机构、新闻活动等信息。欢迎大家积极参与投稿，为数据科学产学研做贡献，使国人尽快提高人类信息

看到了正在进行的圆桌对弈人工智能，想邀请嘉宾来讲讲它的工作原理如何？其中应用了哪些技术？相关问题：如何评价第二局比赛 AlphaGo 又一次战胜李世石？ - 人工智能人类有什么破解的方法？2 条评论 分享默认排序按时间排序40 个回答2294赞同反对，不会显示你的姓名袁行远 

2016年1月28日，Google Deepmind在Nature上发文宣布其人工智能围棋系统AlphaGo历史性的战胜人类的职业围棋选手！这条重磅新闻无疑引起了围棋界和人工智能界的广泛关注！3月份AlphaGo对阵李世石的比赛更将引起全人类的目光！是什么使围棋算法产生了质的飞跃？要知道，在之前最好的围棋程序也只能达到业余人类棋手的水平。是真的人工智能产生了吗？对于大多

编者注：本文作者系出门问问 NLP 工程师李理，他在这篇文章详细叙述了AlphaGo 人工智能背后的细节。前言：人生如棋回顾一下我的人生，似乎和棋是有一些关联的。编者注：本文作者出门问问1997 年中考后的暑假在姑父公司的机房第一次接触电脑，当时应该是 80386 的微机。学习电脑就是学习 DOS 命令和打字，完全不懂干什么用的，打字尤其是五笔字型，更是学得头疼——王旁青头

关于AlphaBeta剪枝的文章太多，这个方法是所有其它搜索方法的基础，得多花些时间认真地理解。先把基本概念再回顾一遍：节点：在中国象棋中就是一个棋盘的当前局面Board，当然该轮到谁走棋也是确定的。这里的圆形节点表示终止节点，在中国象棋里就是一方被将死的情况（或者到达了搜索的最大深度），后续不会再有着法产生，游戏如果走到这里就会结束。在引擎里通常给红方一个很大的评估值，如+30000，给

许南山丛磊孙风平（北京化工大学信息科学与技术学院，北京１０００２９）摘要介绍了传统人机博弈ＰＶＳ（ＰｒｉｎｃｉｐａｌＶａｒｉａｔｉｏｎＳｅａｒｃｈ，主要变例搜索）算法，并在历史启发的基础上，设计了利用多处理器及超线程技术计算速度更快的并行ＰＶＳ算法，并在算法中加入了自学习能力，使五子棋ＡＩ模拟人的思维。关键词ＡＩＰＶＳ并行自学

又是本人一份人工智能作业……首先道歉，从Word贴到Livewrter，好多格式没了，也没做代码高亮……大家凑活着看……想做个好的人机对弈的五子棋，可以说需要考虑的问题还是很多的，我们将制作拥有强大AI五子棋的过程分为十四步，让我来步步介绍。第一步，了解禁手规则做一个五子棋的程序，自然对五子棋需要有足够的了解，现在默认大家现在和我研究五子棋之前了解是一样多的。以这个为基础，介绍多数

引言我感觉学习机器学习算法还是要从数学角度入门才是唯一正道，机器学习领域大牛Michael I. Jordan给出的机器学习定义是，“A field that bridge computation and statistics,with ties to information theory, signal processing, algorithm, control theory and

概念学习许多机器学习问题涉及从特殊训练样例中得到一般概念。比如人们不断学习的一些一般概念和类别。每个概念可被看作一个对象或事件集合，它是从更大的集合中选取的子集（如从动物的集合中选取鸟类），或者是在这个较大集合中定义的布尔函数（如在动物集合中定义的函数，它对鸟类返回true，对其他动物返回false）。小孩理解一个词义的例子考虑一个小孩子理解“狗”这个词的意义。假设当小孩的

黑客级概率程序设计和贝叶斯方法揭开MCMC的神秘面纱前面两章对读者隐藏了PyMC的内部机制，也就是Markov chain Monte Carlo（MCMC）。我们引入本章目的有三。第一点，任何关于贝叶斯推断的书籍肯定会讨论MCMC。我无法抗拒此点。要抱怨就去找那些统计学家吧。：）第二点，知道MCMC的过程会给你关于算法收敛的理解。（收敛什么？等会我们再介绍。）第三点，我们会弄

版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]作者： 龙心尘&&寒小阳 时间：2015年11月。 出处： http://blog.youkuaiyun.com/longxinchen_ml/article/details/50082873 http://blog.youkuaiyun.com/han_xiaoyang/article/det

版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]作者： 龙心尘&&寒小阳 时间：2015年12月。 出处： http://blog.youkuaiyun.com/longxinchen_ml/article/details/50281247 http://blog.youkuaiyun.com/han_xiaoyang/article/det

版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]作者：寒小阳 && 龙心尘 时间：2016年4月 出处： http://blog.youkuaiyun.com/han_xiaoyang/article/details/51253274 http://blog.youkuaiyun.com/longxinchen_ml/article/deta