bluenight专栏

Optimization 优化 PCI里面介绍了两个算法：simulated annealing，模拟退火和genetic algorithms，遗传算法。 无论哪种优化算法，这里都需要一个代价计算函数来判定计算过程中产生的结果的好坏。 sa要设置一个较高的初始温度，按照由快变慢的速度在迭代

  卡内基梅隆大学的研究人员开发出一个永远不会停止学习的人工智能语言学习程序（never ending language learner，简写NELL）。NELL只是简单的连续运行，每天学习更多的英语，因为网络上可汲取的信是没有止境的，何况每天还有更多新的信息加入，因此NELL通过不停的学习最终有一天应该能精通英语。 NELL到目前还只是一个原型(PDF)。它一天运行24小时，一周运行7天，每

ICML: international conference of machine learning ICIP: international conference on image processing ICCV: international conference on computer vision

1: 没有免费的午餐: 对特定问题的先验认识的条件下, 没有最优的分类器. 2: 丑小鸭定理: 对特定问题的先验认识的条件下,没有最优的特征表达. 3: occam razor: 杀鸡焉用牛刀? 小的剃须刀就可以了,干吗用电锯??? keep it simple,stupid. 简单就是美.     爱因斯坦:描述一个问题,解决一个问题,要尽可能的简单,但不要更简单.

流形学习是个很广泛的概念。这里我主要谈的是自从2000年以后形成的流形学习概念和其主要代表方法。自从2000年以后，流形学习

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

ACO Ant Colony Optimization 蚁群算法 AI Artifi

Cross validation is a model evaluation method that is better than residuals. The problem with residual evaluations is that they do not give an indication of how well the learner will do when it is ask

[www.csie.ntu.edu.tw/~cjlin/libsvm /  *LibSVM*] [http://www.cs.waikato.ac.nz/ml/weka/ *Weka*] [http://yale.sf.net/ *Yale*] [http://www.prtools.org/* PRTools*] [http://bnt.sourcefor

目前看到的比较全面的分类算法,总结的还不错. 2.4.1 主要分类方法介绍解决分类问题的方法很多[40-42] ，单一的分类方法主要包括：决策树、贝叶斯、人工神经网络、K-近邻、支持向量机和基于关联规则的分类等；另外还有用于组合单一分类方法的集成学习算法，如Bagging和Boosting等。 （1）决策树 决策树是用于分类和预测的主要技术之一，决策树学习是以实例为基础的归纳

Sigmoid函数，即f(x)=1/(1+e-x)。神经元的非线性作用函数。（-x是幂数） 人工神经网络的学习算法-BP算法 神经网络的学习是基于一组样本进行的，它包括输入和输出（这里用期望输出表示），输入和输出有多少个分量就有多少个输入和输出神经元与之对应。最初神经网络的权值（Weight）和阈值（Threshold）是任意给定的，学习就是逐渐调整权值和阈值使得网络的实际输出和期望输

机器学习现在是一大热门，研究的人特多，越来越多的新人涌进来。 不少人其实并没有真正想过，这是不是自己喜欢搞的东西，只不过看见别人都在搞，觉着跟大伙儿走总不会吃亏吧。 问题是，真有个“大伙儿”吗？就不会是“两伙儿”、“三伙儿”？如果有“几伙儿”，那到底该跟着“哪伙儿”走呢？ 很多人可能没有意识到，所谓的machine learning community，现在至少包含了两个有着完全不同

http://www.lmbe.seu.edu.cn/biology/bess/biology/chapt11/11-1.htm生物信息学（Bioinformatics）这个名词有许多不同的定义。从字面上来看，生物信息学是将信息科学应用于生物学。生物信息学广义的概念是指应用信息科学研究生物体系和生物过程中信息的

对Bayesian一类的东西，除了 NB、AODE等少数几个接近 discriminative 的，我都不是很感冒。并不是看不上那些技法，有时其实还是相当欣赏那些精巧的设计。不感冒的原因，主要是觉得里面的唯心味道太重了。生长在新中国红旗下， 自认为是唯物论者，对唯心的东西有一种心理上的天然抵触。 唯心不能怪老贝，他做Bayes公式本来就是为了证明上帝的存在，没有唯心味道反倒怪了。Prior

相信大家在阅读数据手册的时候都看到Accuracy和Precision这两个词，你能否准确的区别它们，这样能够让你更好的理解数据手册的定义。 Accuracy Accuracy is how close a measured value is to the actual (true) value. Precision Precision is how

线性模型小结     线性模型，顾名思义，就是使用将特征的线性组合得到的超平面划分特征空间的方法。

Ensemble Learning现在基本上就叫集成学习。相关的概念有上面说的多模型系统（这实际上在很大程度上对应了机器学习里面的多专家混合）、Committee Learning、Modular systems、多分类器系统等等。这些概念相互之间有非常密切的联系，但仔细来说还是有些区别。问题是对这些概念的界定，目前并没有什么共识，有时不同的人在用

1、气候监测数据集 http://cdiac.ornl.gov/ftp/ndp026b 2、几个实用的测试数据集下载的网站 http://www.cs.toronto.edu/~roweis/data.html http://www.cs.toronto.edu/~roweis/data.html http://kdd.ics.uci.edu/summary.task.type.h

计算广告学是一门正在兴起的分支学科，它涉及到大规模搜索和文本分析、信息获取、统计模型、机器学习、分类、优化以及微观经济学。计算广告学所面临的最主要挑战是在特定语境下特定用户和相应的广告之间找到“最佳匹配”。语境可以是用户在搜索引擎中输入的查询词(”Sponsored Search”)，也可以是用户正在读的网页(”Content Match”以及”Display Ads”)，还可以是用户正在看的电影

  Surface Computing在学术界里已经研究了良久，最让人震撼的是MIT天才学生（来自印度）的那个介绍自己作品的视频（链接）。Surface Computing其实是一种新的人机交互范式，撇开了传统的人机交互设备：鼠标键盘等。而是通过触摸以及手指的动作来进行操作，用

决策树算法是应用最广泛的分类方法之一[51] 。其核心算法是ID3算法和后来的改进算法C4.5算法。与ID3相比，C4.5主要改进如下：

欧氏距离定义： 欧氏距离（ Euclidean distance）是一个通常采用的距离定义，它是在m维空间中两个点之间的真实距离。 在二维和三维空间中的欧式距离的就是两点之间的距离，二维的公式是 d = sqrt((x1-x2)^+(y1-y2)^) 三维的公式是 d=sqrt(x1-x2)^+(y1-y2)^+(z1-z2)^) 推广到n维空间，欧式距离的公式是

俗话说：“物以类聚，人以群分”，在自然科学和社会科学中，存在着大量的分类问题。所谓类，通俗地说，就是指相似元素的集合。聚类分析又称群分析，它是研 究（样品或指标）分类问题的一种统计分析方法。聚类分析起源于分类学，在古老的分类学中，人们主要依靠经验和专业知识来实现分类，很少利用数学工具进行定 量的分类。随着人类科学技术的发展，对分类的要求越来越高，以致有时仅凭经验

半监督学习已经兴起七八年了吧，但在中国还是刚刚起步罢。 一、Introduction to semi-supervised learning    What is semi-supervised learning and transductive learning?  Why can we ever learn a classifier from unlabeled data?  Does unlabeled data always help?  Which semi-supervised learni

假设数据是均匀采样于一个高维欧氏空间中的低维流形，流形学习就是从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，以实现维数约简或者数据可视化。它是从观测到的现象中去寻找事物的本质，找到产生数据的内在规律。流形学习方法是模式识别中的基本方法，分为线性流形学习算法和非线性流形学习算法，线性方法就是传统的方法如主成分分析（PCA）和线性判别分析（LDA），非线行流形学习算法包括等距映射（Isomap），拉普拉斯特征映射（LE）等 ================

[转载]模糊系统：挑战与机遇并存——十年研究之感悟 王立新 http://www.ee.ust.hk/ece.php http://www.ee.ust.hk/~eewang/ 模糊系统：挑战与机遇并存——十年研究之感悟 王立新 王立新 于1984和1987年在西北工业大学分别获学士和硕士学位 1992年于美南加州大学获博士学位。1993年至今任教

[转载]模糊领域－机遇与争议 下面是王立新教授谈谈他是怎样进入模糊系统这个研究领域的，以及多年来在这个领域从 事研究的观察与体会。 一、我是怎样进入这个模糊领域的 我的本科和硕士是在国内完成的，学的都是传统 的自动控制。当时只听说过模糊数学，没有接触过模糊系统和模糊控制。1989年到美国后，第一年从事神经网络在信号处理中的应用方面的研究，用 Hopfield网

TPAMI = IEEE Transactions on PAMI 这个杂志PAMI 是指 pattern analysis and machine intelligence这两个领域

算法原理 允许同一数据属于多个不同的类。该算法(developed by Dunn in 1973 and improved by Bezdek in 1981)经常用于模式识别，基于最小化

关于Gibbs sampling， 首先看一下Wiki上的解释：Gibbs sampling or Gibbs sampler is an algorithm to generate a sequence of samples from the joint probability distributio

   机器学习，讨论的是如何让计算机程序进行学习。因为现实世界中有很多问题，不能通过直接编程解决，如手写数字识别，自动驾驶等。人们希望计算机程序也能像人一样，从已有的经验中进行学习，来提高它的性能。     那什么是机器学习了？首先来看什么是学习。学习的一般说法是，在经验的作用下，行为的改变。学习有一个要素，那就是经验，学习的结果是行为的改变。如果人经过学习后，并没有改变其行为，则不能称其学

“Yahoo发起了一项学习排序竞赛(Learning to Rank Challenge)作为ICML 2010大会的一部分，任何人可以以个人名义或组队（最多10人）参赛。竞赛3月1日开始，至5月31日结束，6月份公布获奖名单。 竞赛将公布两个之

转贴自:http://lxh1010.yculblog.com/post-143436.html     

元胞自动机与相关理论和方法的发展有着千丝万缕的联系，一方面，元胞自动机的发展得益于相关理论的研究，如逻辑数学、离散数学、计算机中的自动机理论，图灵机思想;另一方面，元胞自动机的发展也促进了一些相关学科和理论(如人工智能、非线性科学、复杂性科学)的发展，甚至还直接导致了人工生命科学的产生。另外，在表现上，元胞自动机模型还与一些理论方法存在着较大的相似性，或者相

PSO粒子群优化算法 1. 引言 粒子群优化算法(PSO)是一种进化计算技术(evolutionary computation)，由Eberhart博士和kennedy博士发明。源于对鸟群捕食的行为研究 PSO同遗传算法类似，是一种基于迭代的优化工具。系统初始化为一组随机解，通过迭代搜寻最优值。但是并没有遗传算

蚁群算法(ACO)是受自然界中蚂蚁搜索食物行为的启发，是一种群智能优化算法。它基于对自然界真实蚁群的集体觅食行为的研究，模拟真实的蚁群协作过程。算法由若干个蚂蚁共同构造解路径，通过在解路径上遗留并交换信息素提高解的质量，进而达到优化的目的。蚁群算法作为通用随机优化方法，已经成功的应用于TSP等一系列组合优化问题中，并取得了较好的

社会计算，英文为Social Computing，中文也译为社会性计算、社交计算、社交性计算等。 什么是社会计算？目前对 此还没有一个明确和公认的定义。笼统而言，社会计算是一门现代计算技术与社会科学之间的交叉学科。不妨从两个方面看这种学科的交叉

大量计算机科学讲座视频（包括算法，数据挖掘，语义网，Agent，AI，信息检索等等