BertDai的博客

本文主要归纳了一下最近看的关于机器学习的一些资料，算是一个survey，主要关注常用算法，不讲细节，就是一个概述。具体的算法描述我给了几个链接，大家可以参考里面的。        首先，如果从训练方法（主要针对有无lable）上对机器学习算法进行分类，可以分成三大类：监督学习，无监督学习和半监督学习。本文就按照这个分类进行讲解。其实还有一种比较流行的划分方式：监督学习，无监督学习和增强学习（R

原文地址：http://mnemstudio.org/path-finding-q-learning-tutorial.htm这篇教程通过简单且易于理解的实例介绍了Q-学习的概念知识，例子描述了一个智能体通过非监督学习的方法对未知的环境进行学习。假设我们的楼层内共有5个房间，房间之间通过一道门相连，正如下图所示。我们将房间编号为房间0到房间4，楼层的外部可以被看作是一间大房间，编号为5。注

最近在研究概率估计，最大似然估计（MLE）和最大后验概率（MAP）都可以用于估计生成样本数据的概率分布。但二者略有区别，进行一下分析：最大似然估计（MLE，Maximum Likelihood Estimation）给定一堆数据，假如我们知道它是从某一种分布中随机取出来的，可是我们并不知道这个分布具体的参数，即“模型已定，参数未知”。例如，我们知道这个分布是正态分布

在“贝叶斯分类——朴素贝叶斯算法”中，我介绍了朴素贝叶斯分类的相关知识。其中的核心思想是利用变量之间的“朴素”性质，计算出联合概率密度。这依赖于朴素贝叶斯分类的一个限制条件，就是特征属性必须有条件独立或基本独立。但现实中各个特征属性间往往并不条件独立，而是具有较强的相关性，这样就限制了朴素贝叶斯分类的适用范围。贝叶斯分类中有一种应用范围更广的算法——贝叶斯网络（又称贝叶斯信念网络或信念网络）。

在机器学习分类算法中，大多数的分类算法，比如决策树，KNN，SVM等，他们都是判别方法，也就是直接学习出特征输出Y和特征X之间的关系，要么是决策函数Y=f(x) ,要么是条件分布P(Y|X)。但是朴素贝叶斯却是生成方法，也就是直接找出特征输出Y和特征X的联合分布P(Y,X)，然后用P(Y|X)= P(Y, X) /P(X)得出。朴素贝叶斯很直观，计算量也不大，在很多领域有广泛的应用。

下面主要整理一下这次参加“2017中国研究生数学建模”的收获：我们选择的是D题，一道计算机视觉（CV）的题目。题目描述:问题概括为一句话其实就是：在不同的背景条件下的监控视频中提取前景目标。主要分成一下几种情况：问题1：内容为静态背景、摄像头稳定的监控视频。问题2：内容为动态背景、摄像头稳定的监控视频。问题3：内容为摄像头发生晃动或偏移时导致抖动的视频。问题4：针对拍摄角度不同、同时拍摄、拍摄内容为近似同一地点的多个监控视频，考虑到多角度视频的相关性综合提取前景目标。问题5：利用所获取前景目

本篇博客对“有模型学习”的两种方法进行介绍，分别是策略迭代和值迭代。我们之前已经说到了MDP可以表示成一个元组（X, A, Psa, R），我们对最优策略的求解方法自然也就与这个元组密切相关：如果该过程的四元组均为已知，我们称这样的模型为“模型已知”，对这种已知所有环境因素的学习称为“有模型学习”（model-basedlearning）；与之对应的就是“无模型学习”，环境因素机器无法得知的，主要是指状态转移概率Pxa。

增强学习（reinforcement learning,RL）是近年来机器学习和智能控制领域的主要方法之一。在增强学习中有三个概念：状态、动作和回报。 “状态（state）”是描述当前情况的。对一个正在学习行走的机器人来说，状态是它的两条腿的位置。对一个围棋程序来说，状态是棋盘上所有棋子的位置。 “动作（action）”是一个智能体在每个状态中可以做的事情。给定一个机器人两条腿的状态或位置，它可以在一定距离内走几步。通常一个智能体只能采取有限或者固定范围内的动作。例如一个机器人的

Andrew Ng教授写的教程确实比较易懂，深入浅出，有理论有例子，个人感觉会比纯理论的书看上去更舒服。索性转载来了我正在看的翻译教程，据说是一群中国人50天翻译出来的，而且放在了Stanford Deep Learning网站上，着实厉害，我辈楷模。

推荐系统里面有两个经典问题：EE和冷启动。前者涉及到平衡准确和多样，后者涉及到产品算法运营等一系列。Bandit算法是一种简单的在线学习算法，常常用于尝试解决这两个问题，本文为你介绍基础的Bandit算法及一系列升级版，以及对推荐系统这两个经典问题的思考。什么是Bandit算法为选择而生我们会遇到很多选择的场景。上哪个大学，学什么专业，去哪家公司，中午吃什么等等。这些事情，都让选择