分层高阶回归森林：3D室内场景标注（论文笔记）

论文题目：Hierarchical Higher-order Regression Forest Fields: An Application to 3D Indoor Scene Labelling
 

回归森林->决策数，随机森林->cart算法->gini系数

rgbd（ red green blue depth）

potts

crf->马尔可夫模型，贝叶斯网络->概率图https://www.zhihu.com/question/35866596/answer/236886066

其他参考网页：https://www.cnblogs.com/en-heng/p/6214023.html  + https://blog.youkuaiyun.com/app_12062011/article/details/53665360 

CRF本质上是给定了观察值集合 (observations)的马尔可夫随机场（MRF）

随机场可以看成是一组随机变量的集合（这组随机变量对应同一个样本空间）。当然，这些随机变量之间可能有依赖关系，一般来说，也只有当这些变量之间有依赖关系的时候，我们将其单独拿出来看成一个随机场才有实际意义。

Markov性质是指，对Markov随机场中的任何一个随机变量，给定场中其他所有变量下该变量的分布，等同于给定场中该变量的邻居节点下该变量的分布。这让人立刻联想到马式链的定义：它们都体现了一个思想：离当前因素比较遥远(这个遥远要根据具体情况自己定义）的因素对当前因素的性质影响不大。
 

分类和回归的本质是一样的，都是对输入做出预测，其区别在于输出的类型。

分类问题：分类问题的输出是离散型变量(如: +1、-1)，是一种定性输出。(预测明天天气是阴、晴还是雨)
回归问题：回归问题的输出是连续型变量，是一种定量输出。(预测明天的温度是多少度)。

ID3算法的核心是根据信息增益最大的准则，递归地构造决策树；算法流程如下：

1. 如果节点满足停止分裂条件（所有记录属同一类别 or 最大信息增益小于阈值），将其置为叶子节点；
2. 选择信息增益最大的特征进行分裂；
3. 重复步骤1-2，直至分类完成。

CART算法：

1. 若满足停止分裂条件（样本个数小于预定阈值，或Gini指数小于预定阈值（样本基本属于同一类，或没有特征可供分裂），则停止分裂；
2. 否则，选择最小Gini指数进行分裂；
3. 递归执行1-2步骤，直至停止分裂。

随机森林：https://www.cnblogs.com/fionacai/p/5894142.html

1.  样本的随机：从样本集中用Bootstrap随机选取n个样本

2.  特征的随机：从所有属性中随机选取K个属性，选择最佳分割属性作为节点建立CART决策树（泛化的理解，这里面也可以是其他类型的分类器，比如SVM、Logistics）

3.  重复以上两步m次，即建立了m棵CART决策树

4.  这m个CART形成随机森林，通过投票表决结果，决定数据属于哪一类（投票机制有一票否决制、少数服从多数、加权多数）

 

参考：十大经典数据挖掘算法http://www.cnblogs.com/en-heng/p/5013995.html