机器学习随笔

RNN

普通神经网络，各个输入没有运算连接。

RNN 可以考虑上文信息，实现了上文关联。

BiRNN 在RNN基础上添加了反向的运算，可以考虑下文信息，实现了上下文的关联。

RNN 很难完美处理具有长期依赖的信息。比如，当英文句子很长，RNN无法记住主语的单复数形式从而在后面选择合适的谓词。

LSTM (长短记忆网络)

仅仅依靠一条线连接后面的神经元不足以解决问题，那么就再加一条线好了，这就是LSTM

BiLSTM之一：模型理解_芳樽里的歌的博客-优快云博客_bilstm

BiLSTM是Bi-directional Long Short-Term Memory的缩写，是由前向LSTM与后向LSTM组合而成。

LSTM 与 Bilstm介绍（包含代码实现、Python）_墨痕诉清风的博客-优快云博客_lstm和bilstm

要是没有足够的数据量是用不上lstm的

Lstm 是深度学习模型

数据质量好的话也得十万

围棋是深度强化学习模型

高斯混合模型

高斯混合模型可用于异常检测；通过将模型拟合到数据集然后对新数据点进行评分，可以标记与其余数据显著不同的点（即异常值）。这对于识别欺诈或检测数据收集中的错误很有用。

随机森林

数据随机 特征随机

随机森林模型的优缺点,随机森林模型应用-天道酬勤-花开半夏

bagging算法更倾向于以偏差(标准差)低、方差高的模型作为基学习器

增强融合后模型的泛化能力，降低方差。

方差刻画了模型对数据扰动的敏感程度，越敏感说明数据的微小变动就能导致学习出的模型产生较大差异，因而方差大。

【集成学习】：bagging和boosting算法及对比

【集成学习】：bagging和boosting算法及对比_Mr_health的博客-优快云博客

Bagging和Boosting算法区别

（1）样本选择：

Bagging：训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的。

Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整。

（2）样例权重：

Bagging：使用均匀取样，每个样例的权重相等

Boosting：根据错误率不断调整样例的权值，错误率越大则权重越大。

（3）预测函数：

Bagging：所有预测函数的权重相等。

Boosting：每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重。

（4）并行计算：

Bagging：各个预测函数可以并行生成

Boosting：各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果。

（5）预测结果：

Bagging：趋于降低方差，使模型更稳定。（各个基学习器并行训练，互不干扰，因此每个基学习器的误差实现对独立的。）

Boosting：趋于降低偏差，模型准确率更高。（采用向前分布算法，后一个基学习器需要优化前一个学习器的残差，因此误差越来越小，准确率会更高）

机器学习 刘建平 博客园

刘建平Pinard - 博客园