dream_mushuang的博客

ROC（Receiver Operating Characteristic）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣 # ROC曲线 这里只讨论二值分类器。对于分类器，或者说分类算法，评价指标主要有precision，recall，F-score[^1]   正如我们在这个ROC曲线的示例图中看到

前言 这里讨论的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。 本文以下内容假设读者已经了解机器学习基本知识，和梯度下降的原理。 SGD SGD指stochastic gradient descent，即随机梯度下降。是梯度下降的batch版本。 对于训练数据集，我们首先将其分成n个batch，每个batch包含m个样本。我们每次更新都利用一个bat

Resilient Propagation (RPROP, 弹性传播) 对不同的问题都能用同一套参数, 而且收敛速度比 Backpropagation 快. 它对权重的修改不是正比于梯度 , 而是由梯度和上一轮梯度的符号决定, 如果两轮梯度符号相同, 修改值就乘以 1.2 (弹性加速), 如果两轮梯度符号相反, 修改值就乘以 -0.5 (弹性减速). Manhattan 相似于 RPROP 但