weixin_42108090的博客

在提出RPN之前候选区域如何生成2013年，R-CNN提出了两阶段目标检测，分为region proposal 阶段和区域分类与精细化阶段。在上图中，R-CNN 首先使用一种称为selective search的技术从输入图像中提取出感兴趣的潜在区域。selective search并不真正尝试理解前景目标，相反，它依靠启发式方法对相似的像素进行分组: 相似的像素通常属于同一个目标。因此，selective search的结果很有可能包含一些有意义的内容。接下来，R-CNN 将这些 region p

Slim 评价指标（Metrics）slim提供了很多评价指标操作（metric operation），这些op使得模型的评估变得容易。理论上，计算评价指标的值能够被分为三部分：初始化(Initialization)：初始化评价指标相关的一些variables；聚合(Aggregation)：执行很多计算评价指标需要的操作（sum等）；最终操作(Finalization)：(可选) 执行任何计算评价指标的最终操作。例如，计算均值（means）、最小值（mins）、最大值（maxes）等。ima

我们有一个预训练好（pre-trained）的VGG16模型。这个模型是在1000类的ImageNet数据集上训练的。但是，我们想要将它应用到只有20类的Pascal VOC数据集上。为了达到这个目的，我们可以用预训练好的模型的参数来初始化我们的新模型（除了最后一层）：# Load the Pascal VOC dataimage, label = MyPascalVocDataLoader(...)images, labels = tf.train.batch([image, label], bat

import tensorflow as tfimport tensorflow.contrib.slim.nets as netsslim = tf.contrib.slimvgg = nets.vgg...train_log_dir = ...if not tf.gfile.Exists(train_log_dir): tf.gfile.MakeDirs(train_log_dir)with tf.Graph().as_default(): # Set up the dat

# Load the images and labels.images, scene_labels, depth_labels, pose_labels = ...# Create the model.scene_predictions, depth_predictions, pose_predictions = CreateMultiTaskModel(images)# Define the loss functions and get the total loss.classificati

def vgg16(inputs): with slim.arg_scope([slim.conv2d, slim.fully_connected], activation_fn=tf.nn.relu, weights_initializer=tf.truncated_normal_initializer(0.0, 0.01), weights_regularizer=sl

BCEloss(o,t)=−1N∑i(t[i]⋅log(o[i])+(1−t[i])⋅log(1−o[i]))loss(o,t)=-\frac{1}{N}\sum_i(t[i]\cdot log(o[i])+(1-t[i])\cdot log(1-o[i]))loss(o,t)=−N1​i∑​(t[i]⋅log(o[i])+(1−t[i])⋅log(1−o[i]))其中t为标签，只包含{0，1}，o为预测值。编程实现和 pytorch 内部函数的对比import torchimport torch

SWA is a simple procedure that improves generalization in deep learning over Stochastic Gradient Descent (SGD) at no additional cost, and can be used as a drop-in replacement for any other optimizer in PyTorch. SWA has a wide range of applications and feat

ROC曲线ROC曲线，受试者操作特征曲线。ROC曲线横轴为假阳性率(False Positive Rate,FPR)FPR=FPN=FPFP+TNFPR=\frac{FP}{N}=\frac{FP}{FP+TN}FPR=NFP​=FP+TNFP​ROC曲线纵轴为真阳性率(True Positive Rate,TPR)TPR=TPP=TPFN+TPTPR=\frac{TP}{P}=\frac{TP}{FN+TP}TPR=PTP​=FN+TPTP​理想目标：TPR=1，FPR=0,即图中(0,1)

要理解 GBDT，首先就要理解这个 Boosting。Boosting 是一族可将弱学习器提升为强学习器的算法，属于集成学习（ensemble learning）的范畴。Boosting 方法基于这样一种思想：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断要好。基于梯度提升算法的学习器叫做 GBM(Gradient Boosting Machine)。理论上，GBM 可以选择各种不同的学习算法作为基学习器。GBDT 实际上是 GBM 的一种情况。为什么

LR（Logistic Regression）虽然是回归模型，但却是经典的分类方法。对于二分类问题SVM，输出样本是正类还是负类；LR，输出样本是正类的概率。

等式约束优化问题这是一个等式约束优化问题：构造拉格朗日函数（拉格朗日乘数法求条件极值）：联立方程组：得到的解即为可能的极值点。可以联想到：等式约束下的Lagrange乘数法引入了lll个Lagrange乘子，或许我们可以把λk\lambda_kλk​也看作优化变量（xix_ixi​就叫做优化变量）. 相当于将优化变量个数增加到(n+l)(n+l)(n+l)个，xix_ixi​与λk\lambda_kλk​一视同仁，均为优化变量，均对它们求偏导.不等式约束优化问题转化化归： 不等式约

Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector MachinesSMO算法由Microsoft Research的John C. Platt在1998年提出，并成为最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。This paper proposes a new algorithm for training support vector machines: Sequential M

不能用于RNN的正则化方法包括Dropout, BN[1] Dropout, the most successful technique for regularizing neural networks, does not work well with RNNs and LSTMs.Existing regularization methods give relatively small improvements for RNNs Graves (2013). In this work, we show

在机器学习中，hinge loss是一种损失函数，它通常用于"maximum-margin"的分类任务中，如支持向量机。数学表达式为：其中 y^\hat{y}y^​ 表示预测输出，通常都是软结果（就是说输出不是0，1这种，可能是0.87。）， y 表示正确的类别(标签)。如果 yy^<1y\hat{y}<1yy^​<1 ，则损失为： 1−yy^1-y\hat{y}1−yy^​如果 yy^≥1y\hat{y}\ge1yy^​≥1 ，则损失为：0SVM的损失函数就是Hinge l

在构建的过程中，首先设计主要的网络原型，原型基于 YOLO 网络家族中的单阶段目标检测网络架构。然后，将原型和机器驱动的设计探索策略结合，创建一个紧凑的网络。这个网络是高度定制化的，在模块级别上有着宏架构（macro-architecture）和微架构（micro-architecture），可用于嵌入式目标检测任务。原型主体网络设计首先是设计主要的网络原型，研究者创建了一个原始的架构（表示为ϕ），用于引导机器进行后续的探索设计。具体而言，研究者设计的网络基于 YOLO 家族中的单阶段目标检测架构。机

联邦学习与隐私保护

元学习初步1998年，Thrun和Pratt指出，对于一个指定的任务，一个算法“如果随着经验的增长，在该任务上的表现得到改进”，则认为该算法能够学习。与此同时，对于一族待解决的多个任务，一个算法“如果随着经验和任务数量的增长，在每个任务上的表现得到改进”，则认为该算法能够学习如何学习，我们将后者称为元学习算法。它不学习如何解决一个特定的问题，但可以成功学习如何解决多个任务。每当它学会解决一个新...