那时那月那人-优快云博客

论文主要提出了一个weight tying概念作者在introduction中提出模型输入有个input embedding U 输出有个output embedding V 两个举证维度same size 而且两者都可以作为word embedding然后作者compare the quality of the input embedding to that of the output embedding 然后提出了下面几个方式可以用来improve neural network lang...

2020-12-24 13:51:59 447

原创 MTCNN源码详细解读（3）- RNet的训练和数据集的构建

MTCNN源码详细解读（1）- PNet/RNet/ONet的网络结构和损失函数MTCNN源码详细解读（2）- PNet的训练和数据集的构建在此之前我们先分析下训练RNet和训练PNet的区别:1 训练PNet时的候选框是random生成的2 R训练之前需要用到训练好的PNet预测出候选框（置信度大于一定阈值），然后计算PNet预测出的候选框和gtbox之间的偏移量3 每张图片会生成金字塔图像下面就是具体实现# 得到初始的scale 和min_face_size取值有关代码中是24 所以

2020-12-20 08:01:38 1578 4

原创 MTCNN源码详细解读（2）- PNet的训练和数据集的构建

代码地址 https://github.com/AITTSMD/MTCNN-TensorflowMTCNN源码详细解读（1）-PNet的网络结构和损失函数这篇博客主要分析PNet的数据准备和训练从下面几个文件入手:Run prepare_data/gen_12net_data.pyRun gen_landmark_aug_12.pyRun gen_imglist_pnet.pyRun gen_PNet_tfrecords.py首先分析 gen_12net_data.py这个文件主要做了一件

2020-12-19 21:34:25 1527 1

原创 MTCNN源码详细解读（1）- PNet/RNet/ONet的网络结构和损失函数

代码地址 https://github.com/AITTSMD/MTCNN-Tensorflow这里我就不在进行MTCNN的介绍了。默认各位已经熟知MTCNN的网络结构和训练过程Talk is cheap, just show me the code。MTCNN主要分为三个网络 PNet RNet ONet其中PNet是个全卷积网络这是和RNet ONet最大的区别由于篇幅有限分成多个来进行讲解MTCNN源码详细解读（2）- PNet的训练和数据集的构建def P_Net(inputs,

2020-12-19 19:42:30 4079 1

原创近似最近邻算法HNSW伪代码分析

最近在看最邻近算法的HNSW论文，这里对里面的几个算法的伪码进行下分析记录。如果想看源码先明白伪码才能更好理解源码。算法1 插入INSERT(hnsw, q, M, Mmax, efConstruction, mL)/*** hnsw 表示输出的hnsw图结构 q 插入点 M 每个点设置的连接数由用户自己设置 Mmax 允许的最大连接数 efConstruction 动态候选集的大小大于M mL 选择具体层数是用到的参数**/Input:

2020-11-28 15:53:24 860 1

原创 Fast R-CNN RoI pooling layer caffe源码解析

Fast R-CNN中提出了Roi pooling层的概念对于rolpooling层的的介绍就不多说了网上已经有很多介绍，作用如下：在目标检测算法中，region proposal产生的ROI大小不一，而分类网络的输入要固定的输入，所以ROI Pooing起到一个连接作用，实现了网络的end to end.下图为一个特征图，黑色框为产生的ROI区域，需要把该区域通过ROI Pooing操作输出为2x2大小的维度对每个分割的区域用max pooing操作得到前向传播的代码h.

2020-11-07 22:43:14 392 7

原创 Faster RCNN源码解析之-RPN网络

Faster-RCNN的内容这里就不进行解析了不熟悉的推荐去这篇链接去看下方便后续代码解析一文读懂Faster RCNN网络结构如上图RPN region proposal network 区域建议网络什么意思呢就是给后续fast rcnn提供region用来训练的RCNN 和 Fast RCNN 都是采用的 Selective search 来生产region 如 RCNN 中说的While R-CNN is ag- nostic to the particular ...

2020-11-07 20:43:07 638

原创 Facenet triplet loss和center loss源码解析Tensorflow版本

源码地址：https://github.com/davidsandberg/facenetFacenet 提出了triplet loss 一种新的损失函数计算方式。引入三元组概念 anchor positive negative损失函数定义为: L =dist(a,p)− dist(a,n) + alpha 训练就是为了尽可能减小loss 也就是将 dist(a, p) + alpa...

2020-03-23 15:59:57 1017

原创 SSD caffe源码详细分析

源码地址：https://github.com/weiliu89/caffe/tree/ssd关于分析ssd分析的博客网上有很多，我这里就不再进行分析了。我就从源码的角度分析下ssd的实现。由于不可能将源码全部都解析一遍。这里我只分析下ssd的重点。prior box 的生成和 positive ，negative的生成策略。源码对于其实现是在下面三个文件中src/caffe/laye...

2020-03-22 19:08:12 852

原创 LRN(Local Response Normalization）局部归一化分析

其中LRN的公式如下：论文中说 Denoting by aix,y the activity of a neuron computed by applying kernel i at position (x, y) and then applying the ReLU nonlinearity, the response-normalized activity bix,y is given...

2020-03-06 14:22:17 978

原创 Dilated Convolution和普通感受野计算的python实现

感受野的计算公式如下：r1=1,strides=1rn = rn-1 + (fn - 1)*strides rn表示第n层的感受野striden = strides= stride1*stride2*...*striden-1这里对Dilated/Atrous Convolution的感受野计算也进行下实现其实Dilated/Atrous Convolution理解起来...

2020-02-19 12:11:09 689

原创 Linear Regression分析概率解释和SVD优化

线性回归可以说是最简单模型。给定训练数据 D={ xi, yi} i=1,2,...n，其中，回归学习一个从输入x 到输出y的映射 f且f是一个线性函数y= f (x|w)=w.Tx如果损失函数采用RSSJ(w) = ∑(yi -w.Txi)^2 i=1,2...n如果没有正则项就等价于最小二乘线性回归正则项采用L2时得到Ridge回归模型，正则项为L1得到La...

2020-02-17 18:02:19 430

原创 Affinity Propagation算法的python实现和分析

Affinity Propagation 算法更新方式很简单就是更新 r矩阵在更新a矩阵公式如下：其中 s是相似度矩阵一般直接可以采用距离来表示相似度r 表示吸引度 a归属度这里就用选举来进行形象讲解下对于公式1就好比是一个投票阶段 s(i, k)表示i 选k作为总统(聚类中心)的合适度用r(i, k) 表示选k作为总统的意向有多大直观来说直...

2020-02-16 15:00:44 1119

原创 kmeans算法python实现

import numpy as npimport matplotlib.pyplot as pltfrom sklearn.datasets import make_blobsdef calc_distance(dataset, centroids): n, l = dataset.shape m, l = centroids.shape dataset = d...

2020-02-15 15:06:21 265

原创 YOLO系列 yolov1 keras实现

github 地址:https://github.com/xiaoxu1025/yolo此代码这是一个学习记录，分享出来给新手参考更加理解其原理yolo是把分类检测当成回归问题来设计的其中yolov1 有几个缺点靠近的物体会出现竞争，无法全部检测，因为每个网格值检测2个边框处理的是同一个物体并让与gt_box的iou较大的负责就如论文中所说YOLO predic...

2020-02-03 13:09:32 2306 1

原创 R-FCN keras实现代码详细分析

代码地址https://github.com/xiaoxu1025/r-fcn对于看了论文一知半解的朋友可以看看我的RCNN系列的实现。优快云链接地址：https://blog.youkuaiyun.com/xiaoxu1025/article/details/104134569RCNN系列之-RCNN keras实现https://blog.youkuaiyun.com/xiaoxu1025/...

2020-02-02 12:53:29 1125 3

原创 Faster-RCNN源码之RPN详细分析

这篇博客只是用来做个记录记录看源码的理解也和大家一起分享下。源码地址：https://github.com/kevinjliang/tf-Faster-RCNNRPN 也就是 region proposal networks 就是区域建议网络通俗点将就是给fast-rcnn roipooling层提供rois 方便后续训练和测试RPN源码主要由以下几个文件组成faster_r...

2020-01-25 20:29:06 466

原创 Recall And Precision

precision和recall的计算公式总是忘记这篇博客用来记录下precision 是针对预测结果的precision = TP / (TP + FP)recall 是针对原样本的recall = TP / (TP + FN)图示为：...

2020-01-23 15:58:56 439

原创 PCA SVD公式推导记录

PCA 主要是用协方差矩阵的特征向量来推导假设P作为一组正交基构成的矩阵乘以X得到映射YY = PX 记X的协方差矩阵为C 则 C = 1/m* XX.T (m为样本数X.T记为转置)记Y的协方差矩阵为D Y.T是Y的转置D = 1/m * YY.T = 1/m * PXX.TP=P(1/m * XX.T)P.T=PCP.T D的协方差矩阵应为对角阵可以推出P应...

2020-01-01 20:00:14 271 6

原创 ROIAlign源码详细解析

ROI Align 是在Mask-RCNN这篇论文里提出的一种区域特征聚集方式, 很好地解决了ROI Pooling操作中两次量化造成的区域不匹配(mis-alignment)的问题。其中ROI Align用的是双线性插值(内插)来实现的，在分析源码前我们先来了解下什么是双线性插值。插值定义：函数 y=f(x)在区间[a, b]上(n+1)个互异点xi(i=0,1,2...n)上的函数值y...

2019-12-25 23:10:43 3546 1